open_clip

OpenCLIP 是 OpenAI 的 CLIP 模型的完整开源复现，它把“看图识字”的能力彻底开放给了所有人。CLIP 的核心是让模型通过海量图文对学会理解图像和文字之间的对应关系——比如看到一张猫的图片，模型能联想到“猫”这个标签，反过来给出文字描述也能找到最匹配的图片。OpenCLIP 不仅复现了这个能力，还训练了多个版本的预训练权重，性能甚至超过了原始模型。它解决了两个关键问题：一是 OpenAI 没有开源 CLIP 的训练代码和完整数据集，二是 CLIP 的模型结构、训练策略可以在社区中自由改进。现在有了 OpenCLIP，任何团队都能基于它做图文搜索、零样本分类、图像生成引导等应用，而不用从头训练一个巨型模型。 技术亮点方面，OpenCLIP 最近对训练架构做了大升级。主分支引入了 NaFlex 系列，支持可变分辨率/宽高比的图像塔和可变时长的音频塔，意味着模型不再被固定尺寸的输入束缚，能像人眼一样适应不同比例的图片和不同长度的声音。它还推出了现代的文本编码器（Modern Text Tower），用上了旋转位置编码（RoPE）、SwiGLU 激活函数、RMSNorm 归一化等主流技术，文本理解更准更快。此外，OpenCLIP 支持多种训练策略，比如 FSDP2 分布式训练、torch.compile 编译加速，以及基于 TrainingTask 的任务封装，让研究人员可以方便地实验新的模型架构，比如图文生成（GenLIP/GenLAP）等混合任务。这些改进让 OpenCLIP 不仅在效果上领先，在训练效率和灵活度上也远超原始 CLIP。 适用场景非常广泛。如果你是做图像搜索或商品推荐的，可以用 OpenCLIP 把用户查询的文字和商品图片做语义匹配，实现比关键词更智能的搜索。做内容审核或图像分类的，零样本能力让你无需标注数据，直接写一句描述就能分类。做 AI 绘画或视频生成的，OpenCLIP 的编码器常作为 Stable Diffusion 等模型的文本编码器，帮你控制生成内容。学术研究者可以用它做多模态对比学习的基础实验，或者在自己的数据集上微调出专用模型。总之，任何需要连接视觉和语言的场景，OpenCLIP 都是现成的强大工具。 上手难度对新手还算友好。项目提供了 PyPI 包 open_clip_torch，一行 pip install ...