这里是Aideas，每日分享AI相关资讯。本文由Aideas Agent整理并推荐。项目地址：/mlfoundations/open_clip， 程序语言：Python， 收藏: 11,291， 分支: 1,073， 今日收藏: 17 stars today。
OpenAI的CLIP（对比语言-图像预训练）开源实现。OpenCLIP在各种数据源和计算预算上训练了几个模型，范围从小规模实验到更大规模的运行，包括在数据集上训练的模型，如LAION-400M、LAION-2B和DataComp-1B。
OpenCLIP
训练的一些最佳模型及其零-shot ImageNet-1k 准确率如下所示，以及OpenAI训练的ViT-L模型和其他最先进的开源替代品（所有模型均可通过OpenCLIP加载）：
- 模型：ConvNext-Base，训练数据：LAION-2B，分辨率：256px，看到的样本数：13B，ImageNet零-shot准确率：71.5%
- 模型：ConvNext-Large，训练数据：LAION-2B，分辨率：320px，看到的样本数：29B，ImageNet零-shot准确率：76.9%
- 模型：ConvNext-XXLarge，训练数据：LAION-2B，分辨率：256px，看到的样本数：34B，ImageNet零-shot准确率：79.5%
- 模型：ViT-B/32，训练数据：DataComp-1B，分辨率：256px，看到的样本数：34B，ImageNet零-shot准确率：72.8%
- 模型：ViT-B/16，训练数据：DataComp-1B，分辨率：224px，看到的样本数：13B，ImageNet零-shot准确率：73.5%
- 模型：ViT-L/14，训练数据：LAION-2B，分辨率：224px，看到的样本数：32B，ImageNet零-shot准确率：75.3%
- 模型：ViT-H/14，训练数据：LAION-2B，分辨率：224px，看到的样本数：32B，ImageNet零-shot准确率：78.0%
- 模型：ViT-L/14，训练数据：DataComp-1B，分辨率：224px，看到的样本数：13B，ImageNet零-shot准确率：79.2%
- 模型：ViT-G/14，训练数据：LAION-2B，分辨率：224px，看到的样本数：34B，ImageNet零-shot准确率：80.1%
- 模型：ViT-L/14-quickgelu，训练数据：WIT，分辨率：224px，看到的样本数：13B，ImageNet零-shot准确率：75.5%
- 模型：ViT-SO400M/14，训练数据：WebLI，分辨率：224px，看到的样本数：45B，ImageNet零-shot准确率：82.0%
- 模型：ViT-L/14，训练数据：DFN-2B，分辨率：224px，看到的样本数：39B，ImageNet零-shot准确率：82.2%
- 模型：ViT-SO400M-14-SigLIP-384，训练数据：WebLI，分辨率：384px，看到的样本数：45B，ImageNet零-shot准确率：83.1%
- 模型：ViT-H/14-quickgelu，训练数据：DFN-5B，分辨率：224px，看到的样本数：39B，ImageNet零-shot准确率：83.4%
- 模型：ViT-H-14-378-quickgelu，训练数据：DFN-5B，分辨率：378px，看到的样本数：44B，ImageNet零-shot准确率：84.4%
具有额外模型特定细节的模型卡可以在Hugging Face Hub的OpenCLIP库标签下找到。
注意，src/open_clip/中的部分建模和标记器代码是OpenAI官方存储库的改编。
用法
安装OpenCLIP：
pip install open_clip_torch以下是使用OpenCLIP的示例代码：
import torch
from PIL import Image
import open_clip
model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k')
model.eval() # 模型默认处于训练模式，这会影响某些使用BatchNorm或随机深度的模型
tokenizer = open_clip.get_tokenizer('ViT-B-32')
image = preprocess(Image.open("docs/CLIP.png")).unsqueeze(0)
text = tokenizer(["一个图表", "一只狗", "一只猫"])
with torch.no_grad(), torch.autocast("cuda"):
image_features = model.encode_image(image)
text_features = model.encode_text(text)
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)
text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)
print("标签概率:", text_probs) # 打印: [[1., 0., 0.]]如果模型使用timm图像编码器（convnext，siglip，eva等），请确保安装最新的timm。如果看到图像编码器的“未知模型”错误，请升级timm。如果模型使用transformers标记器，请确保安装transformers。要高效计算数十亿个嵌入，您可以使用clip-retrieval。
预训练模型
这里提供一个简单的模型接口来实例化预训练和未训练的模型。要查看可用的预训练模型，请使用以下代码片段。
>>> import open_clip
>>> open_clip.list_pretrained()注意：许多现有检查点使用原始OpenAI模型的QuickGELU激活。此激活实际上在最近版本的PyTorch中效率低于原生torch.nn.GELU。模型默认现在是nn.GELU，因此应使用带有-quickgelu后缀的模型定义来使用OpenCLIP预训练权重。所有OpenAI预训练权重将始终默认为QuickGELU。还可以使用非-quickgelu模型定义与使用QuickGELU的预训练权重，但会出现准确性下降，经过微调后，这种下降可能会在较长的运行中消失。未来训练的模型将使用nn.GELU。
加载模型
模型可以使用
open_clip.create_model_and_transforms加载，如下面的示例所示。模型名称和相应的pretrained键与open_clip.list_pretrained()的输出兼容。
pretrained参数还接受本地路径，例如/path/to/my/b32.pt。还可以通过这种方式从huggingface加载检查点。
# pretrained也接受本地路径
model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k') 微调分类任务
OpenCLIP专注于训练CLIP模型。要在下游分类任务（例如ImageNet）上微调训练过的零-shot模型，请参见WiSE-FT。
数据
要将数据集下载为webdataset，建议使用img2dataset。
YFCC和其他数据集
除了通过CSV文件指定训练数据外，OpenCLIP还支持webdataset，这对于大规模数据集是推荐的。预期格式是一系列.tar文件。每个.tar文件应包含每个训练示例的两个文件，一个是图像，另一个是相应的文本。这两个文件应具有相同的名称但不同的扩展名。例如，shard_001.tar可以包含文件，如abc.jpg和abc.txt。可以从Multimedia Commons下载YFCC数据集。
训练CLIP
安装
首先创建一个虚拟环境：
python3 -m venv .env
source .env/bin/activate
pip install -U pip然后，可以通过pip install 'open_clip_torch[training]'安装用于训练的openclip。
示例单进程运行代码：
python -m open_clip_train.main \
--save-frequency 1 \
--zeroshot-frequency 1 \
--report-to tensorboard \
--train-data="/path/to/train_data.csv" \
--val-data="/path/to/validation_data.csv" \
--csv-img-key filepath \
--csv-caption-key title \
--imagenet-val=/path/to/imagenet/root/val/ \
--warmup 10000 \
--batch-size=128 \
--lr=1e-3 \
--wd=0.1 \
--epochs=30 \
--workers=8 \
--model RN50注意：imagenet-val是ImageNet的验证集的路径，而不是训练集！如果不想在整个训练过程中对ImageNet进行零-shot评估，可以删除此参数。请注意，val文件夹应包含子文件夹。如果没有，请使用脚本进行处理。
多GPU及以上
对于较大的数据集（例如Laion2B），建议将--train-num-samples设置为低于完整纪元的值，例如--train-num-samples 135646078，以便在进行替换采样时与--dataset-resampled结合使用。这允许频繁检查点以进行更频繁的评估。
断点续训：
python -m open_clip_train.main \
--train-data="/path/to/train_data.csv" \
--val-data="/path/to/validation_data.csv" \
--resume /path/to/checkpoints/epoch_K.pt使用 CoCa 生成文本
import open_clip
import torch
from PIL import Image
model, _, transform = open_clip.create_model_and_transforms(
model_name="coca_ViT-L-14",
pretrained="mscoco_finetuned_laion2B-s13B-b90k"
)
im = Image.open("cat.jpg").convert("RGB")
im = transform(im).unsqueeze(0)
with torch.no_grad(), torch.cuda.amp.autocast():
generated = model.generate(im)
print(open_clip.decode(generated[0]).split("")[0].replace("", ""))