百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

开源的对比语言-图像预训练模型:OpenCLIP

zhezhongyun 2025-03-20 21:03 44 浏览

这里是Aideas,每日分享AI相关资讯。本文由Aideas Agent整理并推荐。项目地址:/mlfoundations/open_clip, 程序语言:Python, 收藏: 11,291, 分支: 1,073, 今日收藏: 17 stars today。


OpenAI的CLIP(对比语言-图像预训练)开源实现。OpenCLIP在各种数据源和计算预算上训练了几个模型,范围从小规模实验到更大规模的运行,包括在数据集上训练的模型,如LAION-400M、LAION-2B和DataComp-1B。

OpenCLIP

训练的一些最佳模型及其零-shot ImageNet-1k 准确率如下所示,以及OpenAI训练的ViT-L模型和其他最先进的开源替代品(所有模型均可通过OpenCLIP加载):

  • 模型:ConvNext-Base,训练数据:LAION-2B,分辨率:256px,看到的样本数:13B,ImageNet零-shot准确率:71.5%
  • 模型:ConvNext-Large,训练数据:LAION-2B,分辨率:320px,看到的样本数:29B,ImageNet零-shot准确率:76.9%
  • 模型:ConvNext-XXLarge,训练数据:LAION-2B,分辨率:256px,看到的样本数:34B,ImageNet零-shot准确率:79.5%
  • 模型:ViT-B/32,训练数据:DataComp-1B,分辨率:256px,看到的样本数:34B,ImageNet零-shot准确率:72.8%
  • 模型:ViT-B/16,训练数据:DataComp-1B,分辨率:224px,看到的样本数:13B,ImageNet零-shot准确率:73.5%
  • 模型:ViT-L/14,训练数据:LAION-2B,分辨率:224px,看到的样本数:32B,ImageNet零-shot准确率:75.3%
  • 模型:ViT-H/14,训练数据:LAION-2B,分辨率:224px,看到的样本数:32B,ImageNet零-shot准确率:78.0%
  • 模型:ViT-L/14,训练数据:DataComp-1B,分辨率:224px,看到的样本数:13B,ImageNet零-shot准确率:79.2%
  • 模型:ViT-G/14,训练数据:LAION-2B,分辨率:224px,看到的样本数:34B,ImageNet零-shot准确率:80.1%
  • 模型:ViT-L/14-quickgelu,训练数据:WIT,分辨率:224px,看到的样本数:13B,ImageNet零-shot准确率:75.5%
  • 模型:ViT-SO400M/14,训练数据:WebLI,分辨率:224px,看到的样本数:45B,ImageNet零-shot准确率:82.0%
  • 模型:ViT-L/14,训练数据:DFN-2B,分辨率:224px,看到的样本数:39B,ImageNet零-shot准确率:82.2%
  • 模型:ViT-SO400M-14-SigLIP-384,训练数据:WebLI,分辨率:384px,看到的样本数:45B,ImageNet零-shot准确率:83.1%
  • 模型:ViT-H/14-quickgelu,训练数据:DFN-5B,分辨率:224px,看到的样本数:39B,ImageNet零-shot准确率:83.4%
  • 模型:ViT-H-14-378-quickgelu,训练数据:DFN-5B,分辨率:378px,看到的样本数:44B,ImageNet零-shot准确率:84.4%

具有额外模型特定细节的模型卡可以在Hugging Face Hub的OpenCLIP库标签下找到。

注意,src/open_clip/中的部分建模和标记器代码是OpenAI官方存储库的改编。

用法

安装OpenCLIP:

Bash
pip install open_clip_torch

以下是使用OpenCLIP的示例代码:

Bash
import torch
from PIL import Image
import open_clip

model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k')
model.eval()  # 模型默认处于训练模式,这会影响某些使用BatchNorm或随机深度的模型
tokenizer = open_clip.get_tokenizer('ViT-B-32')

image = preprocess(Image.open("docs/CLIP.png")).unsqueeze(0)
text = tokenizer(["一个图表", "一只狗", "一只猫"])

with torch.no_grad(), torch.autocast("cuda"):
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("标签概率:", text_probs)  # 打印: [[1., 0., 0.]]

如果模型使用timm图像编码器(convnext,siglip,eva等),请确保安装最新的timm。如果看到图像编码器的“未知模型”错误,请升级timm。如果模型使用transformers标记器,请确保安装transformers。要高效计算数十亿个嵌入,您可以使用clip-retrieval。

预训练模型

这里提供一个简单的模型接口来实例化预训练和未训练的模型。要查看可用的预训练模型,请使用以下代码片段。

>>> import open_clip
>>> open_clip.list_pretrained()

注意:许多现有检查点使用原始OpenAI模型的QuickGELU激活。此激活实际上在最近版本的PyTorch中效率低于原生torch.nn.GELU。模型默认现在是nn.GELU,因此应使用带有-quickgelu后缀的模型定义来使用OpenCLIP预训练权重。所有OpenAI预训练权重将始终默认为QuickGELU。还可以使用非-quickgelu模型定义与使用QuickGELU的预训练权重,但会出现准确性下降,经过微调后,这种下降可能会在较长的运行中消失。未来训练的模型将使用nn.GELU。

加载模型

模型可以使用
open_clip.create_model_and_transforms
加载,如下面的示例所示。模型名称和相应的pretrained键与open_clip.list_pretrained()的输出兼容。

pretrained参数还接受本地路径,例如/path/to/my/b32.pt。还可以通过这种方式从huggingface加载检查点。

# pretrained也接受本地路径
model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k') 

微调分类任务

OpenCLIP专注于训练CLIP模型。要在下游分类任务(例如ImageNet)上微调训练过的零-shot模型,请参见WiSE-FT。

数据

要将数据集下载为webdataset,建议使用img2dataset。

YFCC和其他数据集

除了通过CSV文件指定训练数据外,OpenCLIP还支持webdataset,这对于大规模数据集是推荐的。预期格式是一系列.tar文件。每个.tar文件应包含每个训练示例的两个文件,一个是图像,另一个是相应的文本。这两个文件应具有相同的名称但不同的扩展名。例如,shard_001.tar可以包含文件,如abc.jpgabc.txt。可以从Multimedia Commons下载YFCC数据集。

训练CLIP

安装

首先创建一个虚拟环境:

python3 -m venv .env
source .env/bin/activate
pip install -U pip

然后,可以通过pip install 'open_clip_torch[training]'安装用于训练的openclip。

示例单进程运行代码:

python -m open_clip_train.main \
    --save-frequency 1 \
    --zeroshot-frequency 1 \
    --report-to tensorboard \
    --train-data="/path/to/train_data.csv"  \
    --val-data="/path/to/validation_data.csv"  \
    --csv-img-key filepath \
    --csv-caption-key title \
    --imagenet-val=/path/to/imagenet/root/val/ \
    --warmup 10000 \
    --batch-size=128 \
    --lr=1e-3 \
    --wd=0.1 \
    --epochs=30 \
    --workers=8 \
    --model RN50

注意:imagenet-val是ImageNet的验证集的路径,而不是训练集!如果不想在整个训练过程中对ImageNet进行零-shot评估,可以删除此参数。请注意,val文件夹应包含子文件夹。如果没有,请使用脚本进行处理。

多GPU及以上

对于较大的数据集(例如Laion2B),建议将--train-num-samples设置为低于完整纪元的值,例如--train-num-samples 135646078,以便在进行替换采样时与--dataset-resampled结合使用。这允许频繁检查点以进行更频繁的评估。

断点续训:

python -m open_clip_train.main \
    --train-data="/path/to/train_data.csv" \
    --val-data="/path/to/validation_data.csv"  \
    --resume /path/to/checkpoints/epoch_K.pt


使用 CoCa 生成文本

import open_clip
import torch
from PIL import Image

model, _, transform = open_clip.create_model_and_transforms(
  model_name="coca_ViT-L-14",
  pretrained="mscoco_finetuned_laion2B-s13B-b90k"
)

im = Image.open("cat.jpg").convert("RGB")
im = transform(im).unsqueeze(0)

with torch.no_grad(), torch.cuda.amp.autocast():
  generated = model.generate(im)

print(open_clip.decode(generated[0]).split("")[0].replace("", ""))

#AI软件技巧#

相关推荐

饿了么面试官:实现一下 Element-UI 官网的主题切换动画!

最近看到ElementPlus官网上的切换主题方式非常有趣,这是一个过渡的动画效果所以在网上查了一番,找到基本的实现方法实现基本效果首先我们起一个html文件,写一个按钮,以及简单的背景颜色切...

强大而好用的选择器:focus-within

伪类和伪元素在开发网页样式中,选择器必不可少,而且选择器也是在开发css中非常重要的内容,包括常用的类选择器,id选择,同时还有伪类,伪类选择器最大的特点就是冒号开头。平时也经常会有小伙伴问到,在使用...

令程序员惊叹的一些CSS3效果库

还在寻找那些CSS3的效果库吗?如果你的答案是肯定的,并且目前没有找到,那么你一定不能错过小编为大家收集的这些CSS3效果库,这是一个令你兴奋的集合!最新的CSS3都配备了新的特性,来设计创建动画和互...

伪元素黑魔法:一个替代onerror解决图片加载失败的方案

问题的引出是这样的,在一个项目中有大量的页面主体是table做数据展示,所以就封装了一个table的组件,提供动态渲染的方案。有个问题是数据类型中有图片,对于图片的加载失败我们需要做容错。一般我们的思...

前端 - 如何通过CSS修改图片透明度

如果在图片上显示文字,经常会遇到这个情况,就是当文字和背景颜色差不多时,文字会看不清楚,我们一般通过给文字加textshadow或者修改图片的透明度来让文字显示更加突出。我们今天说一下透明度的问题,...

CSS元素居中方法完全指南

这里是工作狂的聚集地职场学术新媒体设计极客专门治愈处女座强迫症。本文为CSS入门翻译redman9原载CSS-Trick人们经常抱怨在CSS中居中元素的问题,其实这个问题并不复杂,只是因为方法众...

CSS图像 hover 动画效果

点击页底“阅读原文”下载原码CSSHover在网页设计中是极为常用的一个CSS效果,只要你有创造力,都可以让Hover变得更多姿多彩,今天我们主要分享40多款使用CSSHOVER完成...

前端能限制用户截图吗?

摘要:在某些业务场景下,保护屏幕信息的私密性,防止用户随意截图分享,成为了前端开发者的一个棘手需求。但浏览器和操作系统的设计,真的允许网页开发者完全掌控用户的截图行为吗?本文将深入探讨前端限制截图的...

每天一个CSS小技巧 - 不规则投影

当我们想给一个矩形或者其他能用border-radius生成的形状加投影时,box-shadow的表现都很棒的。但是,当元素添加可一些伪元素或半透明的装饰之后,border-radius会无视这些。这...

Web开发中10个有用的免费CSS代码

在本文中主要展示了在Web开发中一些免费但是非常有用的代码,开发人员可以下载它们来简化工作流程。在这个集合中的所有代码都是经过精挑细选的,对于开发人员来说非常有用。在开发一个网站时,这些代码将节省大量...

什么是伪类和伪元素?两者有什么区别?单一冒号和双冒号有何不同

https://juejin.im/post/5df1e312f265da33d039d06d?utm_source=bigezhang.com#comment伪类伪类存在的意义是为了通过选择器找到那...

CSS2与CSS3中常用的伪类汇总大全

CSS2与CSS3中有非常多的伪类,可以用于实现各种强大的、酷炫的功能。有用于选择标签状态的,如:a:linka:hoverinput:checkedinput:focus等;也有用于根据结构选...

实用!这8个CSS工具可以提升编程速度

作为网页设计师,为了在预期的时间内能完成项目,前期肯定是要进行大量练习的。但是如果你花了大量的时间在编写CSS代码上,那无疑是浪费时间。工欲善其事必先利其器,聪明的设计师善于利用工具提升他们的编码效率...

《丝路传说怀旧版》宠物融合丹:属性加成与技能继承要点

在《丝路传说怀旧版》中,宠物融合丹是优化宠物属性与技能的核心道具,其使用需结合技能继承规则、品质提升机制及资源规划策略。以下是关键要点分析一、属性加成机制品质提升与属性增长品质阶梯:宠物分为白、绿、蓝...

Python 3.14 t-string 要来了,它与 f-string 有何不同?

Python最近出了个大新闻:PEP-750t-string语法被正式采纳了!这意味着Python将在今年10月发布的3.14版本中引入一种新的字符串前缀t,称为模板字符串(Tem...