背景
在模型越来越大的时代背景下,如何利用有限的资源做出一些科研工作。
四个方向
1、Efficient(PEFT)
提升训练效率,这里以PEFT(parameter efficient fine tuning)为例
2、Existing stuff(pretrained model)、New directions
使用别人的预训练模型,新的研究方向
3、plug-and-play
做一些即插即用的模块,例如模型的模块、目标函数、新损失函数、数据增强方法等等。
4、Dataset,evaluation and survey
构建数据集、发表分析为主的文章或者综述论文
一、Efficient(PEFT)-第一个方向
通过论文AIM为例讲述如何进行PEFT,即在硬件资源有限时对大模型进行高效微调
论文地址:https://arxiv.org/abs/2302.03024论文标题:AIM: Adapting Image Models for Efficient Video Action Recognition标题翻译:调整图像模型以实现高效的视频动作识别思考:已经训练好的图像模型是否需要继续微调?
1、clip已经证明了即使ZeroShot(模型不变,直接在各个数据集上进行推理),它的效果也很好。即一个训练很好的图片模型从中提取视觉特征是有泛化性、有效的。
2、继续微调会导致灾难性遗忘。如果使用少量数据在大模型上微调,可能会直接过拟合,或者大模型的很多特征丢失。
结论:预训练的图像模型不需要继续微调。
传统模型和论文改进的微调方法对比图:
因此,论文的做法是,尝试将模型参数锁住,在上面加一些时序处理模块、目标函数等修改周边的方式(即PEFT)让图片模型能够做视频理解的任务,不需要重新训练视频模型,省时省力。
两种PEFT方法
1、adapter
最早来自于这篇论文:
论文地址:https://arxiv.org/abs/1902.00751论文标题:Parameter-Efficient Transfer Learning for NLP标题翻译:用于NLP的参数高效转移学习Adapter层的结构,如下图右边所示:下采样FC层+非线性激活层+上采样FC层,加上残差连接。
这里PEFT的方法是指,如下图左边所示,在Transformer中加入了两个adapter,进行微调时,原来的Transformer的参数都是锁住的,只有adapter层的参数在学习。
adapter层参数量和大模型相比非常少,例如在175B的GPT3中使用LoRa,需要训练的参数只要万分之一。因此训练成本大幅降低。
2、prompt tuning
论文地址:https://arxiv.org/abs/2109.01134论文标题:Learning to Prompt for Vision-Language Modelsprompt tuning是指可以任意调整提示词,这样的调整对最后的性能会有很大的影响,能否得到想要的结果,取决于有没有选择一个好的提示词。例如下图所示,不同的提示词对准确率的影响很大。
上图是如何通过提示给图片分类的?将类别名称CLASS给模型,看哪个文字和图片的相似度最高。
Prompt分为两种:
Hard Prompt:人工设置的提示词,不能修改也无法学习。设置这些需要一定的先验知识,但我们并不会总有这样的先验知识。
Soft Prompt:将提示词设置为一个可学习的向量。如下图所示 ,将文本端(text encoder)的输入CLASS设置为learnable context,模型优化的是这个context部分。这样既可以节省很多计算量 ,也可以避免在下游任务时手动设置提示词。
VPT
将可学习的Prompt方法用到纯视觉任务中,做法如下图所示。
论文地址:https://arxiv.org/abs/2203.12119论文标题:Visual Prompt Tuning图中蓝色部分是原来训练好的模型,红色是需要微调的prompt,加入Prompt tuning有两种方式:
1、VPT: Deep,在每一层的输入输出都加入prompt。
2、VPT: Shallow,在输入端加入prompt。
近期PEFT方法总结,从统一的观点进行归纳:
论文地址:https://arxiv.org/abs/2110.04366AIM模型设计
如上图所示,AIM模型就是在图b的ViT模型中加入图a的Adapter,共有图c、d、e三种方式:
1、Spatial Adaptation,只在S-MSA层后面加入Adapter,即不增加视频理解能力,只加一些学习的参数。
2、Temporal Adaptation,复用一个MSA层,在两个MSA层后面都加入Adapter,即让模型从Spatial和Temporal两个方向上进行学习,从而有时序建模的能力。
3、Joint Adaptation,在Temporal Adaptation的基础上,在MLP边上也加入Adapter,即让三个Adapter各司其职,使得优化问题更简单一些。
注:MSA是多头自注意力(MultiHead Self-Attention,S-MSA和T-MSA共享权重,但维度不同。
效果如下图所示,只用14M参数的AIM模型效果已经高过之前121M的模型。
二、Existing stuff(pretrained model)-第二个方向
有两点:
1、巧妙使用别人的预训练模型,从而达到去做FewShot,ZeroShot,或者最多Fine Tuning的实验。
2、新的研究方向。
通过这篇论文讲述这两点是如何运用的:
论文地址:https://arxiv.org/abs/2207.05027论文标题:Unsupervised Semantic Segmentation with Self-supervised Object-centric Representations从标题就可以看出这两点技巧:
1、这里的Self-supervised是指使用了预训练好的DINO、DeepUSPS、BASNet等网络
2、这里做的方向是Object-centric Learning,属于蓬勃发展的题目,玩家不多、数据集不大
上图展示了如何使用几个预训练好的模型,在无监督的情况下找到新的物体,步骤如下:
1、通过预训练模型DeepUSPS找到一些显著性物体的Mask。
例如,图片中的篮球可以得到一个圆形的Mask
2、根据Mask将图片中的对应物体抠出来,并调整大小为224*224。
例如,将图片中的篮球抠出来并放大
3、然后将步骤2得到的图片通过预训练模型DINO返回一个1024*1024的特征(global representation)。
4、将所有的特征进行聚类Clustering,这样就可以通过无监督学习得到这些物体的分类ID。
注:聚类只能将相同的物体分类到一起,但并不知道具体是什么物体。
5、将图片和对应的分类ID去训练一个语义分割网络(Semantic segmentation network)。
注:这里相当于一个有监督的学习,标签来自于步骤4
6、一张图片可能有多个物体,所以加一个Self-training,多做几个轮回。
这样就可以从图片中找到物体了。
三、plug-and-play-第三个方向
做一些通用的、即插即用的模块,在一个设定的范围内,加入了这样的模块后,能够有一个统一的涨点,并且能给出合适的分析,就非常有说服力了。通过MixGen论文讲述如何加入模块:
论文地址:https://arxiv.org/abs/2206.08358论文标题:MixGen: A New Multi-Modal Data Augmentation文本的模型都很大,图片的模型相对来说小一些,但是自注意力的参数是可以共享的,所以尝试用文本大模型来蒸馏图片小模型
注:模型蒸馏:使用训练集训练出来一个完整复杂的teacher模型,然后设计一个小规模的student模型,再固定teacher模型的权重参数,然后使用训练集和teacher模型的输出同时对student模型进行训练,此时就需要设计一系列loss,让student模型在蒸馏学习的过程中逐渐向teacher模型的表现特性靠拢,使得student模型的预测精度逐渐逼近teacher模型。
为什么之前图片模型不做数据增强?
1、图片模型训练时已经用了很多图片了,不需要再做数据增强。
’2、或者做了数据增强,但是将其中的Color Jittering和Random Filp去掉了,因为这两个对图片的变化会导致图片和文本不匹配。
例如:图片有白色的狗和绿色的树,只对图片做Color Jittering会导致颜色变化,图片中不再是白色的狗,但是文本依然是白色的狗,这样文本和图片就不匹配了。
论文的做法:既然目标是尽可能保留更多信息,这里的做法很简单粗暴,就是直接将两个句子拼接在一起,这样就可以做到不丢失信息的情况下得到新的训练样本。
例如下图,将两个图片通过数据增强得到第三个图片,同时将两个图片的文本进行拼接得到第三个图片的文本。
审稿人的建设性提议:在下游任务只有少量数据时进行数据增强。
四、Dataset,evaluation and survey-第四个方向
构建数据集、发表分析为主的文章或者综述论文,这里举了两篇论文为例。
以数据集为主的big detection,将三个数据集整合到一起:
论文地址:https://arxiv.org/abs/2203.13249视频动作检测的综述论文:
论文地址:https://arxiv.org/abs/2012.06567