【理论】大模型技术汇总-参数高效迁移学习方法

1. 大模型技术汇总-参数高效迁移学习方法
（Parameter-efficient Transfer Learning），即固定住Pretrain Language model的大部分参数，仅调整模型的一小部分参数来达到与Full fine-tuning接近的效果（调整的可以是模型自有的参数，也可以是额外加入的一些参数）。
下面这 3 类方法在微调时都固定了预训练参数，只训练添加的额外模块。

1. adapter
   把一个称为 adapter 的模块插入到预训练模型的中间层
2. Prefix Tuning
   Prefix-tuning是一种基于前缀的轻量化微调方法，为了增加前缀向量在训练时的稳定性，作者采用了重参数化的方法，通过一个若干较小的前缀向量经过单层MLP生成正常规模的前缀向量。在输入或者隐层添加多个可学习的前缀 tokens
   2.1 - Prompt-Tuning
   是Prefix Tuning的简化版本，只在输入层加入prompt tokens，并不需要加入MLP进行调整来解决难训练的问题，主要在T5预训练模型上做实验。随着预训练模型参数量的增加，Prompt Tuning的方法会逼近Fine-tune的结果。
   2.2. P-tuning
   P-Tuning同样提出将Prompt转换为可以学习的Embedding层，但同时考虑到直接对Embedding参数进行优化会存在这样两个挑战：

1. Discreteness(不连续性)：对输入正常语料的Embedding层已经经过预训练，而如果直接对输入的prompt embedding进行随机初始化训练，容易陷入局部最优。
2. Association：没法捕捉到prompt embedding之间的相关关系。

2.3. P-tuning与Prefix-Tuning的区别

1. 在Prefix Tuning是将额外的embedding加在开头，看起来更像是模仿Instruction指令；而P-Tuning的位置则不固定。
2. Prefix Tuning通过在每个Attention层都加入Prefix Embedding来增加额外的参数，通过MLP来初始化；而P-Tuning只是在输入的时候加入Embedding，并通过LSTM+MLP来初始化。

2.4. P-tuning-V2
P-Tuning v2的目标就是要让Prompt Tuning能够在不同参数规模的预训练模型、针对不同下游任务的结果上都达到匹敌Fine-tuning的结果。

1. 不同模型规模：Prompt Tuning和P-tuning这两种方法都是在预训练模型参数规模够足够大时，才能达到和Fine-tuning类似的效果，而参数规模较小时效果则很差。
2. 不同任务类型：Prompt Tuning和P-tuning这两种方法在sequence tagging任务上表现都很差。

2.5. P-tuning-V2比Prompt Tuning和P-tuning的好处
P-tuning v2方法在多层加入了Prompts tokens作为输入，带来两个方面的好处：

1. 带来更多可学习的参数（从P-tuning和Prompt Tuning的0.1%增加到0.1%-3%），同时也足够parameter-efficient。
2. 加入到更深层结构中的Prompt能给模型预测带来更直接的影响。
3. LoRA
   通过学习两个小参数的低秩矩阵来近似权重矩阵的参数更新
   LoRA是一种基于低秩的轻量化微调方法，也是目前在大模型领域应用最多的方法。相较于Adapter，LoRA不需要对模型添加额外的参数化结构。而相较于Prefix-tuning，LoRA不需要对输入端进行修改。取而代之的是，LoRA通过对模型参数的优化量进行了低秩近似。其理论依据在于：神经网络通常包含大量的全连接层，并通过执行矩阵乘法来完成前向传播。这些全连接层中的参数矩阵往往是满秩的，对模型的训练过程其实就是在学习优化这些参数矩阵。而预训练模型中的参数矩阵往往存在一个”本征维度“，即我们学习到的这些参数的优化量可以是低秩的，被映射到一个低维空间下也能保持很好的性能。在这样的前提下，我们可以只对参数矩阵中低秩的部分进行优化，并将整体的训练过程表示成一个低秩矩阵的优化过程：

前向传播过程可以表示如下：

A、B是两个低维的矩阵，相较于原本的参数规模，待优化的参数规模被大大减小。整体的流程如下所示：

在RoBERTa，DeBERTa，GPT-2与GPT-3上，LoRA在只训练极少数参数的情况下取得了接近全参数微调的结果，证明了该方法的有效性。

原文链接：https://blog.csdn.net/qq122716072/article/details/134050532

https://mp.weixin.qq.com/s?__biz=MzkwODIxMzA2OQ==&mid=2247485732&idx=2&sn=a3d0875d1711141e2a5b010f858f4a28&chksm=c0cc2706f7bbae1036afb37c1b131bb22f1d7f1830ad97a64e4cf40401cdb37c07328495d04a&scene=178&cur_album_id=3108518745330810882#rd