【理论】Norm：四种归一化的介绍及优缺点

• Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。
• Layer Norm：在每一个句子中进行归一化。
• Instance Norm：每一个字的字向量的看成一组做归一化。
• Group Norm：把每句话的每几个字的字向量看成一组做归一化。

其实只要仔细看上面的例子，就很容易能想到NLP中每一种norm的优缺点：

Batch Normalization（Batch Norm）：缺点：在处理序列数据（如文本）时，Batch Norm可能不会表现得很好，因为序列数据通常长度不一，并且一次训练的Batch中的句子的长度可能会有很大的差异；此外，Batch Norm对于Batch大小也非常敏感。对于较小的Batch大小，Batch Norm可能会表现得不好，因为每个Batch的统计特性可能会有较大的波动。

Layer Normalization（Layer Norm）：优点：Layer Norm是对每个样本进行归一化，因此它对Batch大小不敏感，这使得它在处理序列数据时表现得更好；另外，Layer Norm在处理不同长度的序列时也更为灵活。

Instance Normalization（Instance Norm）：优点：Instance Norm是对每个样本的每个特征进行归一化，因此它可以捕捉到更多的细节信息。Instance Norm在某些任务，如风格迁移，中表现得很好，因为在这些任务中，细节信息很重要。缺点：Instance Norm可能会过度强调细节信息，忽视了更宏观的信息。此外，Instance Norm的计算成本相比Batch Norm和Layer Norm更高。

Group Normalization（Group Norm）：优点：Group Norm是Batch Norm和Instance Norm的折中方案，它在Batch的一个子集（即组）上进行归一化。这使得Group Norm既可以捕捉到Batch的统计特性，又可以捕捉到样本的细节信息。此外，Group Norm对Batch大小也不敏感。缺点：Group Norm的性能取决于组的大小，需要通过实验来确定最优的组大小。此外，Group Norm的计算成本也比Batch Norm和Layer Norm更高。

原文链接：https://blog.csdn.net/qq_40910191/article/details/134070085