搜索内容

包含标签:Norm 的文章
  • 【理论】Norm:四种归一化的介绍及优缺点
    LLM

    【理论】Norm:四种归一化的介绍及优缺点

    Batch Norm:把每个Batch中,每句话的相同位置的字向量看成一组做归一化。 Layer Norm:在每一个句子中进行归一化。 Instance Norm:每一个字的字向量的看成……
    Zhang, Hongxing 2024年10月25日