包含标签：位置编码 的文章
-
【理论】大模型位置编码
对于transformer模型，位置编码是必不可少的。因为attention模块是无法捕捉输入顺序的，无法区分不同位置的token。 位置编码分为绝对位置编码和相对位置编码。……Zhang, Hongxing 2024年8月24日
Zhang, Hongxing
2024年8月24日