包含标签：LLM 的文章
-
【理论】GPT和Bert的区别
1、GPT和Bert的区别？ GPT vs Bert_bert和gpt的区别-CSDN博客 自学大语言模型之Bert和GPT的区别-CSDN博客 1）目标任务 Bert基于编码器，Bert 模型的输出是每……Zhang, Hongxing 2025年1月17日
-
【理论】RLHF实现框架
RLHF（Reinforcement Learning with Human Feedback）即带有人工反馈的强化学习。它是强化学习（RL）的一种变体，结合了人工反馈来提升学习过程的效率和效果。…… -
【大模型简介】LLM Fine-tunning
摘要：为了进一步了解大模型，我查阅学习了三种预训练大型语言模型的微调技术：参数高效的fine-tuning（PEFT）、Prompt-tuning、以及Instruction-Tuning。 1 …… -
【理论】大模型位置编码
对于transformer模型，位置编码是必不可少的。因为attention模块是无法捕捉输入顺序的，无法区分不同位置的token。 位置编码分为绝对位置编码和相对位置编码。……