摘要：在这篇博客中，我将介绍水印的两个关键组件：WatermarkLogitsProcessor和WatermarkDetector。WatermarkLogitsProcessor的作用是在生成文本中插入水印信……

摘要：本文对服务器性能进行了评估，分别考察了每秒迭代次数和归一化速度。此外，本文还介绍了远程连接调试中遇到的问题，并提供了相应解决方案。 1 服务器评……

摘要：为了进一步了解大模型，我查阅学习了三种预训练大型语言模型的微调技术：参数高效的fine-tuning（PEFT）、Prompt-tuning、以及Instruction-Tuning。 1 ……

摘要：本篇Blog介绍了如何结合PicGo与阿里云搭建图床。首先介绍了图床的付费方式，包括储存空间费和流量费；其次叙述了购买阿里云OSS服务的步骤；最后说明了P……

摘要：本篇博客介绍了神经网络训练中的关键概念和技巧，涵盖了梯度下降算法、梯度消失问题的解决方法、激活函数的选择与比较、优化参数的策略。此外，文章还深……

1. 大模型技术汇总-参数高效迁移学习方法 （Parameter-efficient Transfer Learning），即固定住Pretrain Language model的大部分参数，仅调整模型的一小部分……

Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。 Layer Norm：在每一个句子中进行归一化。 Instance Norm：每一个字的字向量的看成……

NLP哪些场景不适用大模型？ 1）数据稀缺的场景：大模型通常需要大量的训练数据来达到良好的性能。然而，在某些领域或任务中，可能难以收集到足够的数据来训练……

  Pedestrian attribution recognition is **the task of recognizing pedestrian features** - such as whether they are talking on a phone, whether……

transformer参数量计算 总的，每个transformer层的参数量为12h2+13h 。 除此之外，词嵌入矩阵的参数量也较多，词向量维度通常等于隐藏层维度 h ，词嵌入矩阵……