Newest
-
【理论学习】Watermark：大模型水印源码阅读记录
摘要：在这篇博客中，我将介绍水印的两个关键组件：WatermarkLogitsProcessor和WatermarkDetector。WatermarkLogitsProcessor的作用是在生成文本中插入水印信……Zhang, Hongxing 2024年11月16日
-
【GPU】服务器选择与远程连接
摘要：本文对服务器性能进行了评估，分别考察了每秒迭代次数和归一化速度。此外，本文还介绍了远程连接调试中遇到的问题，并提供了相应解决方案。 1 服务器评…… -
【大模型简介】LLM Fine-tunning
摘要：为了进一步了解大模型，我查阅学习了三种预训练大型语言模型的微调技术：参数高效的fine-tuning（PEFT）、Prompt-tuning、以及Instruction-Tuning。 1 …… -
【图床搭建】PicGo+阿里云搭建图床
摘要：本篇Blog介绍了如何结合PicGo与阿里云搭建图床。首先介绍了图床的付费方式，包括储存空间费和流量费；其次叙述了购买阿里云OSS服务的步骤；最后说明了P…… -
【重点】深度学习常见问题
摘要：本篇博客介绍了神经网络训练中的关键概念和技巧，涵盖了梯度下降算法、梯度消失问题的解决方法、激活函数的选择与比较、优化参数的策略。此外，文章还深…… -
【理论学习】千亿模型并行训练技术
千亿模型并行训练技术 摘要： 进行并行加速，可以从数据和模型两个维度进行考虑。 2.1. 数据并行（Data Parallelism，DP） 数据进行切分（Partition），并将同……2864818644 2024年11月3日
-
2024年十月学习总结
title: 2024年十月学习总结 tags: 月度总结 大学课程 各科作业保质按时完成 非关系型数据库小测 96/100 软件体系结构第一次作业 100/100 社会实践报告提交 自…… -
【理论学习】大模型技术汇总-参数高效迁移学习方法
1. 大模型技术汇总-参数高效迁移学习方法 （Parameter-efficient Transfer Learning），即固定住Pretrain Language model的大部分参数，仅调整模型的一小部分…… -
【理论学习】Norm：四种归一化的介绍及优缺点
Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。 Layer Norm：在每一个句子中进行归一化。 Instance Norm：每一个字的字向量的看成…… -
【理论学习】NLP哪些场景不适用大模型
NLP哪些场景不适用大模型？ 1）数据稀缺的场景：大模型通常需要大量的训练数据来达到良好的性能。然而，在某些领域或任务中，可能难以收集到足够的数据来训练……