Newest
-
【大模型简介】LLM Fine-tunning
摘要：为了进一步了解大模型，我查阅学习了三种预训练大型语言模型的微调技术：参数高效的fine-tuning（PEFT）、Prompt-tuning、以及Instruction-Tuning。 1 ……Zhang, Hongxing 2024年11月13日
-
【图床搭建】PicGo+阿里云搭建图床
摘要：本篇Blog介绍了如何结合PicGo与阿里云搭建图床。首先介绍了图床的付费方式，包括储存空间费和流量费；其次叙述了购买阿里云OSS服务的步骤；最后说明了P…… -
【重点】深度学习常见问题
摘要：本篇博客介绍了神经网络训练中的关键概念和技巧，涵盖了梯度下降算法、梯度消失问题的解决方法、激活函数的选择与比较、优化参数的策略。此外，文章还深…… -
【理论学习】千亿模型并行训练技术
千亿模型并行训练技术 摘要： 进行并行加速，可以从数据和模型两个维度进行考虑。 2.1. 数据并行（Data Parallelism，DP） 数据进行切分（Partition），并将同……2864818644 2024年11月3日
-
2024年十月学习总结
title: 2024年十月学习总结 tags: 月度总结 大学课程 各科作业保质按时完成 非关系型数据库小测 96/100 软件体系结构第一次作业 100/100 社会实践报告提交 自…… -
【理论学习】大模型技术汇总-参数高效迁移学习方法
1. 大模型技术汇总-参数高效迁移学习方法 （Parameter-efficient Transfer Learning），即固定住Pretrain Language model的大部分参数，仅调整模型的一小部分…… -
【理论学习】Norm：四种归一化的介绍及优缺点
Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。 Layer Norm：在每一个句子中进行归一化。 Instance Norm：每一个字的字向量的看成…… -
【理论学习】NLP哪些场景不适用大模型
NLP哪些场景不适用大模型？ 1）数据稀缺的场景：大模型通常需要大量的训练数据来达到良好的性能。然而，在某些领域或任务中，可能难以收集到足够的数据来训练…… -
【中科院自动化所实习】行人属性识别调研学习
Pedestrian attribution recognition is **the task of recognizing pedestrian features** - such as whether they are talking on a phone, whether…… -
【理论学习】Transformer模型的参数量、计算量、中间激活、KV cache
transformer参数量计算 总的，每个transformer层的参数量为12h2+13h 。 除此之外，词嵌入矩阵的参数量也较多，词向量维度通常等于隐藏层维度 h ，词嵌入矩阵……