Zhang, Hongxing 的文章
-
【大模型简介】LLM Fine-tunning
摘要：为了进一步了解大模型，我查阅学习了三种预训练大型语言模型的微调技术：参数高效的fine-tuning（PEFT）、Prompt-tuning、以及Instruction-Tuning。 1 ……Zhang, Hongxing 2024年11月13日
-
【图床搭建】PicGo+阿里云搭建图床
摘要：本篇Blog介绍了如何结合PicGo与阿里云搭建图床。首先介绍了图床的付费方式，包括储存空间费和流量费；其次叙述了购买阿里云OSS服务的步骤；最后说明了P…… -
【重点】深度学习常见问题
摘要：本篇博客介绍了神经网络训练中的关键概念和技巧，涵盖了梯度下降算法、梯度消失问题的解决方法、激活函数的选择与比较、优化参数的策略。此外，文章还深…… -
【理论学习】大模型技术汇总-参数高效迁移学习方法
1. 大模型技术汇总-参数高效迁移学习方法 （Parameter-efficient Transfer Learning），即固定住Pretrain Language model的大部分参数，仅调整模型的一小部分…… -
【理论学习】Norm：四种归一化的介绍及优缺点
Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。 Layer Norm：在每一个句子中进行归一化。 Instance Norm：每一个字的字向量的看成…… -
【理论学习】NLP哪些场景不适用大模型
NLP哪些场景不适用大模型？ 1）数据稀缺的场景：大模型通常需要大量的训练数据来达到良好的性能。然而，在某些领域或任务中，可能难以收集到足够的数据来训练…… -
【中科院自动化所实习】行人属性识别调研学习
Pedestrian attribution recognition is **the task of recognizing pedestrian features** - such as whether they are talking on a phone, whether…… -
【理论学习】Transformer模型的参数量、计算量、中间激活、KV cache
transformer参数量计算 总的，每个transformer层的参数量为12h2+13h 。 除此之外，词嵌入矩阵的参数量也较多，词向量维度通常等于隐藏层维度 h ，词嵌入矩阵…… -
【重点】了解卷积神经网络
摘要：卷积神经网络通过卷积层提取图像特征，池化层下采样以减少计算量和过拟合风险。特征图的输出尺寸由卷积核、步幅和填充等参数决定。 1 卷积神经网络的计…… -
2024年九月学习总结
title: 2024年九月学习总结 tags: 月度总结 大学课程 2023年综测与绩点专业第一，连续两年了，加油，继续保持！ 云计算作业 98/100 各科作业保质按时完成 非……