Zhang, Hongxing 的文章
-
【理论学习】大模型技术汇总-参数高效迁移学习方法
1. 大模型技术汇总-参数高效迁移学习方法 (Parameter-efficient Transfer Learning),即固定住Pretrain Language model的大部分参数,仅调整模型的一小部分…… -
【攀登计划 & 软著一作】思潮——基于数据挖掘的舆情与社会思潮可视化分析系统
摘要:随着互联网技术的迅猛发展,网络舆情作为社会思潮的反映渠道,逐渐成为理解社会动态的前置步骤。然而,现有分析工具大多仅停留在信息和情绪的层面,缺…… -
【理论学习】Norm:四种归一化的介绍及优缺点
Batch Norm:把每个Batch中,每句话的相同位置的字向量看成一组做归一化。 Layer Norm:在每一个句子中进行归一化。 Instance Norm:每一个字的字向量的看成…… -
-
【APMCM数学建模竞赛】国家一等奖:基于改进YOLOv8模型的远景图像苹果识别
摘要:针对密植栽培苹果果园中环境复杂导致果实识别效果差问题,现有研究主要集中于优化近景图像在背景干扰、气象变化、季节变迁等情况下的识别效果,而较少…… -
【中科院自动化所实习】行人属性识别调研学习
Pedestrian attribution recognition is **the task of recognizing pedestrian features** - such as whether they are talking on a phone, whether…… -
【理论学习】Transformer模型的参数量、计算量、中间激活、KV cache
transformer参数量计算 总的,每个transformer层的参数量为12h2+13h 。 除此之外,词嵌入矩阵的参数量也较多,词向量维度通常等于隐藏层维度 h ,词嵌入矩阵…… -
2024年九月学习总结
title: 2024年九月学习总结 tags: 月度总结 大学课程 2023年综测与绩点专业第一,连续两年了,加油,继续保持! 云计算作业 98/100 各科作业保质按时完成 非…… -
【理论学习】大模型位置编码
对于transformer模型,位置编码是必不可少的。因为attention模块是无法捕捉输入顺序的,无法区分不同位置的token。 位置编码分为绝对位置编码和相对位置编码。…… -
【重点】Bert – 双向Encoder
摘要:BERT由嵌入层和Transformer的Encoder组成,输出Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 的预测结果。除此之外,本文还讨论了Em……