Zhang, Hongxing 的文章
-
【APMCM数学建模竞赛】国家一等奖：基于改进YOLOv8模型的远景图像苹果识别
摘要：针对密植栽培苹果果园中环境复杂导致果实识别效果差问题，现有研究主要集中于优化近景图像在背景干扰、气象变化、季节变迁等情况下的识别效果，而较少……Zhang, Hongxing 2024年10月20日
-
【理论】Transformer模型的参数量、计算量、中间激活、KV cache
transformer参数量计算 总的，每个transformer层的参数量为12h2+13h 。 除此之外，词嵌入矩阵的参数量也较多，词向量维度通常等于隐藏层维度 h ，词嵌入矩阵…… -
2024年九月学习总结
title: 2024年九月学习总结 tags: 月度总结 大学课程 2023年综测与绩点专业第一，连续两年了，加油，继续保持！ 云计算作业 98/100 各科作业保质按时完成 非…… -
【理论】大模型位置编码
对于transformer模型，位置编码是必不可少的。因为attention模块是无法捕捉输入顺序的，无法区分不同位置的token。 位置编码分为绝对位置编码和相对位置编码。…… -
【重点】Bert – 双向Encoder
摘要：BERT由嵌入层和Transformer的Encoder组成，输出Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 的预测结果。除此之外，本文还讨论了Em…… -
【重点】Transformer
摘要：Transformer模型通过自注意力机制进行信息建模，包含编码器和解码器两部分。编码器将输入序列转化为上下文丰富的表示，解码器则根据编码器输出和已生成…… -
【重点】常见变体 – RNN LSTM GRU
摘要：Bidirectional RNNs通过结合前后序列信息，增强了对上下文的捕捉能力，适合填补缺失词语等任务。而Deep RNNs则通过叠加多层RNN，提升模型的表示能力。Bi…… -
【重点】GRU – 门控循环神经网络
摘要：GRU通过重置门和更新门来控制信息的流动，简化了LSTM的结构并提高了计算效率。 1 模型原理 1.1 超参数 input_size ：input_size 是指每个时间步长输入…… -
【重点】LSTM – 长短时记忆神经网络
摘要：LSTM旨在解决传统RNN在处理长序列时出现的梯度消失和爆炸问题。通过输入门、遗忘门和输出门来控制信息的流动。 1 模型原理 1.1 超参数 input_size ：i…… -
【重点】RNN – 循环神经网络
摘要：RNN（循环神经网络）是一种能处理序列数据的神经网络，可以利用先前的输入信息来进行预测当前时刻的值。 1 模型原理 1.1 超参数 input_size ：input_s……