Zhang, Hongxing 的文章
-
【攀登计划 & 软著一作】思潮——基于数据挖掘的舆情与社会思潮可视化分析系统
摘要：随着互联网技术的迅猛发展，网络舆情作为社会思潮的反映渠道，逐渐成为理解社会动态的前置步骤。然而，现有分析工具大多仅停留在信息和情绪的层面，缺……Zhang, Hongxing 2024年10月25日
-
【理论】Norm：四种归一化的介绍及优缺点
Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。 Layer Norm：在每一个句子中进行归一化。 Instance Norm：每一个字的字向量的看成…… -
【APMCM数学建模竞赛】国家一等奖：基于改进YOLOv8模型的远景图像苹果识别
摘要：针对密植栽培苹果果园中环境复杂导致果实识别效果差问题，现有研究主要集中于优化近景图像在背景干扰、气象变化、季节变迁等情况下的识别效果，而较少…… -
【理论】Transformer模型的参数量、计算量、中间激活、KV cache
transformer参数量计算 总的，每个transformer层的参数量为12h2+13h 。 除此之外，词嵌入矩阵的参数量也较多，词向量维度通常等于隐藏层维度 h ，词嵌入矩阵…… -
2024年九月学习总结
title: 2024年九月学习总结 tags: 月度总结 大学课程 2023年综测与绩点专业第一，连续两年了，加油，继续保持！ 云计算作业 98/100 各科作业保质按时完成 非…… -
【重点】Bert – 双向Encoder
摘要：BERT由嵌入层和Transformer的Encoder组成，输出Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 的预测结果。除此之外，本文还讨论了Em…… -
【重点】Transformer
摘要：Transformer模型通过自注意力机制进行信息建模，包含编码器和解码器两部分。编码器将输入序列转化为上下文丰富的表示，解码器则根据编码器输出和已生成…… -
【重点】常见变体 – RNN LSTM GRU
摘要：Bidirectional RNNs通过结合前后序列信息，增强了对上下文的捕捉能力，适合填补缺失词语等任务。而Deep RNNs则通过叠加多层RNN，提升模型的表示能力。Bi…… -
【重点】GRU – 门控循环神经网络
摘要：GRU通过重置门和更新门来控制信息的流动，简化了LSTM的结构并提高了计算效率。 1 模型原理 1.1 超参数 input_size ：input_size 是指每个时间步长输入…… -
【重点】LSTM – 长短时记忆神经网络
摘要：LSTM旨在解决传统RNN在处理长序列时出现的梯度消失和爆炸问题。通过输入门、遗忘门和输出门来控制信息的流动。 1 模型原理 1.1 超参数 input_size ：i……