Newest
-
2024年九月学习总结
title: 2024年九月学习总结 tags: 月度总结 大学课程 2023年综测与绩点专业第一，连续两年了，加油，继续保持！ 云计算作业 98/100 各科作业保质按时完成 非……Zhang, Hongxing 2024年9月30日
-
2024年八月学习总结
title: 2024年八月学习总结 tags: 月度总结 大学课程 开学了，要注意稳住绩点，保持第一名 编程学习与科研 NLP鱼书看了1/3 组会 竞赛与考证 数学建模国赛 区……2864818644 2024年8月31日
-
【理论学习】大模型位置编码
对于transformer模型，位置编码是必不可少的。因为attention模块是无法捕捉输入顺序的，无法区分不同位置的token。 位置编码分为绝对位置编码和相对位置编码。…… -
【重点】Bert – 双向Encoder
摘要：BERT由嵌入层和Transformer的Encoder组成，输出Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 的预测结果。除此之外，本文还讨论了Em…… -
【重点】Transformer
摘要：Transformer模型通过自注意力机制进行信息建模，包含编码器和解码器两部分。编码器将输入序列转化为上下文丰富的表示，解码器则根据编码器输出和已生成…… -
【重点】常见变体 – RNN LSTM GRU
摘要：Bidirectional RNNs通过结合前后序列信息，增强了对上下文的捕捉能力，适合填补缺失词语等任务。而Deep RNNs则通过叠加多层RNN，提升模型的表示能力。Bi…… -
【重点】GRU – 门控循环神经网络
摘要：GRU通过重置门和更新门来控制信息的流动，简化了LSTM的结构并提高了计算效率。 1 模型原理 1.1 超参数 input_size ：input_size 是指每个时间步长输入…… -
【专业课】Web开发技术（Score：95）
摘要： 食万个为什么是一款基于web的线上订餐平台，为用户、商家和骑手提供了便捷的订餐服务。通过该系统，用户可以方便地浏览菜单、下单、支付，并享受送餐上…… -
【重点】LSTM – 长短时记忆神经网络
摘要：LSTM旨在解决传统RNN在处理长序列时出现的梯度消失和爆炸问题。通过输入门、遗忘门和输出门来控制信息的流动。 1 模型原理 1.1 超参数 input_size ：i…… -
【重点】RNN – 循环神经网络
摘要：RNN（循环神经网络）是一种能处理序列数据的神经网络，可以利用先前的输入信息来进行预测当前时刻的值。 1 模型原理 1.1 超参数 input_size ：input_s……