NLP
-
【在审论文】通过基于分层特征融合的LLM以桥接文本生成和分数回归的自动作文评分
摘要：大多数现有的自动作文评分研究都集中在学习特征表示上，以提高评分预测的准确性。然而，早期的研究都集中在手工设计的特征工程上，而最近的方法则利用神……Zhang, Hongxing 2025年3月31日
-
【理论学习】NLP语言模型概览-语言模型结构分类、BERT
语言模型结构分类 Encoder-Decoder(Transformer): Encoder 部分是 Masked Multi-Head Self-Attention，Decoder 部分是 Casual Multi-Head Cross-Attention 和…… -
【攀登计划 & 软著一作】思潮——基于数据挖掘的舆情与社会思潮可视化分析系统
摘要：随着互联网技术的迅猛发展，网络舆情作为社会思潮的反映渠道，逐渐成为理解社会动态的前置步骤。然而，现有分析工具大多仅停留在信息和情绪的层面，缺…… -
【理论学习】NLP哪些场景不适用大模型
NLP哪些场景不适用大模型？ 1）数据稀缺的场景：大模型通常需要大量的训练数据来达到良好的性能。然而，在某些领域或任务中，可能难以收集到足够的数据来训练…… -
【重点】Bert – 双向Encoder
摘要：BERT由嵌入层和Transformer的Encoder组成，输出Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 的预测结果。除此之外，本文还讨论了Em…… -
【重点】Transformer
摘要：Transformer模型通过自注意力机制进行信息建模，包含编码器和解码器两部分。编码器将输入序列转化为上下文丰富的表示，解码器则根据编码器输出和已生成…… -
【重点】常见变体 – RNN LSTM GRU
摘要：Bidirectional RNNs通过结合前后序列信息，增强了对上下文的捕捉能力，适合填补缺失词语等任务。而Deep RNNs则通过叠加多层RNN，提升模型的表示能力。Bi…… -
【重点】GRU – 门控循环神经网络
摘要：GRU通过重置门和更新门来控制信息的流动，简化了LSTM的结构并提高了计算效率。 1 模型原理 1.1 超参数 input_size ：input_size 是指每个时间步长输入…… -
【重点】LSTM – 长短时记忆神经网络
摘要：LSTM旨在解决传统RNN在处理长序列时出现的梯度消失和爆炸问题。通过输入门、遗忘门和输出门来控制信息的流动。 1 模型原理 1.1 超参数 input_size ：i…… -
【重点】RNN – 循环神经网络
摘要：RNN（循环神经网络）是一种能处理序列数据的神经网络，可以利用先前的输入信息来进行预测当前时刻的值。 1 模型原理 1.1 超参数 input_size ：input_s……