基于GRUAttention的IMDB电影评论情感分析完整实现本文完整实现了一个基于双向 GRU Attention 机制的 IMDB 电影评论情感分类模型使用 PyTorch 框架在 25,000 条测试评论上达到约 87% 的准确率。项目涵盖数据探索分析EDA、模型定义、训练调优、测试预测全流程所有代码均可直接运行。代码加数据: https://pan.baidu.com/s/1zBFmkjj14a0MAFpWycdhEQ 提取码: hasb什么是情感分析情感分析Sentiment Analysis是自然语言处理NLP的一个分支任务目标是从文本中自动识别和提取主观情感信息通常将文本分类为正向、负向或中性。在电影评论场景中情感分析将用户评论自动判别为好评或差评帮助平台聚合用户口碑、辅助推荐决策。情感分析的核心挑战在于人类语言中的情感表达高度依赖上下文。例如this movie was anything but good包含正面词汇good但整体语义为负面。传统基于词典规则的方法难以处理这类情况而基于深度学习的序列模型能够捕获上下文依赖关系显著提升分类效果。为什么选择 GRU 而非 LSTMGRUGated Recurrent Unit门控循环单元是一种循环神经网络变体由 Cho 等人于 2014 年提出通过更新门和重置门控制信息流动用于处理序列数据中的长期依赖关系。GRU 与 LSTM 的关键区别在于门控结构的设计特性GRULSTM门控数量2 个更新门、重置门3 个输入门、遗忘门、输出门单元状态无独立单元状态合并到隐藏状态有独立的单元状态Cell State参数量较少约为 LSTM 的 3/4较多训练速度较快较慢长序列表现中等较优短中等序列表现优秀优秀在 IMDB 情感分析任务中评论文本平均长度约 237 词截断后固定为 200 个 token属于中等长度序列。GRU 在此场景下的性能与 LSTM 接近但参数更少、训练更快是性价比更高的选择。注意力机制的作用注意力机制Attention Mechanism是一种让模型在处理序列时动态分配关注权重的方法核心思想是让模型学会关注输入序列中对当前任务最重要的部分。在情感分析中一条评论可能长达数百词但决定情感倾向的往往只是少数关键短语如absolutely amazing、“complete waste of time”。传统 GRU 仅取最后一个时间步的隐藏状态作为句子的全局表示这会导致前面出现的关键情感词被稀释。注意力机制对所有时间步的输出进行加权求和让模型自动学习哪些词更重要从而生成更精准的句子表示。本项目的注意力机制还引入了mask 机制由于输入序列经过 padding 对齐注意力计算时需要屏蔽 padding 位置的权重防止模型将注意力分配给无意义的填充 token。项目整体架构项目采用模块化设计共 5 个 Python 脚本各文件职责清晰文件功能运行方式download_imdb.py从 Stanford 官方地址下载并解压 IMDB 数据集python download_imdb.pydata_analysis_eda.py探索性数据分析生成 5 类统计图表python data_analysis_eda.pymodel.pyBiGRU Attention 模型定义被其他脚本自动导入train.py模型训练主脚本含数据加载与可视化python train.pytest.py模型评估与预测展示python test.py数据流向如下download_imdb.py → 下载 imdb/aclImdb/ 数据集 ↓ data_analysis_eda.py → 生成 img/ 下 EDA 图表 ↓ train.py → 读取数据 → 训练模型 → 保存 pth/best_model.pth 生成训练曲线图 ↓ test.py → 加载模型 → 评估指标 预测展示环境配置依赖安装pipinstalltorch torchvision scikit-learn matplotlib numpy本项目已移除torchtext依赖数据直接从本地文件读取无需额外安装。验证 PyTorch 安装importtorchprint(fPyTorch版本:{torch.__version__})print(fCUDA是否可用:{torch.cuda.is_available()})iftorch.cuda.is_available():print(fGPU设备名:{torch.cuda.get_device_name(0)})环境要求Python 3.8GPU 可选有 CUDA 可加速训练无 GPU 也可正常运行。IMDB 数据集介绍本项目使用的是Stanford Large Movie Review DatasetaclImdb由 Andrew Maas 等人从 IMDb 网站采集并标注是情感分析领域的标准基准数据集。数据项数量说明训练集正向评论12,500 条train/pos/*.txt训练集负向评论12,500 条train/neg/*.txt测试集正向评论12,500 条test/pos/*.txt测试集负向评论12,500 条test/neg/*.txt词表大小89,527 词imdb.vocab平均文本长度237 词含停用词文本长度范围10 ~ 2,525 词差异较大数据集正负样本完全均衡各 12,500 条无需处理类别不平衡问题。训练集与测试集各占 50%共 50,000 条评论。自动下载数据集python download_imdb.py脚本会从https://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz下载并自动解压到imdb/aclImdb/目录。如需重新下载添加--force参数。数据探索分析EDA运行python data_analysis_eda.py可生成 5 类可视化图表帮助理解数据分布特征。文本长度分布正负评论的文本长度分布基本一致均值约 237 词中位数略低于均值说明存在少量超长评论拉高了均值。箱线图显示正向评论的长尾略长于负向评论但整体差异不大。高频词对比正向评论中 “great”、“love”、“best” 等词出现频率显著高于负向评论负向评论中 “bad”、“worst”、“waste” 等词占主导。这种词汇分布差异为模型提供了清晰的分类信号。情感特征词对比“great” 在正向评论中出现次数远超负向评论而 “bad”、“worst”、“terrible” 在负向评论中占绝对优势。值得注意的是部分负面词如 “bad”也会出现在正向评论中通常以否定形式出现如 “not bad”这体现了上下文理解在情感分析中的重要性。模型设计BiGRU Attention模型由四个核心组件构成Embedding 层、双向 GRU、注意力层、分类头。模型架构图输入: [batch_size, seq_len] 词索引序列 │ ▼ Embedding 层 (vocab_size → 256维) │ ▼ Dropout (0.5) │ ▼ 双向 GRU (2层, hidden128, 输出 256维) │ ← 输出: [batch, seq_len, 256] ▼ Attention 层 (对 seq_len 维度加权求和) │ ← 输出: [batch, 256] 上下文向量 ▼ 全连接层 (256 → 128) ReLU LayerNorm │ ▼ Dropout (0.5) │ ▼ 全连接层 (128 → 2) → 分类 logitsAttention 机制实现classAttention(nn.Module):注意力机制对GRU所有时间步的输出加权求和def__init__(self,hidden_size,dropout0.0):super(Attention,self).__init__()self.attnnn.Linear(hidden_size,hidden_size)self.vnn.Linear(hidden_size,1,biasFalse)self.dropoutnn.Dropout(dropout)defforward(self,encoder_outputs,maskNone):# encoder_outputs: [batch, seq_len, hidden*2]energytorch.tanh(self.attn(encoder_outputs))# [batch, seq_len, hidden*2]scoresself.v(energy).squeeze(-1)# [batch, seq_len]# mask掉padding位置防止注意力分配给pad tokenifmaskisnotNone:scoresscores.masked_fill(mask0,-1e9)weightsF.softmax(scores,dim1)# [batch, seq_len]weightsself.dropout(weights)contexttorch.bmm(weights.unsqueeze(1),encoder_outputs).squeeze(1)returncontext,weights注意力计算分三步先用线性层 tanh 激活将 GRU 输出投影为注意力能量值再通过一个线性层映射为标量分数最后对分数做 softmax 得到归一化权重。mask 操作将 padding 位置的分数设为负无穷-1e9使 softmax 后这些位置的权重趋近于零。完整模型定义classMyGRU(nn.Module):基于GRU Attention的IMDB电影评论情感分类模型def__init__(self,vocab_size,emb_size256,hidden_size128,num_classes2,num_layers2,dropout0.5,pad_idxNone):super(MyGRU,self).__init__()self.pad_idxpad_idx# Embedding层self.embeddingnn.Embedding(vocab_size,emb_size,padding_idxpad_idx)self.emb_dropoutnn.Dropout(dropout)# 双向GRUself.grunn.GRU(input_sizeemb_size,hidden_sizehidden_size,num_layersnum_layers,batch_firstTrue,bidirectionalTrue,dropoutdropoutifnum_layers1else0)# 注意力层带dropoutself.attentionAttention(hidden_size*2,dropoutdropout*0.5)# 分类头两层全连接 LayerNorm 正则化self.fc1nn.Linear(hidden_size*2,hidden_size)self.lnnn.LayerNorm(hidden_size)self.fc2nn.Linear(hidden_size,num_classes)self.dropoutnn.Dropout(dropout)defforward(self,inputs):# 构造maskpadding位置为0有效位置为1mask(inputs!self.pad_idx).float()ifself.pad_idxisnotNoneelseNoneembself.embedding(inputs)# [batch, seq_len, emb_size]embself.emb_dropout(emb)output,_self.gru(emb)# [batch, seq_len, hidden*2]context,attn_weightsself.attention(output,mask)# [batch, hidden*2]outself.fc1(context)# [batch, hidden]outF.relu(out)outself.ln(out)outself.dropout(out)returnself.fc2(out)模型采用双向 GRU前向和后向各 128 维拼接后得到 256 维的隐藏表示。分类头使用两层全连接中间加入 LayerNorm 和 ReLU 激活配合 Dropout 抑制过拟合。训练策略与防过拟合技巧本项目综合使用了 6 种训练优化技术共同将验证准确率从基础 GRU 的约 80% 提升至 87%。关键超参数参数默认值作用seq_len200输入序列固定长度截断/填充batch_size64批次大小epochs15最大训练轮数learning_rate0.001初始学习率hidden_size128GRU 隐藏层维度emb_size256词嵌入维度dropout0.5Dropout 比例num_layers2GRU 层数early_stop_patience3早停耐心值label_smoothing0.15标签平滑系数weight_decay1e-4L2 正则化系数max_grad_norm5.0梯度裁剪阈值random_delete_prob0.1数据增强随机删除 token 概率六大优化技术1. AdamW 优化器 L2 正则化AdamW 相比标准 Adam 在权重衰减的实现上更合理将 L2 正则化与自适应学习率解耦正则化效果更稳定optimizertorch.optim.AdamW(model.parameters(),lrlearning_rate,weight_decayweight_decay)2. 学习率动态调度使用 ReduceLROnPlateau 策略当验证准确率连续 2 个 epoch 不提升时学习率自动减半schedulertorch.optim.lr_scheduler.ReduceLROnPlateau(optimizer,modemax,factor0.5,patience2,verboseTrue)3. 标签平滑标签平滑将硬标签 [0, 1] 软化为 [0.075, 0.925]防止模型对训练样本过度自信提升泛化能力criterionnn.CrossEntropyLoss(label_smoothinglabel_smoothing)4. 梯度裁剪限制梯度范数不超过 5.0防止 GRU 训练中出现梯度爆炸torch.nn.utils.clip_grad_norm_(model.parameters(),max_grad_norm)5. 早停机制当验证准确率连续 3 个 epoch 无提升时自动终止训练避免过拟合ifno_improve_countearly_stop_patience:print(f早停触发! 连续{early_stop_patience}个epoch验证准确率未提升)break6. 数据增强随机删除 token训练时以 10% 的概率随机将 token 替换为 padding迫使模型不依赖个别关键词增强鲁棒性ifself.augmentandself.delete_prob0:masknp.random.rand(len(sent))self.delete_prob sent[~mask]self.pad_id训练过程与结果分析运行python train.py开始训练。训练过程中每个 epoch 结束后在测试集上评估仅保存验证准确率最高的模型。训练曲线训练在约第 6-7 个 epoch 触发早停。训练准确率持续上升至约 94%而验证准确率在第 3 个 epoch 后趋于稳定维持在 86%-87% 区间。训练损失与验证损失之间存在的差距表明模型存在一定程度的过拟合但通过 Dropout、标签平滑和数据增强等手段过拟合已被有效控制。混淆矩阵混淆矩阵显示模型对两类评论的识别能力较为均衡指标负向评论正向评论真阴性/真阳性 (TN/TP)10,94010,647假阳性/假阴性 (FP/FN)1,5201,853召回率 (Recall)87.8%85.2%精确率 (Precision)85.5%87.5%F1-Score0.8660.863整体准确率约 86.5%正负两类的 F1-Score 均在 0.86 以上说明模型没有偏向某一类别。假阴性1,853略多于假阳性1,520表明模型在判断正面评论时稍显保守。模型测试与预测评估模式python test.py--modelpth/best_model.pth--modeeval输出分类报告包含每个类别的 Precision、Recall、F1-Score[评估结果] Accuracy: 0.8742, Loss: 0.3521 总样本数: 24992, 正确数: 21842 分类报告: precision recall f1-score support negative 0.88 0.88 0.88 12492 positive 0.87 0.87 0.87 12500预测模式python test.py--modelpth/best_model.pth--modepredict展示具体样本的预测结果和置信度样本 1: 文本: this movie was absolutely amazing ... 真实标签: positive (1) | 预测标签: positive (1) ✓ 置信度: Positive0.9234, Negative0.0766命令行参数参数默认值说明--modelpth/best_model.pth模型权重文件路径--modeall运行模式eval仅评估/predict仅预测/all全部常见问题GRU 和 LSTM 在情感分析任务中哪个更好在 IMDB 等中等长度文本200 token 左右的情感分析任务中GRU 和 LSTM 的性能差异通常在 1-2 个百分点以内。GRU 参数量比 LSTM 少约 25%训练速度更快在计算资源有限时是更优的选择。对于超长序列500 token 以上或需要更精细门控控制的任务LSTM 可能更有优势。为什么验证准确率比训练准确率低很多训练准确率达到 94% 而验证准确率约 87%这 7 个百分点的差距是过拟合的典型表现。模型在训练数据上学到了部分噪声和特定样本的特征这些特征在测试集上不适用。本项目通过 Dropout0.5、标签平滑0.15、数据增强随机删除 token、L2 正则化和早停机制五种手段联合抑制过拟合将差距控制在合理范围内。没有GPU能否运行本项目可以。代码中通过torch.device(cuda if torch.cuda.is_available() else cpu)自动检测设备。无 GPU 时使用 CPU 训练单个 epoch 预计耗时 5-15 分钟取决于 CPU 性能完整训练约需 1-2 小时。有 CUDA GPU 时单 epoch 约 2-5 分钟。如何进一步提升模型准确率按优先级建议如下使用预训练词向量如 GloVe替代随机初始化 Embedding可提升 1-3 个百分点增大模型容量hidden_size从 128 提升至 256emb_size从 256 提升至 300使用 BERT 等预训练语言模型替代 GRUIMDB 数据集上可达 93% 准确率增加序列长度seq_len从 200 提升至 400保留更多文本信息尝试混合精度训练torch.cuda.amp加速训练以便尝试更多超参数组合报错 “No such file or directory: imdb/aclImdb” 怎么办原因是未下载 IMDB 数据集或路径不正确。运行python download_imdb.py自动下载或手动将aclImdb文件夹放入项目的imdb/目录下。确认目录结构包含imdb/aclImdb/train/pos/、imdb/aclImdb/train/neg/、imdb/aclImdb/test/pos/、imdb/aclImdb/test/neg/和imdb/aclImdb/imdb.vocab。GPU 显存不足怎么办在train.py中将batch_size从 64 减小到 32 或 16batch_size32# 或 16较小的 batch size 会增加训练迭代次数但不会影响最终模型质量。完整代码文件结构imdb情感分析/ ├── imdb/ │ └── aclImdb/ # IMDB数据集 │ ├── imdb.vocab # 词表文件89,527词 │ ├── train/ │ │ ├── pos/ # 正向评论12,500条 │ │ └── neg/ # 负向评论12,500条 │ └── test/ │ ├── pos/ │ └── neg/ ├── img/ # 可视化图表 │ ├── dataset_overview.png # 数据集概览 │ ├── text_length_distribution.png │ ├── word_frequency.png │ ├── sentiment_word_comparison.png │ ├── length_vs_sentiment.png │ ├── training_loss.png │ ├── training_accuracy.png │ ├── training_curves.png │ └── Confusion_Matrix.png ├── pth/ │ └── best_model.pth # 最佳模型权重 ├── model.py # 模型定义 ├── train.py # 训练脚本 ├── test.py # 测试脚本 ├── data_analysis_eda.py # EDA分析脚本 └── download_imdb.py # 数据集下载脚本总结本项目完整实现了基于双向 GRU Attention 的 IMDB 电影评论情感分类系统主要技术要点如下模型架构Embedding(256) → BiGRU(2层, 128维) → Attention → FC LayerNorm → 分类参数量适中适合单卡或 CPU 训练防过拟合策略综合运用 Dropout、标签平滑、L2 正则化、梯度裁剪、早停、数据增强六种技术将验证准确率提升至约 87%注意力机制对 GRU 所有时间步输出加权求和自动聚焦关键情感词配合 mask 屏蔽 padding 位置完整流程从数据下载、EDA 分析、模型训练到测试预测5 个脚本覆盖 NLP 项目的全生命周期GRU Attention 架构在中等长度文本分类任务中兼具效率与效果。若需追求更高准确率可在此基础上引入预训练词向量或迁移至 BERT 等预训练语言模型。
基于深度学习的IMDB电影评论情感分析完整实现
发布时间：2026/7/26 19:45:06
基于GRUAttention的IMDB电影评论情感分析完整实现本文完整实现了一个基于双向 GRU Attention 机制的 IMDB 电影评论情感分类模型使用 PyTorch 框架在 25,000 条测试评论上达到约 87% 的准确率。项目涵盖数据探索分析EDA、模型定义、训练调优、测试预测全流程所有代码均可直接运行。代码加数据: https://pan.baidu.com/s/1zBFmkjj14a0MAFpWycdhEQ 提取码: hasb什么是情感分析情感分析Sentiment Analysis是自然语言处理NLP的一个分支任务目标是从文本中自动识别和提取主观情感信息通常将文本分类为正向、负向或中性。在电影评论场景中情感分析将用户评论自动判别为好评或差评帮助平台聚合用户口碑、辅助推荐决策。情感分析的核心挑战在于人类语言中的情感表达高度依赖上下文。例如this movie was anything but good包含正面词汇good但整体语义为负面。传统基于词典规则的方法难以处理这类情况而基于深度学习的序列模型能够捕获上下文依赖关系显著提升分类效果。为什么选择 GRU 而非 LSTMGRUGated Recurrent Unit门控循环单元是一种循环神经网络变体由 Cho 等人于 2014 年提出通过更新门和重置门控制信息流动用于处理序列数据中的长期依赖关系。GRU 与 LSTM 的关键区别在于门控结构的设计特性GRULSTM门控数量2 个更新门、重置门3 个输入门、遗忘门、输出门单元状态无独立单元状态合并到隐藏状态有独立的单元状态Cell State参数量较少约为 LSTM 的 3/4较多训练速度较快较慢长序列表现中等较优短中等序列表现优秀优秀在 IMDB 情感分析任务中评论文本平均长度约 237 词截断后固定为 200 个 token属于中等长度序列。GRU 在此场景下的性能与 LSTM 接近但参数更少、训练更快是性价比更高的选择。注意力机制的作用注意力机制Attention Mechanism是一种让模型在处理序列时动态分配关注权重的方法核心思想是让模型学会关注输入序列中对当前任务最重要的部分。在情感分析中一条评论可能长达数百词但决定情感倾向的往往只是少数关键短语如absolutely amazing、“complete waste of time”。传统 GRU 仅取最后一个时间步的隐藏状态作为句子的全局表示这会导致前面出现的关键情感词被稀释。注意力机制对所有时间步的输出进行加权求和让模型自动学习哪些词更重要从而生成更精准的句子表示。本项目的注意力机制还引入了mask 机制由于输入序列经过 padding 对齐注意力计算时需要屏蔽 padding 位置的权重防止模型将注意力分配给无意义的填充 token。项目整体架构项目采用模块化设计共 5 个 Python 脚本各文件职责清晰文件功能运行方式download_imdb.py从 Stanford 官方地址下载并解压 IMDB 数据集python download_imdb.pydata_analysis_eda.py探索性数据分析生成 5 类统计图表python data_analysis_eda.pymodel.pyBiGRU Attention 模型定义被其他脚本自动导入train.py模型训练主脚本含数据加载与可视化python train.pytest.py模型评估与预测展示python test.py数据流向如下download_imdb.py → 下载 imdb/aclImdb/ 数据集 ↓ data_analysis_eda.py → 生成 img/ 下 EDA 图表 ↓ train.py → 读取数据 → 训练模型 → 保存 pth/best_model.pth 生成训练曲线图 ↓ test.py → 加载模型 → 评估指标 预测展示环境配置依赖安装pipinstalltorch torchvision scikit-learn matplotlib numpy本项目已移除torchtext依赖数据直接从本地文件读取无需额外安装。验证 PyTorch 安装importtorchprint(fPyTorch版本:{torch.__version__})print(fCUDA是否可用:{torch.cuda.is_available()})iftorch.cuda.is_available():print(fGPU设备名:{torch.cuda.get_device_name(0)})环境要求Python 3.8GPU 可选有 CUDA 可加速训练无 GPU 也可正常运行。IMDB 数据集介绍本项目使用的是Stanford Large Movie Review DatasetaclImdb由 Andrew Maas 等人从 IMDb 网站采集并标注是情感分析领域的标准基准数据集。数据项数量说明训练集正向评论12,500 条train/pos/*.txt训练集负向评论12,500 条train/neg/*.txt测试集正向评论12,500 条test/pos/*.txt测试集负向评论12,500 条test/neg/*.txt词表大小89,527 词imdb.vocab平均文本长度237 词含停用词文本长度范围10 ~ 2,525 词差异较大数据集正负样本完全均衡各 12,500 条无需处理类别不平衡问题。训练集与测试集各占 50%共 50,000 条评论。自动下载数据集python download_imdb.py脚本会从https://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz下载并自动解压到imdb/aclImdb/目录。如需重新下载添加--force参数。数据探索分析EDA运行python data_analysis_eda.py可生成 5 类可视化图表帮助理解数据分布特征。文本长度分布正负评论的文本长度分布基本一致均值约 237 词中位数略低于均值说明存在少量超长评论拉高了均值。箱线图显示正向评论的长尾略长于负向评论但整体差异不大。高频词对比正向评论中 “great”、“love”、“best” 等词出现频率显著高于负向评论负向评论中 “bad”、“worst”、“waste” 等词占主导。这种词汇分布差异为模型提供了清晰的分类信号。情感特征词对比“great” 在正向评论中出现次数远超负向评论而 “bad”、“worst”、“terrible” 在负向评论中占绝对优势。值得注意的是部分负面词如 “bad”也会出现在正向评论中通常以否定形式出现如 “not bad”这体现了上下文理解在情感分析中的重要性。模型设计BiGRU Attention模型由四个核心组件构成Embedding 层、双向 GRU、注意力层、分类头。模型架构图输入: [batch_size, seq_len] 词索引序列 │ ▼ Embedding 层 (vocab_size → 256维) │ ▼ Dropout (0.5) │ ▼ 双向 GRU (2层, hidden128, 输出 256维) │ ← 输出: [batch, seq_len, 256] ▼ Attention 层 (对 seq_len 维度加权求和) │ ← 输出: [batch, 256] 上下文向量 ▼ 全连接层 (256 → 128) ReLU LayerNorm │ ▼ Dropout (0.5) │ ▼ 全连接层 (128 → 2) → 分类 logitsAttention 机制实现classAttention(nn.Module):注意力机制对GRU所有时间步的输出加权求和def__init__(self,hidden_size,dropout0.0):super(Attention,self).__init__()self.attnnn.Linear(hidden_size,hidden_size)self.vnn.Linear(hidden_size,1,biasFalse)self.dropoutnn.Dropout(dropout)defforward(self,encoder_outputs,maskNone):# encoder_outputs: [batch, seq_len, hidden*2]energytorch.tanh(self.attn(encoder_outputs))# [batch, seq_len, hidden*2]scoresself.v(energy).squeeze(-1)# [batch, seq_len]# mask掉padding位置防止注意力分配给pad tokenifmaskisnotNone:scoresscores.masked_fill(mask0,-1e9)weightsF.softmax(scores,dim1)# [batch, seq_len]weightsself.dropout(weights)contexttorch.bmm(weights.unsqueeze(1),encoder_outputs).squeeze(1)returncontext,weights注意力计算分三步先用线性层 tanh 激活将 GRU 输出投影为注意力能量值再通过一个线性层映射为标量分数最后对分数做 softmax 得到归一化权重。mask 操作将 padding 位置的分数设为负无穷-1e9使 softmax 后这些位置的权重趋近于零。完整模型定义classMyGRU(nn.Module):基于GRU Attention的IMDB电影评论情感分类模型def__init__(self,vocab_size,emb_size256,hidden_size128,num_classes2,num_layers2,dropout0.5,pad_idxNone):super(MyGRU,self).__init__()self.pad_idxpad_idx# Embedding层self.embeddingnn.Embedding(vocab_size,emb_size,padding_idxpad_idx)self.emb_dropoutnn.Dropout(dropout)# 双向GRUself.grunn.GRU(input_sizeemb_size,hidden_sizehidden_size,num_layersnum_layers,batch_firstTrue,bidirectionalTrue,dropoutdropoutifnum_layers1else0)# 注意力层带dropoutself.attentionAttention(hidden_size*2,dropoutdropout*0.5)# 分类头两层全连接 LayerNorm 正则化self.fc1nn.Linear(hidden_size*2,hidden_size)self.lnnn.LayerNorm(hidden_size)self.fc2nn.Linear(hidden_size,num_classes)self.dropoutnn.Dropout(dropout)defforward(self,inputs):# 构造maskpadding位置为0有效位置为1mask(inputs!self.pad_idx).float()ifself.pad_idxisnotNoneelseNoneembself.embedding(inputs)# [batch, seq_len, emb_size]embself.emb_dropout(emb)output,_self.gru(emb)# [batch, seq_len, hidden*2]context,attn_weightsself.attention(output,mask)# [batch, hidden*2]outself.fc1(context)# [batch, hidden]outF.relu(out)outself.ln(out)outself.dropout(out)returnself.fc2(out)模型采用双向 GRU前向和后向各 128 维拼接后得到 256 维的隐藏表示。分类头使用两层全连接中间加入 LayerNorm 和 ReLU 激活配合 Dropout 抑制过拟合。训练策略与防过拟合技巧本项目综合使用了 6 种训练优化技术共同将验证准确率从基础 GRU 的约 80% 提升至 87%。关键超参数参数默认值作用seq_len200输入序列固定长度截断/填充batch_size64批次大小epochs15最大训练轮数learning_rate0.001初始学习率hidden_size128GRU 隐藏层维度emb_size256词嵌入维度dropout0.5Dropout 比例num_layers2GRU 层数early_stop_patience3早停耐心值label_smoothing0.15标签平滑系数weight_decay1e-4L2 正则化系数max_grad_norm5.0梯度裁剪阈值random_delete_prob0.1数据增强随机删除 token 概率六大优化技术1. AdamW 优化器 L2 正则化AdamW 相比标准 Adam 在权重衰减的实现上更合理将 L2 正则化与自适应学习率解耦正则化效果更稳定optimizertorch.optim.AdamW(model.parameters(),lrlearning_rate,weight_decayweight_decay)2. 学习率动态调度使用 ReduceLROnPlateau 策略当验证准确率连续 2 个 epoch 不提升时学习率自动减半schedulertorch.optim.lr_scheduler.ReduceLROnPlateau(optimizer,modemax,factor0.5,patience2,verboseTrue)3. 标签平滑标签平滑将硬标签 [0, 1] 软化为 [0.075, 0.925]防止模型对训练样本过度自信提升泛化能力criterionnn.CrossEntropyLoss(label_smoothinglabel_smoothing)4. 梯度裁剪限制梯度范数不超过 5.0防止 GRU 训练中出现梯度爆炸torch.nn.utils.clip_grad_norm_(model.parameters(),max_grad_norm)5. 早停机制当验证准确率连续 3 个 epoch 无提升时自动终止训练避免过拟合ifno_improve_countearly_stop_patience:print(f早停触发! 连续{early_stop_patience}个epoch验证准确率未提升)break6. 数据增强随机删除 token训练时以 10% 的概率随机将 token 替换为 padding迫使模型不依赖个别关键词增强鲁棒性ifself.augmentandself.delete_prob0:masknp.random.rand(len(sent))self.delete_prob sent[~mask]self.pad_id训练过程与结果分析运行python train.py开始训练。训练过程中每个 epoch 结束后在测试集上评估仅保存验证准确率最高的模型。训练曲线训练在约第 6-7 个 epoch 触发早停。训练准确率持续上升至约 94%而验证准确率在第 3 个 epoch 后趋于稳定维持在 86%-87% 区间。训练损失与验证损失之间存在的差距表明模型存在一定程度的过拟合但通过 Dropout、标签平滑和数据增强等手段过拟合已被有效控制。混淆矩阵混淆矩阵显示模型对两类评论的识别能力较为均衡指标负向评论正向评论真阴性/真阳性 (TN/TP)10,94010,647假阳性/假阴性 (FP/FN)1,5201,853召回率 (Recall)87.8%85.2%精确率 (Precision)85.5%87.5%F1-Score0.8660.863整体准确率约 86.5%正负两类的 F1-Score 均在 0.86 以上说明模型没有偏向某一类别。假阴性1,853略多于假阳性1,520表明模型在判断正面评论时稍显保守。模型测试与预测评估模式python test.py--modelpth/best_model.pth--modeeval输出分类报告包含每个类别的 Precision、Recall、F1-Score[评估结果] Accuracy: 0.8742, Loss: 0.3521 总样本数: 24992, 正确数: 21842 分类报告: precision recall f1-score support negative 0.88 0.88 0.88 12492 positive 0.87 0.87 0.87 12500预测模式python test.py--modelpth/best_model.pth--modepredict展示具体样本的预测结果和置信度样本 1: 文本: this movie was absolutely amazing ... 真实标签: positive (1) | 预测标签: positive (1) ✓ 置信度: Positive0.9234, Negative0.0766命令行参数参数默认值说明--modelpth/best_model.pth模型权重文件路径--modeall运行模式eval仅评估/predict仅预测/all全部常见问题GRU 和 LSTM 在情感分析任务中哪个更好在 IMDB 等中等长度文本200 token 左右的情感分析任务中GRU 和 LSTM 的性能差异通常在 1-2 个百分点以内。GRU 参数量比 LSTM 少约 25%训练速度更快在计算资源有限时是更优的选择。对于超长序列500 token 以上或需要更精细门控控制的任务LSTM 可能更有优势。为什么验证准确率比训练准确率低很多训练准确率达到 94% 而验证准确率约 87%这 7 个百分点的差距是过拟合的典型表现。模型在训练数据上学到了部分噪声和特定样本的特征这些特征在测试集上不适用。本项目通过 Dropout0.5、标签平滑0.15、数据增强随机删除 token、L2 正则化和早停机制五种手段联合抑制过拟合将差距控制在合理范围内。没有GPU能否运行本项目可以。代码中通过torch.device(cuda if torch.cuda.is_available() else cpu)自动检测设备。无 GPU 时使用 CPU 训练单个 epoch 预计耗时 5-15 分钟取决于 CPU 性能完整训练约需 1-2 小时。有 CUDA GPU 时单 epoch 约 2-5 分钟。如何进一步提升模型准确率按优先级建议如下使用预训练词向量如 GloVe替代随机初始化 Embedding可提升 1-3 个百分点增大模型容量hidden_size从 128 提升至 256emb_size从 256 提升至 300使用 BERT 等预训练语言模型替代 GRUIMDB 数据集上可达 93% 准确率增加序列长度seq_len从 200 提升至 400保留更多文本信息尝试混合精度训练torch.cuda.amp加速训练以便尝试更多超参数组合报错 “No such file or directory: imdb/aclImdb” 怎么办原因是未下载 IMDB 数据集或路径不正确。运行python download_imdb.py自动下载或手动将aclImdb文件夹放入项目的imdb/目录下。确认目录结构包含imdb/aclImdb/train/pos/、imdb/aclImdb/train/neg/、imdb/aclImdb/test/pos/、imdb/aclImdb/test/neg/和imdb/aclImdb/imdb.vocab。GPU 显存不足怎么办在train.py中将batch_size从 64 减小到 32 或 16batch_size32# 或 16较小的 batch size 会增加训练迭代次数但不会影响最终模型质量。完整代码文件结构imdb情感分析/ ├── imdb/ │ └── aclImdb/ # IMDB数据集 │ ├── imdb.vocab # 词表文件89,527词 │ ├── train/ │ │ ├── pos/ # 正向评论12,500条 │ │ └── neg/ # 负向评论12,500条 │ └── test/ │ ├── pos/ │ └── neg/ ├── img/ # 可视化图表 │ ├── dataset_overview.png # 数据集概览 │ ├── text_length_distribution.png │ ├── word_frequency.png │ ├── sentiment_word_comparison.png │ ├── length_vs_sentiment.png │ ├── training_loss.png │ ├── training_accuracy.png │ ├── training_curves.png │ └── Confusion_Matrix.png ├── pth/ │ └── best_model.pth # 最佳模型权重 ├── model.py # 模型定义 ├── train.py # 训练脚本 ├── test.py # 测试脚本 ├── data_analysis_eda.py # EDA分析脚本 └── download_imdb.py # 数据集下载脚本总结本项目完整实现了基于双向 GRU Attention 的 IMDB 电影评论情感分类系统主要技术要点如下模型架构Embedding(256) → BiGRU(2层, 128维) → Attention → FC LayerNorm → 分类参数量适中适合单卡或 CPU 训练防过拟合策略综合运用 Dropout、标签平滑、L2 正则化、梯度裁剪、早停、数据增强六种技术将验证准确率提升至约 87%注意力机制对 GRU 所有时间步输出加权求和自动聚焦关键情感词配合 mask 屏蔽 padding 位置完整流程从数据下载、EDA 分析、模型训练到测试预测5 个脚本覆盖 NLP 项目的全生命周期GRU Attention 架构在中等长度文本分类任务中兼具效率与效果。若需追求更高准确率可在此基础上引入预训练词向量或迁移至 BERT 等预训练语言模型。
)
