简介这份资源面向计算机相关专业的本科生与研究生以及需要完成毕业设计、期末大作业或课程设计的学习者提供一套基于Python的虚假新闻检测多模态识别完整项目。项目整合文本与图像等多模态特征借助BERT、LightGBM、CatBoost等模型进行融合判别代码注释详尽新手也能理解部署流程。压缩包共39个文件约353KB包含16个py源码、4个md说明文档、4个txt配置、3个sh运行脚本、3个tsv数据集、2个json配置、2个tfevents训练日志、1个ipynb笔记本、1个checkpoint模型权重及license等覆盖从数据预处理、模型训练到预测测试的完整链路。目前已有498人学习下载说明其具备一定参考价值。读者可获得可直接运行的工程代码、模型融合思路、训练脚本与文档说明便于快速复现实验并作为高分项目提交。1. 多模态虚假新闻检测源码包一份能跑通 BERTLightGBM 的毕设底稿社交平台上一条“图文并茂”的爆料往往比纯文字更容易让人信以为真——图片自带情绪文字负责叙事两者一叠加判断成本陡增。这个基于 Python 的虚假新闻检测多模态识别源码包解决的正是这种图文混合内容的真伪判别问题它把文本走 BERT 提特征、结构化特征走 LightGBM/CatBoost再用 blending 融合出最终概率整条链路都有可运行的脚本。适合正在做毕业设计、期末大作业或者想找一个多模态分类完整工程练手的人。它不是玩具 demolgb_cat_blend_lb9546.py这个文件名里的 lb9546 暗示了本地验证集上的一个分数锚点说明作者是认真调过参的。下面我按“这是什么 → 怎么装怎么跑 → 坑在哪 → 怎么改”的顺序拆一遍。2. 拆开压缩包目录结构与多模态融合的技术选型2.1 从文件清单反推工程结构拿到基于Python的虚假新闻检测多模态识别代码.zip解压后第一件事不是急着pip install而是先看清楚每个文件在流水线里的位置。这个包的目录大致是这样组织的master model/ ├── tf_bert_model/ # 预训练 BERT 权重与配置 ├── code/ │ ├── lgb_cat_blend_lb9546.py # 融合与提交主脚本 │ ├── bert-final.py # BERT 微调/推理脚本 │ └── bert-master/ # BERT 相关依赖与工具 ├── catboost_info/ # CatBoost 训练日志与缓存 ├── req.sh # 依赖安装脚本 ├── train.sh # 训练入口 ├── test.sh # 测试/推理入口 ├── predict_test.py # 预测并生成结果 ├── packages.txt # 依赖清单 ├── README.md # 文档说明 └── .gitignore这个结构透露出一个关键信息项目把“深度特征提取”和“树模型融合”拆成了两段。tf_bert_model是文本侧的语义编码器bert-final.py负责把原始文本转成向量或概率lgb_cat_blend_lb9546.py则是把 BERT 的输出和可能的统计特征拼在一起交给 LightGBM 和 CatBoost 做集成。catboost_info目录的存在说明 CatBoost 确实被训练过不是摆设。2.2 为什么是 BERT LightGBM/CatBoost 的混合架构纯 BERT 做二分类当然可以但在虚假新闻检测这类任务上单靠文本语义往往不够。新闻的真伪信号有一部分藏在文本之外标题长度、标点密度、是否含夸张数字、发布时段等结构化特征这些用树模型处理比塞进 BERT 更高效。所以常见做法是“深度模型提语义 树模型吃结构化特征 概率融合”。这个包选择 LightGBM 和 CatBoost 双树模型再做 blending而不是只用一个理由也站得住LightGBM 在稀疏特征上快CatBoost 对类别特征和过拟合更稳两者误差相关性低blend 之后通常能涨一点。文件名里的lb9546大概率是本地 CV 的 logloss 或类似指标具体含义以 README 为准我不替它编版本号。提示如果你的数据里图片模态是独立信号比如配图本身是伪造的这个包默认的文本结构化融合并不覆盖图像特征需要自己接一个 CNN 分支。选型前先确认你的数据模态。2.3 环境依赖与版本对齐packages.txt和req.sh是环境入口。BERT 类项目最怕的就是 TensorFlow / PyTorch 版本和 transformers 对不上所以不要跳过这一步直接跑训练。先看packages.txt里锁定的版本再用req.sh安装。# 查看依赖清单确认框架版本 cat packages.txt # 按脚本安装依赖建议在虚拟环境里执行 bash req.sh逻辑说明packages.txt是依赖快照req.sh是安装动作。参数上如果req.sh里写的是pip install -r packages.txt那它和手动装等价如果里面带了--index-url之类的源配置按你本地网络情况决定是否保留。安装完用pip list | grep -i -E tensorflow|torch|transformers|lightgbm|catboost核对一遍五个核心库都在再往下走。3. 跑通训练与推理从 train.sh 到 predict_test.py3.1 训练入口 train.sh 的执行链路train.sh是训练总入口通常它会先调bert-final.py做文本侧微调再调lgb_cat_blend_lb9546.py做树模型融合。执行前先确认tf_bert_model目录里的权重文件完整——BERT 权重一般包含config.json、vocab.txt和模型权重文件缺一个都会在加载时报错。# 赋予脚本执行权限 chmod x train.sh test.sh req.sh # 启动训练建议先看脚本内容再跑 bash train.sh逻辑说明chmod x是因为压缩包解压后脚本权限可能丢失这是跨平台传包的常见问题。train.sh内部一般会设置数据路径、输出路径和超参。参数上重点看三个batch sizeBERT 微调时显存不够就调小、learning rate通常 2e-5 到 5e-5、epoch 数小数据集 3 到 5 轮就够多了过拟合。如果脚本里路径是硬编码的绝对路径先改成你本地的相对路径。3.2 BERT 文本特征提取的关键参数bert-final.py承担文本编码。它要么输出分类概率要么输出 [CLS] 向量供下游使用。看这个脚本时重点关注 max_seq_length 和是否 freeze 底层。# bert-final.py 中常见的编码配置片段示意以实际代码为准 from transformers import BertTokenizer, TFBertModel MAX_LEN 128 # 新闻文本一般不会太长128 够用长文调到 256 tokenizer BertTokenizer.from_pretrained(../tf_bert_model) model TFBertModel.from_pretrained(../tf_bert_model) def encode(texts): # paddingmax_length 保证 batch 内长度一致 enc tokenizer( texts, max_lengthMAX_LEN, paddingmax_length, truncationTrue, return_tensorstf ) return enc逻辑说明max_length决定截断长度虚假新闻的正文如果普遍偏长128 会丢信息建议统计一下文本长度分布再定。truncationTrue是必须的否则超长文本直接报错。return_tensorstf对应 TensorFlow 后端如果你环境是 PyTorch这里要换成pt并改用BertModel。参数上paddingmax_length比longest更耗显存但 batch 形状固定训练更稳。3.3 融合脚本 lgb_cat_blend_lb9546.py 的输入输出这个脚本是整个包的核心。它读取 BERT 产出的文本概率/向量拼接结构化特征分别训练 LightGBM 和 CatBoost再按权重 blend。# lgb_cat_blend_lb9546.py 融合逻辑示意 import numpy as np import lightgbm as lgb from catboost import CatBoostClassifier # bert_probs: BERT 输出的正类概率, shape(n,) # struct_feats: 结构化特征矩阵, shape(n, m) X np.hstack([bert_probs.reshape(-1, 1), struct_feats]) y labels # LightGBM 分支 lgb_model lgb.LGBMClassifier( n_estimators500, learning_rate0.05, num_leaves31 ) lgb_model.fit(X, y) # CatBoost 分支 cat_model CatBoostClassifier( iterations500, learning_rate0.05, verbose100 ) cat_model.fit(X, y) # 概率融合权重按验证集表现调 final_prob 0.5 * lgb_model.predict_proba(X)[:, 1] \ 0.5 * cat_model.predict_proba(X)[:, 1]逻辑说明np.hstack把 BERT 概率和结构化特征横向拼接这是多模态融合最直接的方式。n_estimators和iterations都是树的数量500 是常见起点验证集不涨就减。blend 权重 0.5/0.5 是默认值实际应该用验证集网格搜索比如试 0.4/0.6、0.6/0.4。注意这里用的是predict_proba而不是predict因为概率融合比硬标签融合信息量大。3.4 推理与结果生成 predict_test.py训练完用test.sh或直接跑predict_test.py生成预测结果。推理阶段最容易翻车的是特征对齐——训练时的结构化特征列顺序必须和推理时完全一致。# 执行推理脚本 python predict_test.py # 或通过 test.sh 统一入口 bash test.sh逻辑说明predict_test.py一般会加载训练好的模型文件对测试集做同样的编码和特征拼接输出提交格式。参数上确认输出路径和格式CSV 还是特定分隔符。如果报“特征维度不匹配”九成是训练和推理的特征列顺序或数量不一致回去核对特征工程代码。4. 避坑与排查多模态检测工程里最容易翻车的五件事4.1 现象加载 tf_bert_model 报 “Unable to load weights”原因压缩包传输过程中权重文件可能被截断或者tf_bert_model目录里只有 config 没有权重。另一个常见原因是 transformers 版本和权重格式不匹配老版权重在新版库上加载会失败。解决先ls -lh tf_bert_model/看文件大小正常的 BERT-base 权重在 400MB 左右如果只有几 KB 就是没下全。版本问题就按packages.txt里的 transformers 版本重装别用最新版硬扛。4.2 现象训练 loss 不降准确率卡在 0.5 附近原因学习率太大导致震荡或者标签编码反了0/1 颠倒也可能是 BERT 权重被 freeze 了但下游没接好。解决先把学习率降到 2e-5 试一轮再打印前几个 batch 的标签和预测确认标签没反最后检查bert-final.py里是否误设了trainableFalse。虚假新闻数据集如果正负样本极度不均衡还要看是否加了 class weight。4.3 现象LightGBM 和 CatBoost 单独跑都正常blend 后反而变差原因两个模型的验证集预测相关性太高blend 没有增益反而引入噪声或者 blend 权重是在训练集上调的过拟合了。解决先算一下两个模型验证集概率的相关系数高于 0.95 就没必要 blend选一个就行。权重必须在验证集或 CV 折外调不能在训练集上搜。常见做法是 5 折 CV每折记录两个模型的 OOF 概率再在 OOF 上搜权重。4.4 现象推理时显存溢出OOM原因推理 batch size 沿用了训练时的大 batch或者max_seq_length设得过大。解决推理不需要梯度把 batch size 调小到 16 甚至 8并在编码时加torch.no_grad()或 TensorFlow 的trainingFalse。max_seq_length如果训练时是 256推理也保持一致但可以分批处理。4.5 现象predict_test.py 输出全为同一类原因模型加载错了文件加载成了未训练的初始权重或者测试集特征标准化用了训练集的均值方差但没保存。解决确认加载的模型路径是训练输出目录而不是tf_bert_model原始权重。标准化参数mean/std必须在训练时保存成文件推理时加载同一份不能重新计算。5. 进阶玩法把 lb9546 再往上推一档的四个具体动作5.1 用 OOF 概率做 stacking 而不是简单平均简单平均是最粗的融合。更稳的做法是拿 5 折 CV 的 out-of-fold 概率作为第二层特征再训一个逻辑回归或小 LightGBM 做 stacking。这样权重是学出来的不是拍脑袋定的。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_predict # 假设 lgb_oof, cat_oof 是 5 折 CV 得到的 OOF 概率 stack_X np.vstack([lgb_oof, cat_oof]).T meta LogisticRegression() meta.fit(stack_X, y) final meta.predict_proba(stack_X)[:, 1]逻辑说明cross_val_predict保证每个样本的 OOF 概率都来自没训过它的模型避免泄漏。meta 模型用逻辑回归是因为它只有两个输入复杂度低不容易过拟合。参数上C控制正则强度默认 1.0 通常够用。5.2 结构化特征工程补几个高信号字段BERT 吃语义树模型吃统计。可以补的特征包括文本长度、感叹号/问号数量、是否含 URL、数字占比、标题与正文的重合度。这些在虚假新闻里都是强信号。特征名计算方式预期作用text_lenlen(text)异常短或异常长都可疑excl_counttext.count(!)情绪化表达偏多digit_ratio数字字符数 / 总字符数夸张数据多has_url是否含 http 链接引流特征title_body_overlap标题词与正文词交集比例标题党检测5.3 验证方法别只看准确率虚假新闻检测如果正负样本不均衡准确率会骗人。至少同时看 F1、AUC 和混淆矩阵。我一般会在验证集上固定一个阈值比如 0.5然后画 P-R 曲线看不同阈值下的表现再决定线上用哪个阈值。5.4 一个具体技巧冻结 BERT 底层只微调顶层如果数据量小几千条全量微调 BERT 容易过拟合。可以把前 8 层 freeze只训后 4 层加分类头。这样训练快泛化也更好。具体在bert-final.py里设置每层的trainable属性即可。# 冻结 BERT 前 8 层示意 for layer in model.bert.encoder.layer[:8]: layer.trainable False逻辑说明BERT-base 有 12 层前 8 层学的是通用语言特征小数据集上没必要动。后 4 层更贴近任务微调它们性价比最高。参数上 freeze 层数没有定论8 层是常见起点数据越少冻得越多。从那以后我每次拿到一个新的多模态分类包都强制先跑一遍最小闭环——用 100 条样本走完训练到推理确认链路通了再上全量数据。这个习惯帮我省过太多“跑了一夜发现特征对不上”的后悔药。希望帮到你。本文还有配套的精品资源点击获取 基于Python的多模态虚假新闻检测：BERT+LightGBM+CatBoost融合实战
简介这份资源面向计算机相关专业的本科生与研究生以及需要完成毕业设计、期末大作业或课程设计的学习者提供一套基于Python的虚假新闻检测多模态识别完整项目。项目整合文本与图像等多模态特征借助BERT、LightGBM、CatBoost等模型进行融合判别代码注释详尽新手也能理解部署流程。压缩包共39个文件约353KB包含16个py源码、4个md说明文档、4个txt配置、3个sh运行脚本、3个tsv数据集、2个json配置、2个tfevents训练日志、1个ipynb笔记本、1个checkpoint模型权重及license等覆盖从数据预处理、模型训练到预测测试的完整链路。目前已有498人学习下载说明其具备一定参考价值。读者可获得可直接运行的工程代码、模型融合思路、训练脚本与文档说明便于快速复现实验并作为高分项目提交。1. 多模态虚假新闻检测源码包一份能跑通 BERTLightGBM 的毕设底稿社交平台上一条“图文并茂”的爆料往往比纯文字更容易让人信以为真——图片自带情绪文字负责叙事两者一叠加判断成本陡增。这个基于 Python 的虚假新闻检测多模态识别源码包解决的正是这种图文混合内容的真伪判别问题它把文本走 BERT 提特征、结构化特征走 LightGBM/CatBoost再用 blending 融合出最终概率整条链路都有可运行的脚本。适合正在做毕业设计、期末大作业或者想找一个多模态分类完整工程练手的人。它不是玩具 demolgb_cat_blend_lb9546.py这个文件名里的 lb9546 暗示了本地验证集上的一个分数锚点说明作者是认真调过参的。下面我按“这是什么 → 怎么装怎么跑 → 坑在哪 → 怎么改”的顺序拆一遍。2. 拆开压缩包目录结构与多模态融合的技术选型2.1 从文件清单反推工程结构拿到基于Python的虚假新闻检测多模态识别代码.zip解压后第一件事不是急着pip install而是先看清楚每个文件在流水线里的位置。这个包的目录大致是这样组织的master model/ ├── tf_bert_model/ # 预训练 BERT 权重与配置 ├── code/ │ ├── lgb_cat_blend_lb9546.py # 融合与提交主脚本 │ ├── bert-final.py # BERT 微调/推理脚本 │ └── bert-master/ # BERT 相关依赖与工具 ├── catboost_info/ # CatBoost 训练日志与缓存 ├── req.sh # 依赖安装脚本 ├── train.sh # 训练入口 ├── test.sh # 测试/推理入口 ├── predict_test.py # 预测并生成结果 ├── packages.txt # 依赖清单 ├── README.md # 文档说明 └── .gitignore这个结构透露出一个关键信息项目把“深度特征提取”和“树模型融合”拆成了两段。tf_bert_model是文本侧的语义编码器bert-final.py负责把原始文本转成向量或概率lgb_cat_blend_lb9546.py则是把 BERT 的输出和可能的统计特征拼在一起交给 LightGBM 和 CatBoost 做集成。catboost_info目录的存在说明 CatBoost 确实被训练过不是摆设。2.2 为什么是 BERT LightGBM/CatBoost 的混合架构纯 BERT 做二分类当然可以但在虚假新闻检测这类任务上单靠文本语义往往不够。新闻的真伪信号有一部分藏在文本之外标题长度、标点密度、是否含夸张数字、发布时段等结构化特征这些用树模型处理比塞进 BERT 更高效。所以常见做法是“深度模型提语义 树模型吃结构化特征 概率融合”。这个包选择 LightGBM 和 CatBoost 双树模型再做 blending而不是只用一个理由也站得住LightGBM 在稀疏特征上快CatBoost 对类别特征和过拟合更稳两者误差相关性低blend 之后通常能涨一点。文件名里的lb9546大概率是本地 CV 的 logloss 或类似指标具体含义以 README 为准我不替它编版本号。提示如果你的数据里图片模态是独立信号比如配图本身是伪造的这个包默认的文本结构化融合并不覆盖图像特征需要自己接一个 CNN 分支。选型前先确认你的数据模态。2.3 环境依赖与版本对齐packages.txt和req.sh是环境入口。BERT 类项目最怕的就是 TensorFlow / PyTorch 版本和 transformers 对不上所以不要跳过这一步直接跑训练。先看packages.txt里锁定的版本再用req.sh安装。# 查看依赖清单确认框架版本 cat packages.txt # 按脚本安装依赖建议在虚拟环境里执行 bash req.sh逻辑说明packages.txt是依赖快照req.sh是安装动作。参数上如果req.sh里写的是pip install -r packages.txt那它和手动装等价如果里面带了--index-url之类的源配置按你本地网络情况决定是否保留。安装完用pip list | grep -i -E tensorflow|torch|transformers|lightgbm|catboost核对一遍五个核心库都在再往下走。3. 跑通训练与推理从 train.sh 到 predict_test.py3.1 训练入口 train.sh 的执行链路train.sh是训练总入口通常它会先调bert-final.py做文本侧微调再调lgb_cat_blend_lb9546.py做树模型融合。执行前先确认tf_bert_model目录里的权重文件完整——BERT 权重一般包含config.json、vocab.txt和模型权重文件缺一个都会在加载时报错。# 赋予脚本执行权限 chmod x train.sh test.sh req.sh # 启动训练建议先看脚本内容再跑 bash train.sh逻辑说明chmod x是因为压缩包解压后脚本权限可能丢失这是跨平台传包的常见问题。train.sh内部一般会设置数据路径、输出路径和超参。参数上重点看三个batch sizeBERT 微调时显存不够就调小、learning rate通常 2e-5 到 5e-5、epoch 数小数据集 3 到 5 轮就够多了过拟合。如果脚本里路径是硬编码的绝对路径先改成你本地的相对路径。3.2 BERT 文本特征提取的关键参数bert-final.py承担文本编码。它要么输出分类概率要么输出 [CLS] 向量供下游使用。看这个脚本时重点关注 max_seq_length 和是否 freeze 底层。# bert-final.py 中常见的编码配置片段示意以实际代码为准 from transformers import BertTokenizer, TFBertModel MAX_LEN 128 # 新闻文本一般不会太长128 够用长文调到 256 tokenizer BertTokenizer.from_pretrained(../tf_bert_model) model TFBertModel.from_pretrained(../tf_bert_model) def encode(texts): # paddingmax_length 保证 batch 内长度一致 enc tokenizer( texts, max_lengthMAX_LEN, paddingmax_length, truncationTrue, return_tensorstf ) return enc逻辑说明max_length决定截断长度虚假新闻的正文如果普遍偏长128 会丢信息建议统计一下文本长度分布再定。truncationTrue是必须的否则超长文本直接报错。return_tensorstf对应 TensorFlow 后端如果你环境是 PyTorch这里要换成pt并改用BertModel。参数上paddingmax_length比longest更耗显存但 batch 形状固定训练更稳。3.3 融合脚本 lgb_cat_blend_lb9546.py 的输入输出这个脚本是整个包的核心。它读取 BERT 产出的文本概率/向量拼接结构化特征分别训练 LightGBM 和 CatBoost再按权重 blend。# lgb_cat_blend_lb9546.py 融合逻辑示意 import numpy as np import lightgbm as lgb from catboost import CatBoostClassifier # bert_probs: BERT 输出的正类概率, shape(n,) # struct_feats: 结构化特征矩阵, shape(n, m) X np.hstack([bert_probs.reshape(-1, 1), struct_feats]) y labels # LightGBM 分支 lgb_model lgb.LGBMClassifier( n_estimators500, learning_rate0.05, num_leaves31 ) lgb_model.fit(X, y) # CatBoost 分支 cat_model CatBoostClassifier( iterations500, learning_rate0.05, verbose100 ) cat_model.fit(X, y) # 概率融合权重按验证集表现调 final_prob 0.5 * lgb_model.predict_proba(X)[:, 1] \ 0.5 * cat_model.predict_proba(X)[:, 1]逻辑说明np.hstack把 BERT 概率和结构化特征横向拼接这是多模态融合最直接的方式。n_estimators和iterations都是树的数量500 是常见起点验证集不涨就减。blend 权重 0.5/0.5 是默认值实际应该用验证集网格搜索比如试 0.4/0.6、0.6/0.4。注意这里用的是predict_proba而不是predict因为概率融合比硬标签融合信息量大。3.4 推理与结果生成 predict_test.py训练完用test.sh或直接跑predict_test.py生成预测结果。推理阶段最容易翻车的是特征对齐——训练时的结构化特征列顺序必须和推理时完全一致。# 执行推理脚本 python predict_test.py # 或通过 test.sh 统一入口 bash test.sh逻辑说明predict_test.py一般会加载训练好的模型文件对测试集做同样的编码和特征拼接输出提交格式。参数上确认输出路径和格式CSV 还是特定分隔符。如果报“特征维度不匹配”九成是训练和推理的特征列顺序或数量不一致回去核对特征工程代码。4. 避坑与排查多模态检测工程里最容易翻车的五件事4.1 现象加载 tf_bert_model 报 “Unable to load weights”原因压缩包传输过程中权重文件可能被截断或者tf_bert_model目录里只有 config 没有权重。另一个常见原因是 transformers 版本和权重格式不匹配老版权重在新版库上加载会失败。解决先ls -lh tf_bert_model/看文件大小正常的 BERT-base 权重在 400MB 左右如果只有几 KB 就是没下全。版本问题就按packages.txt里的 transformers 版本重装别用最新版硬扛。4.2 现象训练 loss 不降准确率卡在 0.5 附近原因学习率太大导致震荡或者标签编码反了0/1 颠倒也可能是 BERT 权重被 freeze 了但下游没接好。解决先把学习率降到 2e-5 试一轮再打印前几个 batch 的标签和预测确认标签没反最后检查bert-final.py里是否误设了trainableFalse。虚假新闻数据集如果正负样本极度不均衡还要看是否加了 class weight。4.3 现象LightGBM 和 CatBoost 单独跑都正常blend 后反而变差原因两个模型的验证集预测相关性太高blend 没有增益反而引入噪声或者 blend 权重是在训练集上调的过拟合了。解决先算一下两个模型验证集概率的相关系数高于 0.95 就没必要 blend选一个就行。权重必须在验证集或 CV 折外调不能在训练集上搜。常见做法是 5 折 CV每折记录两个模型的 OOF 概率再在 OOF 上搜权重。4.4 现象推理时显存溢出OOM原因推理 batch size 沿用了训练时的大 batch或者max_seq_length设得过大。解决推理不需要梯度把 batch size 调小到 16 甚至 8并在编码时加torch.no_grad()或 TensorFlow 的trainingFalse。max_seq_length如果训练时是 256推理也保持一致但可以分批处理。4.5 现象predict_test.py 输出全为同一类原因模型加载错了文件加载成了未训练的初始权重或者测试集特征标准化用了训练集的均值方差但没保存。解决确认加载的模型路径是训练输出目录而不是tf_bert_model原始权重。标准化参数mean/std必须在训练时保存成文件推理时加载同一份不能重新计算。5. 进阶玩法把 lb9546 再往上推一档的四个具体动作5.1 用 OOF 概率做 stacking 而不是简单平均简单平均是最粗的融合。更稳的做法是拿 5 折 CV 的 out-of-fold 概率作为第二层特征再训一个逻辑回归或小 LightGBM 做 stacking。这样权重是学出来的不是拍脑袋定的。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_predict # 假设 lgb_oof, cat_oof 是 5 折 CV 得到的 OOF 概率 stack_X np.vstack([lgb_oof, cat_oof]).T meta LogisticRegression() meta.fit(stack_X, y) final meta.predict_proba(stack_X)[:, 1]逻辑说明cross_val_predict保证每个样本的 OOF 概率都来自没训过它的模型避免泄漏。meta 模型用逻辑回归是因为它只有两个输入复杂度低不容易过拟合。参数上C控制正则强度默认 1.0 通常够用。5.2 结构化特征工程补几个高信号字段BERT 吃语义树模型吃统计。可以补的特征包括文本长度、感叹号/问号数量、是否含 URL、数字占比、标题与正文的重合度。这些在虚假新闻里都是强信号。特征名计算方式预期作用text_lenlen(text)异常短或异常长都可疑excl_counttext.count(!)情绪化表达偏多digit_ratio数字字符数 / 总字符数夸张数据多has_url是否含 http 链接引流特征title_body_overlap标题词与正文词交集比例标题党检测5.3 验证方法别只看准确率虚假新闻检测如果正负样本不均衡准确率会骗人。至少同时看 F1、AUC 和混淆矩阵。我一般会在验证集上固定一个阈值比如 0.5然后画 P-R 曲线看不同阈值下的表现再决定线上用哪个阈值。5.4 一个具体技巧冻结 BERT 底层只微调顶层如果数据量小几千条全量微调 BERT 容易过拟合。可以把前 8 层 freeze只训后 4 层加分类头。这样训练快泛化也更好。具体在bert-final.py里设置每层的trainable属性即可。# 冻结 BERT 前 8 层示意 for layer in model.bert.encoder.layer[:8]: layer.trainable False逻辑说明BERT-base 有 12 层前 8 层学的是通用语言特征小数据集上没必要动。后 4 层更贴近任务微调它们性价比最高。参数上 freeze 层数没有定论8 层是常见起点数据越少冻得越多。从那以后我每次拿到一个新的多模态分类包都强制先跑一遍最小闭环——用 100 条样本走完训练到推理确认链路通了再上全量数据。这个习惯帮我省过太多“跑了一夜发现特征对不上”的后悔药。希望帮到你。本文还有配套的精品资源点击获取