1. 项目概述与核心价值最近几年法律科技领域有个词挺火叫“智慧司法”说白了就是希望用技术手段让司法工作更高效、更精准。我作为一个既写代码又对交叉学科感兴趣的人一直琢磨着能不能用我们程序员最熟悉的工具——Python去碰一碰这个听起来有点“硬核”的领域。于是就有了这个项目基于历史判例的刑事判决刑期参考模型。这名字听起来学术味挺浓但内核其实很实在我们能不能像做数据分析一样把过去成千上万个刑事判决书“喂”给计算机让它找出规律然后给一个新的案子一个相对客观的刑期参考范围这绝不是要取代法官而是想提供一个基于历史数据的“第二意见”辅助量刑的规范化。这个想法的价值在哪首先它直面了司法实践中的一个痛点同案不同判。相似的犯罪情节在不同地区、不同时期、甚至不同法官手里判出来的刑期可能有差异。这种差异会影响司法公信力。其次对于法律研究者或律师来说手动检索和分析海量判例效率极低。我们的模型如果能提供一个初步的量化参考就能极大地解放人力把精力聚焦在更复杂的法律论证上。最后这也是一个绝佳的数学建模应用场景涉及特征工程、回归分析、自然语言处理NLP等多个技术栈对Python开发者来说是个非常有挑战性和成就感的综合性项目。2. 核心思路与方案设计2.1 问题定义与建模目标我们首先要明确这不是一个“算命”模型不能也不应该输出一个确定的刑期数字。法官的自由裁量权、案件的具体人情世故是模型无法完全量化的。因此我们的目标更务实构建一个回归模型根据输入的案件特征预测一个刑期的“参考区间”比如预测刑期为36个月并给出一个置信区间如[30, 42]个月。这个区间反映了历史相似案例的刑期分布情况。这本质上是一个监督学习中的回归问题。我们的“训练数据”是历史刑事判决书。每一份判决书就是一个样本样本的“特征”X是提取出的案件属性如罪名、犯罪金额、是否有自首、是否赔偿谅解等样本的“标签”y就是最终判处的刑期通常转换为月份数。模型的任务就是学习从X到y的映射关系。2.2 技术栈选型与理由为什么是Python因为它的生态太适合干这个了。整个项目可以看作一个数据科学流水线Python在每个环节都有成熟的工具。数据获取与解析判决书是非结构化的文本数据。我们可以从“中国裁判文书网”等公开渠道获取。这里会用到爬虫技术requests,Scrapy和文本解析库BeautifulSoup,lxml。对于已下载的PDF或Word格式文书pdfplumber和python-docx是得力助手。数据清洗与特征工程这是项目的灵魂工作量占60%以上。pandas是处理表格数据的核心用于数据清洗、整合。特征工程需要从文本中提取结构化信息这里初步涉及NLP技术比如用Jieba分词用规则或简单的文本匹配来提取“是否累犯”、“是否主犯”等关键字段。数学建模与机器学习scikit-learn是首选。它提供了丰富的回归模型线性回归、决策树回归、随机森林回归、梯度提升回归等和完整的模型训练、评估、调优工具链。对于更复杂的序列或深度特征可以引入TensorFlow或PyTorch但初期用scikit-learn足以构建一个强基线模型。结果可视化与分析matplotlib和seaborn用于绘制特征重要性图、预测值与真实值散点图、残差分布图等直观地评估模型表现和理解数据规律。注意处理司法数据必须严格遵守法律法规和伦理规范。所有数据应来自公开、合法的渠道并做好脱敏处理隐去当事人姓名、身份证号等个人信息。模型结果仅供研究参考绝不能用于实际司法决策替代。2.3 整体工作流程设计整个项目可以拆解为五个核心阶段形成一个闭环数据采集与预处理爬取或导入原始判决书进行文本清洗、格式统一。特征提取与构建将文本判决书转化为结构化的特征矩阵。这是最考验对法律知识理解的一步。模型训练与验证划分训练集和测试集选择并训练多个回归模型使用交叉验证评估性能。模型优化与解释调参优化最佳模型并利用SHAP等工具解释模型决策确保其符合法律逻辑。部署与应用演示将训练好的模型封装成简单的API或本地函数实现输入案件特征、输出预测区间的功能。3. 数据获取与特征工程深度解析3.1 判决书数据的结构化挑战拿到一份刑事判决书你会发现它虽然格式相对固定但仍然是自由文本。例如“被告人张三盗窃他人财物价值人民币5000元系累犯到案后如实供述罪行自愿认罪认罚。” 我们需要从中精准提取出罪名盗窃罪犯罪数额5000累犯是坦白是“如实供述”认罪认罚是这需要设计一套“规则词典”的提取方法。对于罪名、法定情节自首、立功、累犯等可以建立关键词词典进行匹配。对于数值型特征如犯罪金额则需要编写正则表达式来捕捉“价值人民币XXXX元”这样的模式。实操心得一判决书文本的“脏数据”处理实际爬取的文书常有格式错乱、OCR识别错误、表述不统一等问题。比如“人民币5000元”可能被写成“RMB5000元”或“五千元”。我们需要进行大量的文本规范化统一货币单位表述将中文数字“五千”转换为“5000”处理多余空格和换行符。一个实用的技巧是针对金额提取不要只依赖一种正则模式可以设计多层过滤先抓取包含“元”的数字串再通过上下文判断它是否指代犯罪数额。3.2 特征体系构建特征决定了模型的天花板。我们需要构建一个既能被模型理解又具有法律意义的特征体系。通常分为以下几类基础事实特征罪名需要编码。盗窃罪、故意伤害罪、诈骗罪等使用独热编码One-Hot Encoding或标签编码Label Encoding对于树模型标签编码通常即可。犯罪数额连续数值。对于经济犯罪至关重要但分布可能极度偏斜少数巨额案件通常对其取对数log(1x)来缓解偏态。犯罪后果如伤害案件中的伤残等级有序类别盗窃案件中的次数离散数值。法定情节特征二值变量0/1从重情节累犯、主犯、犯罪集团首要分子等。从轻/减轻情节自首、立功、坦白、认罪认罚、赔偿谅解、被害人过错等。这些情节对刑期影响显著是模型必须捕捉的关键信息。被告人个体特征前科情况是否有前科前科次数离散数值。这是“累犯”情节的补充和细化。年龄是否未成年人特殊保护是否老年人可能从宽。在共同犯罪中的地位主犯、从犯、胁从犯有序类别。衍生特征情节数量从重情节总数、从轻情节总数。有时情节的“组合效应”比单一情节更重要。数额与罪名交叉特征例如对于盗窃罪数额大小的影响程度可能与诈骗罪不同。可以尝试为不同罪名构建数额的分段函数或交互项。实操心得二处理“认罪认罚”情节的复杂性“认罪认罚”是近年重要的制度但其从宽幅度在文书中的表述可能模糊如“依法从宽处理”、“酌情从轻处罚”。在特征化时我们不能简单将其标记为“1”。更好的方法是结合判决主文判断其是否确实导致了刑期的减少。可以尝试构建一个更细粒度的特征“认罪认罚且被法庭采纳并从轻”这需要结合“本院认为”部分的说理进行简单的语义分析初期可以用关键词“采纳”、“从轻”、“予以考虑”进行粗筛。3.3 标签处理刑期的数值化我们的预测目标——刑期也需要处理。刑事判决包括主刑管制、拘役、有期徒刑、无期、死刑和附加刑。我们主要建模有期徒刑占比最高。需要将“有期徒刑X年Y个月”统一转换为月份数。对于拘役可以按一定比例折算如1日拘役折抵1日刑期但需在特征中注明刑种。无期徒刑和死刑不能直接作为回归标签通常需要将它们作为分类问题单独处理或在数据集中剔除取决于模型目标。在本模型中我们通常先聚焦于有期徒刑案件。4. 模型选择、训练与评估实战4.1 模型候选与比较有了干净的特征矩阵X和标签向量y我们就可以开始建模了。在scikit-learn中有几个回归模型是值得尝试的线性回归基线模型。可解释性强但假设特征与刑期是线性关系这在实际中很难满足因为情节之间可能存在复杂的交互。决策树回归能自动捕捉非线性关系和特征交互但容易过拟合单棵树不稳定。随机森林回归集成多棵决策树通过“投票”降低过拟合稳定且准确率高能输出特征重要性是当前非常合适的选择。梯度提升回归树如XGBoost或LightGBM性能通常优于随机森林训练速度更快但对参数更敏感。我们的策略是先从简单的线性回归开始建立一个可解释的基线。然后使用随机森林它能提供一个强大的性能基准。如果追求极致精度再尝试调优LightGBM。4.2 训练流程与关键代码示例假设我们已经有了一个pandas DataFrame名为df包含特征和‘sentence_months’刑期月份列。import pandas as pd from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score import numpy as np # 1. 准备数据 # 假设所有特征已经是数值型或已编码 X df.drop(columns[sentence_months]) y df[sentence_months] # 2. 划分训练集和测试集8:2 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 3. 初始化随机森林模型 rf_model RandomForestRegressor(n_estimators100, random_state42, n_jobs-1) # 4. 使用交叉验证评估在训练集上 cv_scores cross_val_score(rf_model, X_train, y_train, cv5, scoringneg_mean_absolute_error) print(f交叉验证MAE平均分: {-cv_scores.mean():.2f} 个月) # 5. 在训练集上拟合模型 rf_model.fit(X_train, y_train) # 6. 在测试集上预测并评估 y_pred rf_model.predict(X_test) mae mean_absolute_error(y_test, y_pred) rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) print(f测试集 MAE: {mae:.2f} 个月) print(f测试集 RMSE: {rmse:.2f} 个月) print(f测试集 R²: {r2:.4f})关键参数解释n_estimators森林中树的数量越多通常性能越好但计算成本增加。100是个不错的起点。random_state固定随机种子确保结果可复现。n_jobs-1使用所有CPU核心并行训练加快速度。4.3 模型评估与“可接受”的误差法律领域对误差的容忍度很低。MAE平均绝对误差为6个月意味着平均每个预测会偏差半年。这听起来很大但需要结合刑期分布看。如果大多数案件刑期在12-36个月6个月的误差需要谨慎看待如果刑期分布很广从6个月到120个月这个误差相对比例可能可以接受。更重要的是区间预测。我们可以利用随机森林的“袋外”预测或构建分位数回归森林来输出预测区间。例如输出第25和第75分位数作为参考区间的上下界。这样我们可以说“根据历史数据类似案件有50%的刑期落在[A, B]个月之间。” 这比一个孤立的点预测更有信息量也更符合辅助参考的定位。评估时一定要看残差图绘制预测值 vs 真实值散点图以及残差预测值-真实值 vs 预测值的散点图。理想情况是点均匀分布在对角线两侧残差随机分布。如果发现长刑期案件预测普遍偏低残差为正说明模型对严重情节学习不足可能需要引入更复杂的特征或模型。5. 模型解释与法律逻辑对齐“黑箱模型”在法律场景中是难以被接受的。我们必须能解释“为什么模型预测这个案子是36个月而不是30个月”。随机森林自带的特征重要性是一个入口。import matplotlib.pyplot as plt import seaborn as sns # 获取特征重要性 feature_importances pd.DataFrame({ feature: X_train.columns, importance: rf_model.feature_importances_ }).sort_values(importance, ascendingFalse) # 绘制重要性条形图 plt.figure(figsize(10, 6)) sns.barplot(datafeature_importances.head(15), ximportance, yfeature) plt.title(Top 15 Feature Importances) plt.tight_layout() plt.show()通常你会发现“犯罪数额”、“罪名类型”、“是否累犯”、“是否自首”等特征排名靠前这符合法律人的直觉能增强对模型的信任。更进一步可以使用SHAP库进行更精细的解释。SHAP值能展示每个特征对单个样本预测的具体贡献是增加还是减少了刑期。import shap # 创建SHAP解释器 explainer shap.TreeExplainer(rf_model) shap_values explainer.shap_values(X_test) # 对单个样本进行解释 sample_idx 0 shap.force_plot(explainer.expected_value, shap_values[sample_idx, :], X_test.iloc[sample_idx, :])通过SHAP图你可以清晰地告诉用户“看这个案子预测刑期较高主要是因为‘犯罪数额巨大’贡献了20个月和‘系主犯’贡献了12个月但‘有自首情节’贡献了-15个月部分抵消了所以最终预测在这个水平。” 这种解释性是将技术模型与法律专业沟通起来的关键桥梁。6. 常见问题、陷阱与优化策略6.1 数据层面的问题样本不均衡与长尾分布轻罪案件如拘役、短期徒刑数量远多于重罪案件。直接训练会导致模型对重罪预测不准。对策对重罪案件如刑期5年进行过采样或使用加权损失函数给予重罪样本更高的权重。特征缺失与噪声判决书并非数据库很多信息可能缺失或隐含。例如“赔偿谅解”可能已达成但文书未明确记载。对策建立明确的缺失值处理规则。对于关键特征如金额缺失可能意味着不涉及或为零需根据罪名判断。对于分类特征可增加“未知”类别。时空异质性法律会修订量刑标准会变化。2010年的盗窃罪入罪标准和2023年不同。对策在特征中加入“判决年份”或按时间段如每5年分别建模和评估。更好的做法是使用“生效法律版本”作为特征。6.2 模型层面的问题过拟合模型在训练集上表现完美在测试集上很差。对策使用交叉验证增加正则化参数对于树模型限制树的最大深度max_depth、增加min_samples_split使用更多的训练数据。预测区间不准确输出的置信区间过宽或过窄失去参考意义。对策使用专门的分位数回归方法如QuantileRegressor或LightGBM的分位数回归目标。随机森林也可通过计算所有树预测值的分位数来构造区间。对新类型案件失效训练数据中没有出现过的新型犯罪或罕见情节组合。对策模型需要定期用新数据更新重训。同时在应用时可以计算输入样本与训练集样本的相似度对于相似度极低的“异常案件”给出“参考价值有限”的提示而非盲目输出预测。6.3 工程化与部署考量特征一致性线上预测时输入的特征必须与训练时完全同源、同方式处理。需要将数据清洗和特征工程的代码封装成可复用的Pipeline。性能随机森林预测速度很快适合实时API响应。如果模型复杂可以考虑使用ONNX格式转换并部署或使用更快的推理库。监控与迭代上线后需要持续监控模型的预测分布是否偏移并收集反馈虽然很难获得真实刑期作为标签但可以收集专家对预测合理性的评价用于迭代优化。7. 项目总结与展望走完这一整套流程你会发现构建一个刑期参考模型远不止是调包和跑算法。它要求你深入理解法律领域的知识将非结构化的文本转化为机器能懂的特征它要求你谨慎地评估模型理解在司法这个特殊领域可解释性和稳健性比单纯的预测精度更重要它还要求你时刻保持敬畏明确模型的辅助定位。这个项目给我最深的体会是数据和特征的质量直接决定了项目的上限。花80%的时间在数据清洗和特征工程上是绝对值得的。一个用简单线性回归但特征构建精良的模型可能比一个用复杂深度学习但特征粗糙的模型更有用。未来这个模型还有很多可以深化的方向。例如引入更先进的NLP技术如BERT来自动抽取更精细的案情摘要和情感倾向将量刑建议从“刑期”扩展到“刑种”是否适用缓刑或者构建一个多任务模型同时预测刑期和罚金。法律与人工智能的交叉是一片充满挑战但也极具社会价值的蓝海。通过Python和数学建模我们至少已经迈出了将这个问题框架化、数据化、可计算化的第一步。这个过程本身就是对逻辑思维和工程能力的一次极佳锻炼。 Python构建刑事判决刑期预测模型：从数据到司法辅助参考
1. 项目概述与核心价值最近几年法律科技领域有个词挺火叫“智慧司法”说白了就是希望用技术手段让司法工作更高效、更精准。我作为一个既写代码又对交叉学科感兴趣的人一直琢磨着能不能用我们程序员最熟悉的工具——Python去碰一碰这个听起来有点“硬核”的领域。于是就有了这个项目基于历史判例的刑事判决刑期参考模型。这名字听起来学术味挺浓但内核其实很实在我们能不能像做数据分析一样把过去成千上万个刑事判决书“喂”给计算机让它找出规律然后给一个新的案子一个相对客观的刑期参考范围这绝不是要取代法官而是想提供一个基于历史数据的“第二意见”辅助量刑的规范化。这个想法的价值在哪首先它直面了司法实践中的一个痛点同案不同判。相似的犯罪情节在不同地区、不同时期、甚至不同法官手里判出来的刑期可能有差异。这种差异会影响司法公信力。其次对于法律研究者或律师来说手动检索和分析海量判例效率极低。我们的模型如果能提供一个初步的量化参考就能极大地解放人力把精力聚焦在更复杂的法律论证上。最后这也是一个绝佳的数学建模应用场景涉及特征工程、回归分析、自然语言处理NLP等多个技术栈对Python开发者来说是个非常有挑战性和成就感的综合性项目。2. 核心思路与方案设计2.1 问题定义与建模目标我们首先要明确这不是一个“算命”模型不能也不应该输出一个确定的刑期数字。法官的自由裁量权、案件的具体人情世故是模型无法完全量化的。因此我们的目标更务实构建一个回归模型根据输入的案件特征预测一个刑期的“参考区间”比如预测刑期为36个月并给出一个置信区间如[30, 42]个月。这个区间反映了历史相似案例的刑期分布情况。这本质上是一个监督学习中的回归问题。我们的“训练数据”是历史刑事判决书。每一份判决书就是一个样本样本的“特征”X是提取出的案件属性如罪名、犯罪金额、是否有自首、是否赔偿谅解等样本的“标签”y就是最终判处的刑期通常转换为月份数。模型的任务就是学习从X到y的映射关系。2.2 技术栈选型与理由为什么是Python因为它的生态太适合干这个了。整个项目可以看作一个数据科学流水线Python在每个环节都有成熟的工具。数据获取与解析判决书是非结构化的文本数据。我们可以从“中国裁判文书网”等公开渠道获取。这里会用到爬虫技术requests,Scrapy和文本解析库BeautifulSoup,lxml。对于已下载的PDF或Word格式文书pdfplumber和python-docx是得力助手。数据清洗与特征工程这是项目的灵魂工作量占60%以上。pandas是处理表格数据的核心用于数据清洗、整合。特征工程需要从文本中提取结构化信息这里初步涉及NLP技术比如用Jieba分词用规则或简单的文本匹配来提取“是否累犯”、“是否主犯”等关键字段。数学建模与机器学习scikit-learn是首选。它提供了丰富的回归模型线性回归、决策树回归、随机森林回归、梯度提升回归等和完整的模型训练、评估、调优工具链。对于更复杂的序列或深度特征可以引入TensorFlow或PyTorch但初期用scikit-learn足以构建一个强基线模型。结果可视化与分析matplotlib和seaborn用于绘制特征重要性图、预测值与真实值散点图、残差分布图等直观地评估模型表现和理解数据规律。注意处理司法数据必须严格遵守法律法规和伦理规范。所有数据应来自公开、合法的渠道并做好脱敏处理隐去当事人姓名、身份证号等个人信息。模型结果仅供研究参考绝不能用于实际司法决策替代。2.3 整体工作流程设计整个项目可以拆解为五个核心阶段形成一个闭环数据采集与预处理爬取或导入原始判决书进行文本清洗、格式统一。特征提取与构建将文本判决书转化为结构化的特征矩阵。这是最考验对法律知识理解的一步。模型训练与验证划分训练集和测试集选择并训练多个回归模型使用交叉验证评估性能。模型优化与解释调参优化最佳模型并利用SHAP等工具解释模型决策确保其符合法律逻辑。部署与应用演示将训练好的模型封装成简单的API或本地函数实现输入案件特征、输出预测区间的功能。3. 数据获取与特征工程深度解析3.1 判决书数据的结构化挑战拿到一份刑事判决书你会发现它虽然格式相对固定但仍然是自由文本。例如“被告人张三盗窃他人财物价值人民币5000元系累犯到案后如实供述罪行自愿认罪认罚。” 我们需要从中精准提取出罪名盗窃罪犯罪数额5000累犯是坦白是“如实供述”认罪认罚是这需要设计一套“规则词典”的提取方法。对于罪名、法定情节自首、立功、累犯等可以建立关键词词典进行匹配。对于数值型特征如犯罪金额则需要编写正则表达式来捕捉“价值人民币XXXX元”这样的模式。实操心得一判决书文本的“脏数据”处理实际爬取的文书常有格式错乱、OCR识别错误、表述不统一等问题。比如“人民币5000元”可能被写成“RMB5000元”或“五千元”。我们需要进行大量的文本规范化统一货币单位表述将中文数字“五千”转换为“5000”处理多余空格和换行符。一个实用的技巧是针对金额提取不要只依赖一种正则模式可以设计多层过滤先抓取包含“元”的数字串再通过上下文判断它是否指代犯罪数额。3.2 特征体系构建特征决定了模型的天花板。我们需要构建一个既能被模型理解又具有法律意义的特征体系。通常分为以下几类基础事实特征罪名需要编码。盗窃罪、故意伤害罪、诈骗罪等使用独热编码One-Hot Encoding或标签编码Label Encoding对于树模型标签编码通常即可。犯罪数额连续数值。对于经济犯罪至关重要但分布可能极度偏斜少数巨额案件通常对其取对数log(1x)来缓解偏态。犯罪后果如伤害案件中的伤残等级有序类别盗窃案件中的次数离散数值。法定情节特征二值变量0/1从重情节累犯、主犯、犯罪集团首要分子等。从轻/减轻情节自首、立功、坦白、认罪认罚、赔偿谅解、被害人过错等。这些情节对刑期影响显著是模型必须捕捉的关键信息。被告人个体特征前科情况是否有前科前科次数离散数值。这是“累犯”情节的补充和细化。年龄是否未成年人特殊保护是否老年人可能从宽。在共同犯罪中的地位主犯、从犯、胁从犯有序类别。衍生特征情节数量从重情节总数、从轻情节总数。有时情节的“组合效应”比单一情节更重要。数额与罪名交叉特征例如对于盗窃罪数额大小的影响程度可能与诈骗罪不同。可以尝试为不同罪名构建数额的分段函数或交互项。实操心得二处理“认罪认罚”情节的复杂性“认罪认罚”是近年重要的制度但其从宽幅度在文书中的表述可能模糊如“依法从宽处理”、“酌情从轻处罚”。在特征化时我们不能简单将其标记为“1”。更好的方法是结合判决主文判断其是否确实导致了刑期的减少。可以尝试构建一个更细粒度的特征“认罪认罚且被法庭采纳并从轻”这需要结合“本院认为”部分的说理进行简单的语义分析初期可以用关键词“采纳”、“从轻”、“予以考虑”进行粗筛。3.3 标签处理刑期的数值化我们的预测目标——刑期也需要处理。刑事判决包括主刑管制、拘役、有期徒刑、无期、死刑和附加刑。我们主要建模有期徒刑占比最高。需要将“有期徒刑X年Y个月”统一转换为月份数。对于拘役可以按一定比例折算如1日拘役折抵1日刑期但需在特征中注明刑种。无期徒刑和死刑不能直接作为回归标签通常需要将它们作为分类问题单独处理或在数据集中剔除取决于模型目标。在本模型中我们通常先聚焦于有期徒刑案件。4. 模型选择、训练与评估实战4.1 模型候选与比较有了干净的特征矩阵X和标签向量y我们就可以开始建模了。在scikit-learn中有几个回归模型是值得尝试的线性回归基线模型。可解释性强但假设特征与刑期是线性关系这在实际中很难满足因为情节之间可能存在复杂的交互。决策树回归能自动捕捉非线性关系和特征交互但容易过拟合单棵树不稳定。随机森林回归集成多棵决策树通过“投票”降低过拟合稳定且准确率高能输出特征重要性是当前非常合适的选择。梯度提升回归树如XGBoost或LightGBM性能通常优于随机森林训练速度更快但对参数更敏感。我们的策略是先从简单的线性回归开始建立一个可解释的基线。然后使用随机森林它能提供一个强大的性能基准。如果追求极致精度再尝试调优LightGBM。4.2 训练流程与关键代码示例假设我们已经有了一个pandas DataFrame名为df包含特征和‘sentence_months’刑期月份列。import pandas as pd from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score import numpy as np # 1. 准备数据 # 假设所有特征已经是数值型或已编码 X df.drop(columns[sentence_months]) y df[sentence_months] # 2. 划分训练集和测试集8:2 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 3. 初始化随机森林模型 rf_model RandomForestRegressor(n_estimators100, random_state42, n_jobs-1) # 4. 使用交叉验证评估在训练集上 cv_scores cross_val_score(rf_model, X_train, y_train, cv5, scoringneg_mean_absolute_error) print(f交叉验证MAE平均分: {-cv_scores.mean():.2f} 个月) # 5. 在训练集上拟合模型 rf_model.fit(X_train, y_train) # 6. 在测试集上预测并评估 y_pred rf_model.predict(X_test) mae mean_absolute_error(y_test, y_pred) rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) print(f测试集 MAE: {mae:.2f} 个月) print(f测试集 RMSE: {rmse:.2f} 个月) print(f测试集 R²: {r2:.4f})关键参数解释n_estimators森林中树的数量越多通常性能越好但计算成本增加。100是个不错的起点。random_state固定随机种子确保结果可复现。n_jobs-1使用所有CPU核心并行训练加快速度。4.3 模型评估与“可接受”的误差法律领域对误差的容忍度很低。MAE平均绝对误差为6个月意味着平均每个预测会偏差半年。这听起来很大但需要结合刑期分布看。如果大多数案件刑期在12-36个月6个月的误差需要谨慎看待如果刑期分布很广从6个月到120个月这个误差相对比例可能可以接受。更重要的是区间预测。我们可以利用随机森林的“袋外”预测或构建分位数回归森林来输出预测区间。例如输出第25和第75分位数作为参考区间的上下界。这样我们可以说“根据历史数据类似案件有50%的刑期落在[A, B]个月之间。” 这比一个孤立的点预测更有信息量也更符合辅助参考的定位。评估时一定要看残差图绘制预测值 vs 真实值散点图以及残差预测值-真实值 vs 预测值的散点图。理想情况是点均匀分布在对角线两侧残差随机分布。如果发现长刑期案件预测普遍偏低残差为正说明模型对严重情节学习不足可能需要引入更复杂的特征或模型。5. 模型解释与法律逻辑对齐“黑箱模型”在法律场景中是难以被接受的。我们必须能解释“为什么模型预测这个案子是36个月而不是30个月”。随机森林自带的特征重要性是一个入口。import matplotlib.pyplot as plt import seaborn as sns # 获取特征重要性 feature_importances pd.DataFrame({ feature: X_train.columns, importance: rf_model.feature_importances_ }).sort_values(importance, ascendingFalse) # 绘制重要性条形图 plt.figure(figsize(10, 6)) sns.barplot(datafeature_importances.head(15), ximportance, yfeature) plt.title(Top 15 Feature Importances) plt.tight_layout() plt.show()通常你会发现“犯罪数额”、“罪名类型”、“是否累犯”、“是否自首”等特征排名靠前这符合法律人的直觉能增强对模型的信任。更进一步可以使用SHAP库进行更精细的解释。SHAP值能展示每个特征对单个样本预测的具体贡献是增加还是减少了刑期。import shap # 创建SHAP解释器 explainer shap.TreeExplainer(rf_model) shap_values explainer.shap_values(X_test) # 对单个样本进行解释 sample_idx 0 shap.force_plot(explainer.expected_value, shap_values[sample_idx, :], X_test.iloc[sample_idx, :])通过SHAP图你可以清晰地告诉用户“看这个案子预测刑期较高主要是因为‘犯罪数额巨大’贡献了20个月和‘系主犯’贡献了12个月但‘有自首情节’贡献了-15个月部分抵消了所以最终预测在这个水平。” 这种解释性是将技术模型与法律专业沟通起来的关键桥梁。6. 常见问题、陷阱与优化策略6.1 数据层面的问题样本不均衡与长尾分布轻罪案件如拘役、短期徒刑数量远多于重罪案件。直接训练会导致模型对重罪预测不准。对策对重罪案件如刑期5年进行过采样或使用加权损失函数给予重罪样本更高的权重。特征缺失与噪声判决书并非数据库很多信息可能缺失或隐含。例如“赔偿谅解”可能已达成但文书未明确记载。对策建立明确的缺失值处理规则。对于关键特征如金额缺失可能意味着不涉及或为零需根据罪名判断。对于分类特征可增加“未知”类别。时空异质性法律会修订量刑标准会变化。2010年的盗窃罪入罪标准和2023年不同。对策在特征中加入“判决年份”或按时间段如每5年分别建模和评估。更好的做法是使用“生效法律版本”作为特征。6.2 模型层面的问题过拟合模型在训练集上表现完美在测试集上很差。对策使用交叉验证增加正则化参数对于树模型限制树的最大深度max_depth、增加min_samples_split使用更多的训练数据。预测区间不准确输出的置信区间过宽或过窄失去参考意义。对策使用专门的分位数回归方法如QuantileRegressor或LightGBM的分位数回归目标。随机森林也可通过计算所有树预测值的分位数来构造区间。对新类型案件失效训练数据中没有出现过的新型犯罪或罕见情节组合。对策模型需要定期用新数据更新重训。同时在应用时可以计算输入样本与训练集样本的相似度对于相似度极低的“异常案件”给出“参考价值有限”的提示而非盲目输出预测。6.3 工程化与部署考量特征一致性线上预测时输入的特征必须与训练时完全同源、同方式处理。需要将数据清洗和特征工程的代码封装成可复用的Pipeline。性能随机森林预测速度很快适合实时API响应。如果模型复杂可以考虑使用ONNX格式转换并部署或使用更快的推理库。监控与迭代上线后需要持续监控模型的预测分布是否偏移并收集反馈虽然很难获得真实刑期作为标签但可以收集专家对预测合理性的评价用于迭代优化。7. 项目总结与展望走完这一整套流程你会发现构建一个刑期参考模型远不止是调包和跑算法。它要求你深入理解法律领域的知识将非结构化的文本转化为机器能懂的特征它要求你谨慎地评估模型理解在司法这个特殊领域可解释性和稳健性比单纯的预测精度更重要它还要求你时刻保持敬畏明确模型的辅助定位。这个项目给我最深的体会是数据和特征的质量直接决定了项目的上限。花80%的时间在数据清洗和特征工程上是绝对值得的。一个用简单线性回归但特征构建精良的模型可能比一个用复杂深度学习但特征粗糙的模型更有用。未来这个模型还有很多可以深化的方向。例如引入更先进的NLP技术如BERT来自动抽取更精细的案情摘要和情感倾向将量刑建议从“刑期”扩展到“刑种”是否适用缓刑或者构建一个多任务模型同时预测刑期和罚金。法律与人工智能的交叉是一片充满挑战但也极具社会价值的蓝海。通过Python和数学建模我们至少已经迈出了将这个问题框架化、数据化、可计算化的第一步。这个过程本身就是对逻辑思维和工程能力的一次极佳锻炼。