4.3 模型评估与调参：避免过拟合

模型评估与调参避免过拟合模型训练完了怎么知道它好不好怎么让它更好这是被很多初学者轻视、但实际上极为关键的一步。一、为什么模型评估是独立的学问“准确率高就是好模型”——这个想法很危险很多初学者觉得模型评估很简单“跑一下看准确率越高越好”。这个想法在大多数情况下都会给你错误的答案。模型评估之所以是一个独立的学问有三个根本原因第一准确率不是唯一指标也不总是正确指标。想象一个医疗诊断模型判断患者是否有癌症。如果癌症患者只占1%那一个什么都判断为正常的模型准确率是99%——看起来很好但实际上毫无用处因为它没有检测出任何癌症患者。不同的应用场景需要关注不同的指标。第二在训练集上的表现没有意义。模型的目标是对它从没见过的新数据做出准确预测而不是背答案。如果只在训练集上评估你看到的只是模型记忆能力不是泛化能力。第三超参数调优需要一个独立的评判者。你不能用测试集来选择模型因为一旦你根据测试集表现来调整模型测试集就不再是真实世界的模拟了。二、过拟合死记硬背 vs 真正理解用类比建立直觉**过拟合Overfitting**就像一个学生死记硬背。他背下了所有练习题的答案考试时只要题目和练习题一模一样他能满分但题目稍有变化他就不会了。他学到的不是解题方法而是具体答案。**欠拟合Underfitting**则相反就像一个完全不学习的学生他的答题策略是所有题目都答A。他对练习题表现差对测试题也表现差因为他根本没有从数据中学到任何有用的规律。恰当拟合是目标学生理解了解题方法对练习题和新题目都能举一反三表现稳定。识别过拟合/欠拟合# 过拟合的症状# 训练集准确率: 99%# 测试集准确率: 65% ← 差距巨大过拟合了# 欠拟合的症状# 训练集准确率: 65%# 测试集准确率: 63% ← 差距很小但两个都很低欠拟合了# 理想状态# 训练集准确率: 92%# 测试集准确率: 89% ← 差距小且两个都高过拟合在代码里的示例# 错误做法在训练集上评估model.fit(X,y)scoremodel.score(X,y)# 这是训练集准确率没有意义过拟合/最优/欠拟合三个区域的损失曲线三、训练集/验证集/测试集三种角色为什么需要三个集合只有两个集合训练集和测试集有什么问题问题在于如果你根据测试集表现来调整模型你就在对着答案改作业。测试集表现再好也不代表模型真的泛化——你只是把模型调到对这批测试数据特别好。验证集的存在就是让你可以放心地用它来调参因为你还有一个最后的测试集从未被触碰过可以作为最终的无偏估计。fromsklearn.model_selectionimporttrain_test_split# 第一次分割留出测试集永远不碰最后评估用X_temp,X_test,y_temp,y_testtrain_test_split(X,y,test_size0.2,random_state42)# 第二次分割训练集和验证集X_train,X_val,y_train,y_valtrain_test_split(X_temp,y_temp,test_size0.25,random_state42# 0.25 × 0.8 0.2即总数据的20%用于验证)print(f训练集:{len(X_train)}样本)print(f验证集:{len(X_val)}样本)print(f测试集:{len(X_test)}样本)各集合的用途训练集模型学习调整参数验证集选模型、调超参数可以反复使用测试集最终评估只用一次模拟真实世界的新数据四、交叉验证更可靠的评估为什么需要交叉验证单次划分的随机性假设你只有500条数据。按照80/20划分训练集400条、测试集100条。问题是这100条测试数据是随机选的测试结果会有很大的随机性——换100条测试数据结果可能差很多。你无法知道你得到的准确率是真实水平还是碰巧运气好。**交叉验证Cross-Validation**解决了这个问题不是固定地用某20%做测试而是把数据分成K份轮流让每一份做一次测试集其余的做训练集。最终得到K个结果取平均值作为模型的性能估计。交叉验证的直觉让每一条数据都有机会当测试样本评估更全面K次结果的方差能告诉你模型的稳定性结果波动大说明模型不稳定。fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifierfromsklearn.datasetsimportload_iris irisload_iris()X,yiris.data,iris.target rfRandomForestClassifier(n_estimators100,random_state42)# 5折交叉验证把数据分成5份轮流用每份做测试cv_scorescross_val_score(rf,X,y,cv5,scoringaccuracy)print(f5折交叉验证准确率:{cv_scores})print(f均值:{cv_scores.mean():.4f}±{cv_scores.std():.4f})你应该看到类似这样的输出5折交叉验证准确率: [0.9667 0.9333 0.9667 0.9667 1.0000] 均值: 0.9667 ± 0.02195次的结果都在93%到100%之间均值约96.7%标准差约2.2%——说明模型比较稳定。5折交叉验证示意图K值怎么选常用5或10。K越大评估越可靠但计算成本越高。数据量少时用K10数据量大时K5足够。五、分类指标详解准确率为什么不够准确率看似公平但它对多数类有天然的偏向。在一个99%样本都是正常、1%是欺诈的数据集里一个什么都预测为正常的傻模型准确率高达99%。这个模型没有任何用处却有非常高的准确率。真正有用的指标需要区分不同类型的错误漏报把欺诈判断为正常和误报把正常判断为欺诈在不同场景下代价是完全不同的。常见评估指标速查表混淆矩阵的四个格子预测正例 预测负例 实际正例 | TP | FN | 实际负例 | FP | TN | TPTrue Positive真正例预测为正且实际为正 FPFalse Positive假正例预测为正但实际为负误报 FNFalse Negative假负例预测为负但实际为正漏报 TNTrue Negative真负例预测为负且实际为负四个核心指标指标公式直觉适用场景准确率Accuracy(TPTN)/(全部)整体对了多少类别均衡时精确率PrecisionTP/(TPFP)我认为有问题的里真正有问题的比例宁可漏报不能误报垃圾邮件召回率RecallTP/(TPFN)所有真正有问题的里我发现了多少宁可误报不能漏报癌症筛查F1分数2×精确率×召回率/(精确率召回率)精确率和召回率的综合两者都重要时什么时候用什么指标欺诈检测、癌症筛查重视召回率不能漏掉垃圾邮件过滤重视精确率不能误杀正常邮件搜索引擎两者都重要用F1类别不平衡避免用准确率fromsklearn.metricsimport(accuracy_score,precision_score,recall_score,f1_score,classification_report)importnumpyasnp# 示例不平衡数据集99%正常1%欺诈y_truenp.array([0]*990[1]*10)# 真实标签y_pred_lazynp.zeros(1000)# 全预测为0偷懒模型y_pred_smartnp.array([0]*985[1]*15)# 有一定识别能力print( 偷懒模型全预测正常)print(f准确率:{accuracy_score(y_true,y_pred_lazy):.4f})# 99%但没用print(f召回率:{recall_score(y_true,y_pred_lazy):.4f})# 0没发现任何欺诈print(\n 正常模型 )print(f准确率:{accuracy_score(y_true,y_pred_smart):.4f})print(f精确率:{precision_score(y_true,y_pred_smart):.4f})print(f召回率:{recall_score(y_true,y_pred_smart):.4f})print(fF1分数:{f1_score(y_true,y_pred_smart):.4f})你应该看到偷懒模型准确率99%但召回率为0而正常模型召回率明显更高——这说明准确率在不平衡数据集上完全无法衡量模型的真实价值。六、ROC曲线和AUCROC曲线Receiver Operating Characteristic Curve展示的是当你改变决策阈值时模型的真正率召回率和假正率误报率如何变化。**AUCArea Under Curve曲线下面积**是ROC曲线下方的面积取值0到1。AUC 0.5随机猜测和瞎猜一样AUC 0.9非常好的模型AUC 1.0完美分类器AUC的直觉解释随机从正类和负类各取一个样本模型给正类样本打的分数高于负类的概率。fromsklearn.metricsimportroc_curve,aucfromsklearn.ensembleimportRandomForestClassifierfromsklearn.datasetsimportload_breast_cancer dataload_breast_cancer()X,ydata.data,data.target X_train,X_test,y_train,y_testtrain_test_split(X,y,test_size0.2,random_state42)rfRandomForestClassifier(n_estimators100,random_state42)rf.fit(X_train,y_train)# 获取预测概率不是直接预测类别而是预测每个类别的概率y_probrf.predict_proba(X_test)[:,1]# 计算ROC曲线fpr,tpr,thresholdsroc_curve(y_test,y_prob)roc_aucauc(fpr,tpr)print(fAUC:{roc_auc:.4f})# 越接近1越好0.95以上是优秀你应该看到AUC约0.98以上说明随机森林在这个数据集上区分良性/恶性的能力很强。混淆矩阵TP/FP/FN/TN及精确率召回率ROC曲线AUC0.92曲线越高越好七、超参数调优超参数 vs 参数两个不同层次的设置参数Parameters模型在训练过程中自动学习的量比如线性回归的系数、神经网络的权重。训练过程会自动优化它们。超参数Hyperparameters不是模型自己学出来的而是人为设定的配置比如决策树的深度、随机森林的树的数量、学习率。这些决定了模型的形状和能力上限必须在训练前设定好。fromsklearn.model_selectionimportGridSearchCV,RandomizedSearchCVfromsklearn.ensembleimportRandomForestClassifier# 方法1网格搜索穷举所有参数组合param_grid{n_estimators:[50,100,200],max_depth:[5,10,None],min_samples_split:[2,5,10]}# 一共 3×3×3 27 种组合每种做5折交叉验证 135次训练grid_searchGridSearchCV(RandomForestClassifier(random_state42),param_grid,cv5,scoringf1,n_jobs-1,verbose1)grid_search.fit(X_train,y_train)print(f最佳参数:{grid_search.best_params_})print(f最佳F1:{grid_search.best_score_:.4f})你应该看到训练过程打印出最佳参数组合和对应的F1分数。网格搜索 vs 随机搜索的选择网格搜索穷举所有组合但时间复杂度随参数数量指数增长3个参数各3个取值就是27次训练。随机搜索看起来不可靠但研究表明大多数参数中只有少数几个真正重要搜索20~50个随机组合往往能找到接近最优的参数。当参数空间很大时随机搜索通常是更好的选择。八、学习曲线诊断过拟合/欠拟合学习曲线展示随着训练数据增多模型在训练集和验证集上表现的变化趋势。fromsklearn.model_selectionimportlearning_curveimportnumpyasnpimportmatplotlib.pyplotaspltdefplot_learning_curve(model,X,y,title):train_sizes,train_scores,val_scoreslearning_curve(model,X,y,cv5,train_sizesnp.linspace(0.1,1.0,10),scoringaccuracy)train_meantrain_scores.mean(axis1)val_meanval_scores.mean(axis1)plt.figure(figsize(10,6))plt.plot(train_sizes,train_mean,label训练集)plt.plot(train_sizes,val_mean,label验证集)plt.xlabel(训练样本数)plt.ylabel(准确率)plt.title(title)plt.legend()plt.show()# 如何判断# 训练集和验证集分数都低 → 欠拟合需要更复杂的模型或更多特征# 训练集高、验证集低 → 过拟合需要正则化或更多数据# 两者都高且接近 → 理想状态小结问题诊断方法解决方案过拟合训练集高、测试集低减少模型复杂度、增加数据、正则化欠拟合训练集和测试集都低增加模型复杂度、更多特征类别不平衡准确率高但召回率低class_weight、过采样/欠采样评估指标选错准确率高但业务不好根据业务目标选精确率/召回率/F1模型评估的核心思想永远用独立的数据评估模型选择与任务目标相符的指标用多次验证而不是单次结果来做决策。下一篇用sklearn做完整的实战项目把本章学过的所有概念串联起来。