简介这是一份面向插层熔喷非织造材料性能研究的代码包整合了基于回归模型的完整分析流程涵盖数据预处理、回归建模、结果可视化与检验报告适合材料、纺织、计算机等专业本科生或研究生用于课程设计、期末大作业及毕业设计。包内共36个文件以matlab脚本.m、Python脚本.py、Excel数据表格.xlsx、CSV数据、可视化图表png为主附PDF格式的详细报告与说明文档整体约2.02MB轻量易下载。目前已有80人学习代码采用参数化编程注释明细且兼容matlab2014/2019a/2021a方便修改参数直接运行。资源提供了插层前后原始数据及标准化、正态检验等处理脚本并针对过滤阻力差、过滤效率差、孔隙率差、厚度差、压缩回弹性率差等指标进行了分布拟合与盒须图展示便于直观理解熔喷材料性能变化规律。同时包含完整的回归建模代码和中文实验报告读者可结合自身算法做扩展快速实现从数据清洗到论文出图的全流程复现实用价值较高。1. 拿到这个 zip先想清楚回归模型在插层熔喷材料性能预测里解决什么问题插层熔喷非织造材料的性能预测本质上是一个“材料配方—工艺参数—宏观性能”的映射问题。实验人员更换插层剂种类、调整含量和热风工艺参数做出一批样品后测量过滤效率、透气率和拉伸强力样本量不大但变量之间存在明显的交互效应。用 python 编写回归模型就是为了在有限的实验数据上找到可泛化的映射关系让后续少做几组实验也能预判新配方的性能走向。拿到这类项目的代码压缩包第一步不是急着搭环境而是确认压缩包内是否包含数据读取、特征工程、回归模型对比、调参与评估、解释与导出这几段能连跑的脚本。不同阶段换一个人接手缺了任何一段都要返工。这篇文章按这条流水线的四个环节拆解每个环节都给出可以直接运行的 python 代码以及参数怎么设、失败时先看哪里。2. 从实验记录到 DataFrame插层熔喷数据的清洗与特征工程解压 zip 之后先别急着 import sklearn。材料实验数据的原始形态通常是 Excel 多 sheet或者命名随意的 CSV列名可能是“样品编号”“插层剂含量%”这种带中文和括号的形式。很多刚接触 python 数据分析的同事第一次就是栽在 Excel 读取上因为实验室表格里几乎必然存在合并单元格、空行和重复批次。第一步是把它们读进一个列名统一的 DataFrame我一般会单独写一个load_data.py保证原始文件只读清洗逻辑沉淀成脚本后续数据更新后可以一键重跑。2.1 多 sheet 实验表格的读取与合并材料团队习惯把不同批次的实验结果放在同一个 Excel 文件的不同 sheet 里少的三五张多的十几张列名还不完全一致。pandas 的read_excel在sheet_nameNone时会把所有 sheet 读成字典循环处理并合并这是这类数据最常见的入口写法import glob import pandas as pd def load_experiment_data(path_pattern: str) - pd.DataFrame: frames [] for file_path in glob.glob(path_pattern): # sheet_nameNone 返回 {sheet名: DataFrame} 的字典 sheets pd.read_excel(file_path, sheet_nameNone) for sheet_name, df in sheets.items(): df df.copy() # 统一列名去掉首尾空格替换空格和中文括号转小写 df.columns [ col.strip().lower().replace( , _) .replace(, ().replace(, )) for col in df.columns ] df[source_sheet] f{file_path}::{sheet_name} frames.append(df) df_all pd.concat(frames, ignore_indexTrue) df_all df_all.drop_duplicates() print(fmerged {df_all.shape[0]} rows from {len(frames)} sheets) return df_all df load_experiment_data(data/*.xlsx)glob 的*.xlsx能匹配同一个 data 目录下多个文件年底追加一批新实验数据时不需要修改代码。sheet_nameNone是 read_excel 的固定用法返回值为字典key 是 sheet 名value 是 DataFrame。列名统一成小写下划线风格后后面写X[intercalant_content]不会因为中英文混输而出错。source_sheet列用来追溯每行数据的来源排查异常批次时按它筛选非常高效。合并之后立即检查两件事各列缺失值比例以及 sample_id 是否有重复。材料实验里同一个样品测两次取平均是合理的但如果两个 sheet 中出现完全相同的行多半是录入时整行复制drop_duplicates()直接去除即可。缺失值超过 30% 的特征建议直接丢弃而不是填充因为实验数据量本来就不大填出来的值会带明显的人为偏差。2.2 插层剂种类与含量的编码名义变量和连续变量分开处理合并后的 DataFrame 里intercalant_type是名义变量常见取值可能只有蒙脱土、纳米 SiO₂、TiO₂ 三种不能直接编码成 0/1/2否则模型会认为 TiO₂ 是蒙脱土的 2 倍。应当用 OneHotEncoder 展开成多个 0/1 列。其余连续变量如intercalant_content含量百分比、screw_speed螺杆转速、air_temp热风温度量纲差异大树模型无所谓线性模型会被大数值变量带走所以需要 StandardScaler 标准化。用 ColumnTransformer 可以把两类处理放到同一个预处理对象里from sklearn.compose import ColumnTransformer from sklearn.preprocessing import OneHotEncoder, StandardScaler categorical_cols [intercalant_type] numeric_cols [intercalant_content, screw_speed, air_temp, die_temp] prep ColumnTransformer([ (cat, OneHotEncoder(handle_unknownignore), categorical_cols), (num, StandardScaler(), numeric_cols) ], remainderdrop)handle_unknownignore解决一个实际场景模型训练时没出现过的插层剂种类在后续预测时不会抛异常而是让所有哑变量保持 0。remainderdrop明确丢弃source_sheet、sample_id这类不该进入模型的信息。需要特别注意的是prep 的 fit 只能放在训练集上transform 再作用到测试集不能先在全量数据上标准化再划分训练测试集这个细节放到第 4 章交叉验证处还会强调是回归模型在小样本材料数据上最容易出问题的数据泄漏点。2.3 用相关性矩阵初筛特征避免强共线变量干扰回归模型插层熔喷工艺的变量并不独立热风温度直接影响纤维直径而纤维直径又关系到过滤效率和透气率特征之间的相关系数经常超过 0.9。对 Ridge 这类线性回归来说强共线会让系数在不同参数组合下来回跳动得到和材料常识相悖的回归方向。先把数值特征的相关矩阵画出来顺便打印每个特征与目标变量的相关系数import matplotlib.pyplot as plt import seaborn as sns target filtration_efficiency corr df_all[numeric_cols [target]].corr() print(corr[target].sort_values(ascendingFalse)) plt.figure(figsize(8, 6)) sns.heatmap(corr, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(feature correlation matrix) plt.tight_layout() plt.savefig(corr_heatmap.png, dpi150)corr() 返回完整相关矩阵按[target]取值就能得到每个特征与过滤效率的相关系数降序打印方便判断哪些特征需要重点解释。热力图保存为 png既便于贴进实验报告也能在多人协作时快速沟通特征情况。发现两个特征相关系数绝对值超过 0.95 时我不会自动删除而是回到实验记录确认它们是不是同一件事的两种测量口径优先保留业务上更关心、测量误差更小的那个。注意如果目标是预测过滤效率纤维直径这类需要实际测试才能获得的中间性能即使与目标相关性很高也应谨慎作为特征。否则在新配方上做预测时必须先做出样品测出纤维直径回归模型就失去了提前预测的意义。3. 基线与主力从线性回归到随机森林、XGBoost 回归模型的选型逻辑特征工程完成后模型选择我习惯分三步走先用 Ridge 打基线再上随机森林回归模型验证非线性空间最后用 XGBoost 回归模型在限制过拟合的前提下看有没有进一步提升。材料实验数据点不多模型间的差距不会像大数据集那么悬殊因此每一步都必须有明确的判断标准而不是把算法全部跑一遍挑个最高分。3.1 先做统一特征切分再用 Ridge 回归建立指标基线为了不让模型对比变成“各写各的预处理”先统一把训练测试集划分好并让 prep 只拟合训练集得到编码后的特征矩阵from sklearn.model_selection import train_test_split feature_cols categorical_cols numeric_cols X df_all[feature_cols] y df_all[target].astype(float) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) X_train_enc prep.fit_transform(X_train) X_test_enc prep.transform(X_test) print(ftrain shape: {X_train_enc.shape}, test shape: {X_test_enc.shape})prep 的 fit_transform 只发生在 X_train 上X_test 走的是 transform这样测试集不会把自己的均值和方差写进标准化参数。之后所有模型都基于X_train_enc训练保证了对比公平。Ridge 回归是这套流程里最便宜的基线它用 L2 正则收缩系数适合特征列数接近样本量的情况from sklearn.linear_model import Ridge from sklearn.model_selection import cross_val_score ridge Ridge(alpha1.0) scores cross_val_score(ridge, X_train_enc, y_train, cv5, scoringr2) print(fRidge 5-fold CV R2: {scores.mean():.3f} (/- {scores.std():.3f}))cross_val_score默认用 R² 作为打分函数返回值是每一折的分数打印均值和标准差可以直观看到稳定性。如果 R² 为负表示比“直接猜均值”还要差先不要怀疑模型回头查目标值是否方差过小、样本行数是否太少、或者编码后特征里混入了异常值。Ridge 的 alpha 默认 1.0 可以接受不必第一轮就调它存在的意义是给非线性模型一个参照系。3.2 随机森林回归模型小样本材料数据的默认选择Ridge 假设性能与特征基本线性但插层改性的关系往往带交互效应同样 2% 的插层剂含量在低转速下效果明显高转速下几乎不起作用。线性模型要抓住这种关系需要手工构造交互项而随机森林按特征阈值逐层切分天然能处理这种非线性。材料数据样本少、异常点多随机森林对异常值不敏感参数也比较稳所以是默认选择from sklearn.ensemble import RandomForestRegressor rf_model RandomForestRegressor( n_estimators300, min_samples_leaf2, max_depth6, random_state42, n_jobs-1 ) rf_scores cross_val_score(rf_model, X_train_enc, y_train, cv5, scoringr2) print(fRandomForest 5-fold CV R2: {rf_scores.mean():.3f} (/- {rf_scores.std():.3f}))min_samples_leaf2是防过拟合最关键的一项它强制每个叶子节点至少保留 2 个样本避免树把单条实验记录的偶然波动背下来。max_depth6在特征数十几到二十几的材料项目里已经足够超过 8 的深度几乎只在训练集上好看。n_estimators调到 300 是为了让集成结果稳定它在 200 到 500 之间对精度影响很小但取值太小会明显增加预测方差random_state固定之后网格搜索里不同参数组合才有可比性。如果随机森林的交叉验证 R² 明显高于 Ridge说明非线性关系真实存在值得继续调参如果两者差不多那么后续宁可把精力放在 SHAP 解释上也不要盲目追求更复杂的模型。3.3 XGBoost 回归模型的关键参数与过拟合控制XGBoost 在小样本上要特别小心。默认learning_rate0.3、max_depth6训练集 R² 能达到 0.99交叉验证却经常在 0.6 以下。我习惯先固定一组保守参数再在交叉验证内部配合早停控制迭代轮数from xgboost import XGBRegressor from sklearn.model_selection import KFold import numpy as np kf KFold(n_splits5, shuffleTrue, random_state42) xgb_cv_scores [] for train_idx, val_idx in kf.split(X_train_enc): model XGBRegressor( n_estimators500, learning_rate0.05, max_depth3, min_child_weight3, subsample0.8, colsample_bytree0.8, random_state42, verbosity0 ) model.fit( X_train_enc[train_idx], y_train.iloc[train_idx], eval_set[(X_train_enc[val_idx], y_train.iloc[val_idx])], verboseFalse ) xgb_cv_scores.append(model.score(X_train_enc[val_idx], y_train.iloc[val_idx])) print(fXGBoost 5-fold CV R2: {np.mean(xgb_cv_scores):.3f} (/- {np.std(xgb_cv_scores):.3f}))每折循环里重新实例化 model避免同一个对象在多次 fit 之间把前一次的早停状态带进来。learning_rate0.05配合最大 500 棵树等于用更慢的学习速度换取更平滑的下降这是小样本上最有效的防过拟合手段之一。max_depth3限制每棵树只能做三次分裂min_child_weight3要求叶子节点样本权重和至少达到 3这两项把单棵树的容量压住。subsample和colsample_bytree都取 0.8分别控制行采样和列采样增加每棵树的随机性让集成结果更稳健。如果验证集的分数在 100 棵以后持续下降说明学习率还可以再调低如果一开始就在波动则说明数据量撑不起太复杂的集成退回随机森林更合适。交叉验证跑完后用同样参数在全量训练集上拟合一份最终模型后面评估和导出都能复用best_xgb_model XGBRegressor( n_estimators500, learning_rate0.05, max_depth3, min_child_weight3, subsample0.8, colsample_bytree0.8, random_state42, verbosity0 ) best_xgb_model.fit(X_train_enc, y_train, verboseFalse)4. 网格搜索与交叉验证让回归模型在材料小数据上不飘材料实验数据通常只有 30 到 200 条这个量级下偶然因素会被放大同一份数据换一个random_state交叉验证分数可能从 0.85 掉到 0.70。调参的目标不是找到“全局最优参数”而是找到在数据扰动下仍然稳定的参数区间。下面按交叉验证选择、网格搜索范围、指标解读三个方面来收口。4.1 样本少于 30 时改用留一法数据多时用 5 折交叉验证5 折交叉验证在小样本上有个明显问题总样本 25 个时每折验证集只有 5 个样本验证分数的标准差极大某一折出现一个离群实验点分数就会被带偏。样本量低于 30 时我一般直接切换到留一法每次用一个样本做验证虽然拟合次数多但样本量小计算时间反而可以接受。代码里按数据量自动切换from sklearn.model_selection import LeaveOneOut cv LeaveOneOut() if len(X_train_enc) 30 else 5 loo_scores cross_val_score(rf_model, X_train_enc, y_train, cvcv, scoringr2) print(fCV R2: {loo_scores.mean():.3f} (/- {loo_scores.std():.3f}))注意 LeaveOneOut 的每次验证只用一条样本预测结果对这条样本的测量误差非常敏感所以它更适合用来判断“模型是不是在某几个样品上系统性失效”而不是直接和 5 折分数比大小。数据量在 30 到 200 之间时5 折配合shuffleTrue就够用折数再多也不会带来明显收益。所有用到随机采样的模型必须固定random_state否则每次跑出来的指标都不同材料团队根本无法判断调参是否真的有效。4.2 GridSearchCV 调参三个参数就够用随机森林需要网格搜索的参数其实只有三个max_depth、min_samples_leaf和max_features。n_estimators不产生过拟合只影响计算时间直接固定。max_depth的范围取 [4, 6, 8]在特征数不超过 20 的材料数据里8 已经接近上限超过 8 基本是记住噪声。min_samples_leaf取 [2, 3, 5]值越大叶子越粗对噪声的容忍度越高。max_features取 [0.6, 0.8, 1.0]表示每棵树随机看到的特征比例它决定了树之间的差异度from sklearn.model_selection import GridSearchCV param_grid { max_depth: [4, 6, 8], min_samples_leaf: [2, 3, 5], max_features: [0.6, 0.8, 1.0] } grid GridSearchCV( RandomForestRegressor(n_estimators300, random_state42, n_jobs-1), param_grid, cv5, scoringr2, refitTrue ) grid.fit(X_train_enc, y_train) print(fbest params: {grid.best_params_}) print(fbest CV R2: {grid.best_score_:.3f})GridSearchCV 内部会对每组参数组合做 5 折交叉验证cv 的折数与前面保持一致避免“调参用 5 折、评估用留一法”这种指标口径混乱。refitTrue表示搜索完成后用全部训练数据重新训练一份最佳模型这份模型可以直接拿去做测试集评估和导出。如果best_params_落在搜索区间的边界比如max_depth8是三个选项里的最大值说明边界外可能还有更好的参数下一轮搜索要把范围外扩如果落在中间说明当前范围覆盖了稳定区间。4.3 用 R²、MAE、RMSE 三个指标判断回归模型是否可用网格搜索内部用 R² 做排序没问题但对外报告时只看 R² 不够。材料工程师更关心“预测误差到底是多少个百分点”MAE 直接给出平均绝对误差RMSE 放大极端偏差配合使用才不会漏掉个别配方的严重失效。在测试集上统一评估三个模型from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error def evaluate_model(name, model, X_test_enc, y_test): pred model.predict(X_test_enc) return { model: name, R2: round(r2_score(y_test, pred), 3), MAE: round(mean_absolute_error(y_test, pred), 3), RMSE: round(np.sqrt(mean_squared_error(y_test, pred)), 3) } results [ evaluate_model(Ridge, ridge, X_test_enc, y_test), evaluate_model(RandomForest, grid.best_estimator_, X_test_enc, y_test), evaluate_model(XGBoost, best_xgb_model, X_test_enc, y_test) ] print(pd.DataFrame(results))输出的对比表大致长这样模型R²MAERMSERidge0.7112.1342.887RandomForest0.8431.6722.109XGBoost0.8291.7352.254如果三个模型的 RMSE 都稳定在 2 个百分点左右说明数据里存在约 2% 的不可约噪声可能是测量仪器本身的误差也可能是温湿度这类没记录的环境变量这种情况下继续调参的收益有限更值得做的是补充实验数据。如果树模型明显低于线性模型说明非线性效应真实存在调参方向就对了。另外测试集只占 20% 时样本数可能不到 10 条单次划分的指标偶然性很大更可靠的做法是多次用不同 random_state 划分并记录指标均值而不是只报一次最好看的数。5. 从预测到解释用 SHAP 找出关键工艺变量把模型导出成可调用脚本回归模型跑通只是第一步材料团队拿到模型后通常要回答两件事哪个工艺变量对过滤效率影响最大以及换一组新配方参数时如何快速得到预测值。分别对应 SHAP 分析和模型导出。5.1 SHAP 值定位影响过滤效率的关键工艺变量SHAP 值对树模型给出的是加性解释能告诉我们某一样品的过滤效率为什么高于或低于平均。把 GridSearchCV 得到的最佳随机森林套进一个完整 Pipeline再做 SHAP 分析这样特征列名不会乱import shap from sklearn.pipeline import Pipeline import pandas as pd final_pipeline Pipeline([ (prep, prep), (rf, grid.best_estimator_) ]) X_test_enc_shap final_pipeline.named_steps[prep].transform(X_test) feature_names final_pipeline.named_steps[prep].get_feature_names_out() X_test_df pd.DataFrame(X_test_enc_shap, columnsfeature_names) explainer shap.TreeExplainer(final_pipeline.named_steps[rf]) shap_values explainer.shap_values(X_test_df) shap.summary_plot(shap_values, X_test_df)summary_plot里每个点代表一个样本颜色代表特征值高低点分布在 x0 左侧表示该特征把预测值压低右侧表示推高。材料数据里最常见的结论是插层剂含量对过滤效率不是单调关系含量低时提升、超过某个阈值反而下降这在 SHAP 图上会表现为正负两侧都有分布。特征名会带num__、cat__前缀这是 ColumnTransformer 的命名规则看多了就习惯了。5.2 用 joblib 导出完整流水线预测脚本直接调用不要只导出随机森林模型一定要把 prep 和模型包在一个 Pipeline 里整体导出。这样预测脚本不需要关心 OneHot 编码列名和标准化参数减少很多手动对齐的工作import joblib joblib.dump(final_pipeline, meltblown_perf_model.joblib)预测脚本里按原始列名传参数即可键名必须与训练时feature_cols完全一致包括大小写和下划线import joblib import pandas as pd model joblib.load(meltblown_perf_model.joblib) def predict_performance(config: dict) - float: df pd.DataFrame([config]) pred model.predict(df) print(fpredicted filtration efficiency: {pred[0]:.2f}%) return pred[0] predict_performance({ intercalant_type: nanoclay, intercalant_content: 2.5, screw_speed: 800, air_temp: 210, die_temp: 220, })5.3 zip 解压、环境与复现的几个实际注意点下载的 zip 如果解压时报error read zip archive一类的错误优先判断压缩包是否下载完整Windows 下换 7-Zip 或者 WinRAR 重新解压Linux 下先跑unzip -t检查完整性大部分情况都是传输过程丢字节而不是代码本身的问题。脚本文件名如果是中文解压后建议改成 ASCII 命名再运行避免不同系统间的编码差异。运行环境方面新建一个虚拟环境再安装 pandas、scikit-learn、xgboost、shap 这几个依赖配合 vscode 里配置好的 python 环境和代码补全跑通整套脚本基本不会超过半小时。最后把训练时用的feature_cols、目标列名、数据量写进一个 README 文件材料团队三个月后再看就不会出现“这个列是哪来的”的问题。本文还有配套的精品资源点击获取 Python回归模型预测插层熔喷材料性能：从特征工程到模型解释
简介这是一份面向插层熔喷非织造材料性能研究的代码包整合了基于回归模型的完整分析流程涵盖数据预处理、回归建模、结果可视化与检验报告适合材料、纺织、计算机等专业本科生或研究生用于课程设计、期末大作业及毕业设计。包内共36个文件以matlab脚本.m、Python脚本.py、Excel数据表格.xlsx、CSV数据、可视化图表png为主附PDF格式的详细报告与说明文档整体约2.02MB轻量易下载。目前已有80人学习代码采用参数化编程注释明细且兼容matlab2014/2019a/2021a方便修改参数直接运行。资源提供了插层前后原始数据及标准化、正态检验等处理脚本并针对过滤阻力差、过滤效率差、孔隙率差、厚度差、压缩回弹性率差等指标进行了分布拟合与盒须图展示便于直观理解熔喷材料性能变化规律。同时包含完整的回归建模代码和中文实验报告读者可结合自身算法做扩展快速实现从数据清洗到论文出图的全流程复现实用价值较高。1. 拿到这个 zip先想清楚回归模型在插层熔喷材料性能预测里解决什么问题插层熔喷非织造材料的性能预测本质上是一个“材料配方—工艺参数—宏观性能”的映射问题。实验人员更换插层剂种类、调整含量和热风工艺参数做出一批样品后测量过滤效率、透气率和拉伸强力样本量不大但变量之间存在明显的交互效应。用 python 编写回归模型就是为了在有限的实验数据上找到可泛化的映射关系让后续少做几组实验也能预判新配方的性能走向。拿到这类项目的代码压缩包第一步不是急着搭环境而是确认压缩包内是否包含数据读取、特征工程、回归模型对比、调参与评估、解释与导出这几段能连跑的脚本。不同阶段换一个人接手缺了任何一段都要返工。这篇文章按这条流水线的四个环节拆解每个环节都给出可以直接运行的 python 代码以及参数怎么设、失败时先看哪里。2. 从实验记录到 DataFrame插层熔喷数据的清洗与特征工程解压 zip 之后先别急着 import sklearn。材料实验数据的原始形态通常是 Excel 多 sheet或者命名随意的 CSV列名可能是“样品编号”“插层剂含量%”这种带中文和括号的形式。很多刚接触 python 数据分析的同事第一次就是栽在 Excel 读取上因为实验室表格里几乎必然存在合并单元格、空行和重复批次。第一步是把它们读进一个列名统一的 DataFrame我一般会单独写一个load_data.py保证原始文件只读清洗逻辑沉淀成脚本后续数据更新后可以一键重跑。2.1 多 sheet 实验表格的读取与合并材料团队习惯把不同批次的实验结果放在同一个 Excel 文件的不同 sheet 里少的三五张多的十几张列名还不完全一致。pandas 的read_excel在sheet_nameNone时会把所有 sheet 读成字典循环处理并合并这是这类数据最常见的入口写法import glob import pandas as pd def load_experiment_data(path_pattern: str) - pd.DataFrame: frames [] for file_path in glob.glob(path_pattern): # sheet_nameNone 返回 {sheet名: DataFrame} 的字典 sheets pd.read_excel(file_path, sheet_nameNone) for sheet_name, df in sheets.items(): df df.copy() # 统一列名去掉首尾空格替换空格和中文括号转小写 df.columns [ col.strip().lower().replace( , _) .replace(, ().replace(, )) for col in df.columns ] df[source_sheet] f{file_path}::{sheet_name} frames.append(df) df_all pd.concat(frames, ignore_indexTrue) df_all df_all.drop_duplicates() print(fmerged {df_all.shape[0]} rows from {len(frames)} sheets) return df_all df load_experiment_data(data/*.xlsx)glob 的*.xlsx能匹配同一个 data 目录下多个文件年底追加一批新实验数据时不需要修改代码。sheet_nameNone是 read_excel 的固定用法返回值为字典key 是 sheet 名value 是 DataFrame。列名统一成小写下划线风格后后面写X[intercalant_content]不会因为中英文混输而出错。source_sheet列用来追溯每行数据的来源排查异常批次时按它筛选非常高效。合并之后立即检查两件事各列缺失值比例以及 sample_id 是否有重复。材料实验里同一个样品测两次取平均是合理的但如果两个 sheet 中出现完全相同的行多半是录入时整行复制drop_duplicates()直接去除即可。缺失值超过 30% 的特征建议直接丢弃而不是填充因为实验数据量本来就不大填出来的值会带明显的人为偏差。2.2 插层剂种类与含量的编码名义变量和连续变量分开处理合并后的 DataFrame 里intercalant_type是名义变量常见取值可能只有蒙脱土、纳米 SiO₂、TiO₂ 三种不能直接编码成 0/1/2否则模型会认为 TiO₂ 是蒙脱土的 2 倍。应当用 OneHotEncoder 展开成多个 0/1 列。其余连续变量如intercalant_content含量百分比、screw_speed螺杆转速、air_temp热风温度量纲差异大树模型无所谓线性模型会被大数值变量带走所以需要 StandardScaler 标准化。用 ColumnTransformer 可以把两类处理放到同一个预处理对象里from sklearn.compose import ColumnTransformer from sklearn.preprocessing import OneHotEncoder, StandardScaler categorical_cols [intercalant_type] numeric_cols [intercalant_content, screw_speed, air_temp, die_temp] prep ColumnTransformer([ (cat, OneHotEncoder(handle_unknownignore), categorical_cols), (num, StandardScaler(), numeric_cols) ], remainderdrop)handle_unknownignore解决一个实际场景模型训练时没出现过的插层剂种类在后续预测时不会抛异常而是让所有哑变量保持 0。remainderdrop明确丢弃source_sheet、sample_id这类不该进入模型的信息。需要特别注意的是prep 的 fit 只能放在训练集上transform 再作用到测试集不能先在全量数据上标准化再划分训练测试集这个细节放到第 4 章交叉验证处还会强调是回归模型在小样本材料数据上最容易出问题的数据泄漏点。2.3 用相关性矩阵初筛特征避免强共线变量干扰回归模型插层熔喷工艺的变量并不独立热风温度直接影响纤维直径而纤维直径又关系到过滤效率和透气率特征之间的相关系数经常超过 0.9。对 Ridge 这类线性回归来说强共线会让系数在不同参数组合下来回跳动得到和材料常识相悖的回归方向。先把数值特征的相关矩阵画出来顺便打印每个特征与目标变量的相关系数import matplotlib.pyplot as plt import seaborn as sns target filtration_efficiency corr df_all[numeric_cols [target]].corr() print(corr[target].sort_values(ascendingFalse)) plt.figure(figsize(8, 6)) sns.heatmap(corr, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(feature correlation matrix) plt.tight_layout() plt.savefig(corr_heatmap.png, dpi150)corr() 返回完整相关矩阵按[target]取值就能得到每个特征与过滤效率的相关系数降序打印方便判断哪些特征需要重点解释。热力图保存为 png既便于贴进实验报告也能在多人协作时快速沟通特征情况。发现两个特征相关系数绝对值超过 0.95 时我不会自动删除而是回到实验记录确认它们是不是同一件事的两种测量口径优先保留业务上更关心、测量误差更小的那个。注意如果目标是预测过滤效率纤维直径这类需要实际测试才能获得的中间性能即使与目标相关性很高也应谨慎作为特征。否则在新配方上做预测时必须先做出样品测出纤维直径回归模型就失去了提前预测的意义。3. 基线与主力从线性回归到随机森林、XGBoost 回归模型的选型逻辑特征工程完成后模型选择我习惯分三步走先用 Ridge 打基线再上随机森林回归模型验证非线性空间最后用 XGBoost 回归模型在限制过拟合的前提下看有没有进一步提升。材料实验数据点不多模型间的差距不会像大数据集那么悬殊因此每一步都必须有明确的判断标准而不是把算法全部跑一遍挑个最高分。3.1 先做统一特征切分再用 Ridge 回归建立指标基线为了不让模型对比变成“各写各的预处理”先统一把训练测试集划分好并让 prep 只拟合训练集得到编码后的特征矩阵from sklearn.model_selection import train_test_split feature_cols categorical_cols numeric_cols X df_all[feature_cols] y df_all[target].astype(float) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) X_train_enc prep.fit_transform(X_train) X_test_enc prep.transform(X_test) print(ftrain shape: {X_train_enc.shape}, test shape: {X_test_enc.shape})prep 的 fit_transform 只发生在 X_train 上X_test 走的是 transform这样测试集不会把自己的均值和方差写进标准化参数。之后所有模型都基于X_train_enc训练保证了对比公平。Ridge 回归是这套流程里最便宜的基线它用 L2 正则收缩系数适合特征列数接近样本量的情况from sklearn.linear_model import Ridge from sklearn.model_selection import cross_val_score ridge Ridge(alpha1.0) scores cross_val_score(ridge, X_train_enc, y_train, cv5, scoringr2) print(fRidge 5-fold CV R2: {scores.mean():.3f} (/- {scores.std():.3f}))cross_val_score默认用 R² 作为打分函数返回值是每一折的分数打印均值和标准差可以直观看到稳定性。如果 R² 为负表示比“直接猜均值”还要差先不要怀疑模型回头查目标值是否方差过小、样本行数是否太少、或者编码后特征里混入了异常值。Ridge 的 alpha 默认 1.0 可以接受不必第一轮就调它存在的意义是给非线性模型一个参照系。3.2 随机森林回归模型小样本材料数据的默认选择Ridge 假设性能与特征基本线性但插层改性的关系往往带交互效应同样 2% 的插层剂含量在低转速下效果明显高转速下几乎不起作用。线性模型要抓住这种关系需要手工构造交互项而随机森林按特征阈值逐层切分天然能处理这种非线性。材料数据样本少、异常点多随机森林对异常值不敏感参数也比较稳所以是默认选择from sklearn.ensemble import RandomForestRegressor rf_model RandomForestRegressor( n_estimators300, min_samples_leaf2, max_depth6, random_state42, n_jobs-1 ) rf_scores cross_val_score(rf_model, X_train_enc, y_train, cv5, scoringr2) print(fRandomForest 5-fold CV R2: {rf_scores.mean():.3f} (/- {rf_scores.std():.3f}))min_samples_leaf2是防过拟合最关键的一项它强制每个叶子节点至少保留 2 个样本避免树把单条实验记录的偶然波动背下来。max_depth6在特征数十几到二十几的材料项目里已经足够超过 8 的深度几乎只在训练集上好看。n_estimators调到 300 是为了让集成结果稳定它在 200 到 500 之间对精度影响很小但取值太小会明显增加预测方差random_state固定之后网格搜索里不同参数组合才有可比性。如果随机森林的交叉验证 R² 明显高于 Ridge说明非线性关系真实存在值得继续调参如果两者差不多那么后续宁可把精力放在 SHAP 解释上也不要盲目追求更复杂的模型。3.3 XGBoost 回归模型的关键参数与过拟合控制XGBoost 在小样本上要特别小心。默认learning_rate0.3、max_depth6训练集 R² 能达到 0.99交叉验证却经常在 0.6 以下。我习惯先固定一组保守参数再在交叉验证内部配合早停控制迭代轮数from xgboost import XGBRegressor from sklearn.model_selection import KFold import numpy as np kf KFold(n_splits5, shuffleTrue, random_state42) xgb_cv_scores [] for train_idx, val_idx in kf.split(X_train_enc): model XGBRegressor( n_estimators500, learning_rate0.05, max_depth3, min_child_weight3, subsample0.8, colsample_bytree0.8, random_state42, verbosity0 ) model.fit( X_train_enc[train_idx], y_train.iloc[train_idx], eval_set[(X_train_enc[val_idx], y_train.iloc[val_idx])], verboseFalse ) xgb_cv_scores.append(model.score(X_train_enc[val_idx], y_train.iloc[val_idx])) print(fXGBoost 5-fold CV R2: {np.mean(xgb_cv_scores):.3f} (/- {np.std(xgb_cv_scores):.3f}))每折循环里重新实例化 model避免同一个对象在多次 fit 之间把前一次的早停状态带进来。learning_rate0.05配合最大 500 棵树等于用更慢的学习速度换取更平滑的下降这是小样本上最有效的防过拟合手段之一。max_depth3限制每棵树只能做三次分裂min_child_weight3要求叶子节点样本权重和至少达到 3这两项把单棵树的容量压住。subsample和colsample_bytree都取 0.8分别控制行采样和列采样增加每棵树的随机性让集成结果更稳健。如果验证集的分数在 100 棵以后持续下降说明学习率还可以再调低如果一开始就在波动则说明数据量撑不起太复杂的集成退回随机森林更合适。交叉验证跑完后用同样参数在全量训练集上拟合一份最终模型后面评估和导出都能复用best_xgb_model XGBRegressor( n_estimators500, learning_rate0.05, max_depth3, min_child_weight3, subsample0.8, colsample_bytree0.8, random_state42, verbosity0 ) best_xgb_model.fit(X_train_enc, y_train, verboseFalse)4. 网格搜索与交叉验证让回归模型在材料小数据上不飘材料实验数据通常只有 30 到 200 条这个量级下偶然因素会被放大同一份数据换一个random_state交叉验证分数可能从 0.85 掉到 0.70。调参的目标不是找到“全局最优参数”而是找到在数据扰动下仍然稳定的参数区间。下面按交叉验证选择、网格搜索范围、指标解读三个方面来收口。4.1 样本少于 30 时改用留一法数据多时用 5 折交叉验证5 折交叉验证在小样本上有个明显问题总样本 25 个时每折验证集只有 5 个样本验证分数的标准差极大某一折出现一个离群实验点分数就会被带偏。样本量低于 30 时我一般直接切换到留一法每次用一个样本做验证虽然拟合次数多但样本量小计算时间反而可以接受。代码里按数据量自动切换from sklearn.model_selection import LeaveOneOut cv LeaveOneOut() if len(X_train_enc) 30 else 5 loo_scores cross_val_score(rf_model, X_train_enc, y_train, cvcv, scoringr2) print(fCV R2: {loo_scores.mean():.3f} (/- {loo_scores.std():.3f}))注意 LeaveOneOut 的每次验证只用一条样本预测结果对这条样本的测量误差非常敏感所以它更适合用来判断“模型是不是在某几个样品上系统性失效”而不是直接和 5 折分数比大小。数据量在 30 到 200 之间时5 折配合shuffleTrue就够用折数再多也不会带来明显收益。所有用到随机采样的模型必须固定random_state否则每次跑出来的指标都不同材料团队根本无法判断调参是否真的有效。4.2 GridSearchCV 调参三个参数就够用随机森林需要网格搜索的参数其实只有三个max_depth、min_samples_leaf和max_features。n_estimators不产生过拟合只影响计算时间直接固定。max_depth的范围取 [4, 6, 8]在特征数不超过 20 的材料数据里8 已经接近上限超过 8 基本是记住噪声。min_samples_leaf取 [2, 3, 5]值越大叶子越粗对噪声的容忍度越高。max_features取 [0.6, 0.8, 1.0]表示每棵树随机看到的特征比例它决定了树之间的差异度from sklearn.model_selection import GridSearchCV param_grid { max_depth: [4, 6, 8], min_samples_leaf: [2, 3, 5], max_features: [0.6, 0.8, 1.0] } grid GridSearchCV( RandomForestRegressor(n_estimators300, random_state42, n_jobs-1), param_grid, cv5, scoringr2, refitTrue ) grid.fit(X_train_enc, y_train) print(fbest params: {grid.best_params_}) print(fbest CV R2: {grid.best_score_:.3f})GridSearchCV 内部会对每组参数组合做 5 折交叉验证cv 的折数与前面保持一致避免“调参用 5 折、评估用留一法”这种指标口径混乱。refitTrue表示搜索完成后用全部训练数据重新训练一份最佳模型这份模型可以直接拿去做测试集评估和导出。如果best_params_落在搜索区间的边界比如max_depth8是三个选项里的最大值说明边界外可能还有更好的参数下一轮搜索要把范围外扩如果落在中间说明当前范围覆盖了稳定区间。4.3 用 R²、MAE、RMSE 三个指标判断回归模型是否可用网格搜索内部用 R² 做排序没问题但对外报告时只看 R² 不够。材料工程师更关心“预测误差到底是多少个百分点”MAE 直接给出平均绝对误差RMSE 放大极端偏差配合使用才不会漏掉个别配方的严重失效。在测试集上统一评估三个模型from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error def evaluate_model(name, model, X_test_enc, y_test): pred model.predict(X_test_enc) return { model: name, R2: round(r2_score(y_test, pred), 3), MAE: round(mean_absolute_error(y_test, pred), 3), RMSE: round(np.sqrt(mean_squared_error(y_test, pred)), 3) } results [ evaluate_model(Ridge, ridge, X_test_enc, y_test), evaluate_model(RandomForest, grid.best_estimator_, X_test_enc, y_test), evaluate_model(XGBoost, best_xgb_model, X_test_enc, y_test) ] print(pd.DataFrame(results))输出的对比表大致长这样模型R²MAERMSERidge0.7112.1342.887RandomForest0.8431.6722.109XGBoost0.8291.7352.254如果三个模型的 RMSE 都稳定在 2 个百分点左右说明数据里存在约 2% 的不可约噪声可能是测量仪器本身的误差也可能是温湿度这类没记录的环境变量这种情况下继续调参的收益有限更值得做的是补充实验数据。如果树模型明显低于线性模型说明非线性效应真实存在调参方向就对了。另外测试集只占 20% 时样本数可能不到 10 条单次划分的指标偶然性很大更可靠的做法是多次用不同 random_state 划分并记录指标均值而不是只报一次最好看的数。5. 从预测到解释用 SHAP 找出关键工艺变量把模型导出成可调用脚本回归模型跑通只是第一步材料团队拿到模型后通常要回答两件事哪个工艺变量对过滤效率影响最大以及换一组新配方参数时如何快速得到预测值。分别对应 SHAP 分析和模型导出。5.1 SHAP 值定位影响过滤效率的关键工艺变量SHAP 值对树模型给出的是加性解释能告诉我们某一样品的过滤效率为什么高于或低于平均。把 GridSearchCV 得到的最佳随机森林套进一个完整 Pipeline再做 SHAP 分析这样特征列名不会乱import shap from sklearn.pipeline import Pipeline import pandas as pd final_pipeline Pipeline([ (prep, prep), (rf, grid.best_estimator_) ]) X_test_enc_shap final_pipeline.named_steps[prep].transform(X_test) feature_names final_pipeline.named_steps[prep].get_feature_names_out() X_test_df pd.DataFrame(X_test_enc_shap, columnsfeature_names) explainer shap.TreeExplainer(final_pipeline.named_steps[rf]) shap_values explainer.shap_values(X_test_df) shap.summary_plot(shap_values, X_test_df)summary_plot里每个点代表一个样本颜色代表特征值高低点分布在 x0 左侧表示该特征把预测值压低右侧表示推高。材料数据里最常见的结论是插层剂含量对过滤效率不是单调关系含量低时提升、超过某个阈值反而下降这在 SHAP 图上会表现为正负两侧都有分布。特征名会带num__、cat__前缀这是 ColumnTransformer 的命名规则看多了就习惯了。5.2 用 joblib 导出完整流水线预测脚本直接调用不要只导出随机森林模型一定要把 prep 和模型包在一个 Pipeline 里整体导出。这样预测脚本不需要关心 OneHot 编码列名和标准化参数减少很多手动对齐的工作import joblib joblib.dump(final_pipeline, meltblown_perf_model.joblib)预测脚本里按原始列名传参数即可键名必须与训练时feature_cols完全一致包括大小写和下划线import joblib import pandas as pd model joblib.load(meltblown_perf_model.joblib) def predict_performance(config: dict) - float: df pd.DataFrame([config]) pred model.predict(df) print(fpredicted filtration efficiency: {pred[0]:.2f}%) return pred[0] predict_performance({ intercalant_type: nanoclay, intercalant_content: 2.5, screw_speed: 800, air_temp: 210, die_temp: 220, })5.3 zip 解压、环境与复现的几个实际注意点下载的 zip 如果解压时报error read zip archive一类的错误优先判断压缩包是否下载完整Windows 下换 7-Zip 或者 WinRAR 重新解压Linux 下先跑unzip -t检查完整性大部分情况都是传输过程丢字节而不是代码本身的问题。脚本文件名如果是中文解压后建议改成 ASCII 命名再运行避免不同系统间的编码差异。运行环境方面新建一个虚拟环境再安装 pandas、scikit-learn、xgboost、shap 这几个依赖配合 vscode 里配置好的 python 环境和代码补全跑通整套脚本基本不会超过半小时。最后把训练时用的feature_cols、目标列名、数据量写进一个 README 文件材料团队三个月后再看就不会出现“这个列是哪来的”的问题。本文还有配套的精品资源点击获取