1. 项目概述从“天池”到“我的”二手车预测实战最近在复盘一些经典的数据竞赛项目发现“二手车交易价格预测”这个题目无论是对于刚入门的新手还是想巩固基础的老手都是一个绝佳的练手项目。它不像图像、NLP那样有很高的技术门槛但完整涵盖了从数据理解、清洗、特征工程到模型构建的机器学习全流程。网上能找到的“天池baseline”代码通常是一个极简的起点它帮你跑通了流程但离一个扎实、有竞争力的方案还差得很远。很多人卡在“我跑通了baseline然后呢”这一步。所以我决定基于这个经典baseline做一次彻底的“精装修”。核心思路是强化EDA探索性数据分析的深度并构建一个逻辑清晰、可解释性强的进阶baseline。目标不是追求榜单上的极致分数而是通过这个过程把每个环节的“为什么”和“怎么做更好”讲清楚让你能真正掌握从数据到预测的完整链条并能将这套方法论迁移到其他回归预测问题上。你会发现一个扎实的EDA和特征工程往往比盲目堆砌复杂模型更能稳定地提升效果。2. 核心思路与项目框架设计拿到一个预测项目尤其是像二手车价格这种典型的表格数据竞赛最忌讳的就是一上来就调模型、跑代码。我的工作流遵循一个清晰的闭环理解业务 - 探索数据 - 清洗加工 - 构建特征 - 模型验证 - 迭代优化。这次改造的核心就是在前三步理解、探索、清洗上投入至少50%的精力。2.1 为什么是“EDA Baseline”的组合Baseline基线模型的意义在于提供一个可运行的、最基础的性能参照点。天池提供的baseline通常使用LightGBM或XGBoost这类树模型配合最简单的特征处理目的是让你快速提交登上排行榜。但它的特征往往是原始的甚至存在数据泄露或处理不当的问题。而EDA是构建一个好Baseline的基石。没有深入的EDA你的特征工程就是无的放矢模型优化也是盲人摸象。本项目的“简单EDA”绝非指敷衍了事而是指方法论上的清晰和直接我们不用炫酷复杂的可视化库堆砌图表而是带着明确的问题去分析数据每一个分析步骤都直接服务于后续的决策。例如我们分析缺失值不仅要知道有多少缺失更要判断缺失的原因是随机缺失还是信息缺失从而决定是填充、还是舍弃、还是将其作为一个新特征。2.2 项目改造的整体技术栈与流程本次实战将完全使用Python生态下的经典工具链确保可复现性和通用性数据分析与处理Pandas, NumPy。这是处理表格数据的绝对核心。数据可视化Matplotlib, Seaborn。Seaborn在统计图表上更加美观简洁Matplotlib用于定制化绘图。机器学习模型Scikit-learn, LightGBM。Scikit-learn用于数据预处理、交叉验证和基础模型LightGBM因其速度快、精度高是表格数据竞赛的“标配”模型。评估指标本项目预测价格是连续值属于回归问题。我们将主要使用RMSLE均方根对数误差作为评估指标这也是天池该赛题的官方指标。它比RMSE均方根误差对异常值更不敏感更符合对价格预测的评估直觉。整个项目流程可以概括为以下几步我们将逐一拆解数据加载与初窥快速了解数据全貌。深入的单变量与多变量EDA分析每个特征自身的分布、与目标变量的关系、以及特征间的相互关系。数据清洗与预处理处理缺失值、异常值、错误记录。特征工程基于EDA的发现构造有预测力的新特征。构建进阶Baseline模型使用交叉验证并引入简单的模型集成。结果分析与迭代方向分析模型表现指出后续可优化的点。3. 数据探索性分析EDA深度实操很多教程的EDA部分只是机械地展示df.info()和df.describe()这远远不够。我们要像侦探一样对数据提出具体问题并寻找答案。3.1 数据初窥第一印象与问题清单加载数据后我习惯先看三样东西import pandas as pd import numpy as np train_data pd.read_csv(used_car_train_20200301.csv, sep ) test_data pd.read_csv(used_car_testA_20200301.csv, sep ) print(训练集形状:, train_data.shape) print(测试集形状:, test_data.shape) print(\n训练集前5行:\n, train_data.head()) print(\n训练集基本信息:\n) train_data.info()通过info()我们能立刻看到总数据量训练集15万条测试集5万条。特征维度30个特征包括数值型int, float和类别型object。缺失情况初步发现notRepairedDamage是否修复过损伤等特征存在大量缺失显示为-在读取时可能被识别为字符串。列名含义需要对照赛题说明理解每个特征的业务含义例如model车型、brand品牌、bodyType车身类型、kilometer行驶里程等。此时我的问题清单已经形成目标变量price价格的分布如何是否存在极端值数值特征如power马力、kilometer里程的分布是怎样的是否存在明显异常类别特征如brand品牌、model车型的取值有多少分布是否均匀特征与目标变量price的相关性如何特征之间是否存在多重共线性训练集和测试集的特征分布是否一致这是避免线上线下分数差异大的关键3.2 单变量分析聚焦目标与关键特征首先是目标变量price。直接绘制分布直方图和箱线图。import matplotlib.pyplot as plt import seaborn as sns fig, axes plt.subplots(1, 2, figsize(12, 4)) sns.histplot(train_data[price], kdeTrue, axaxes[0]) axes[0].set_title(Price Distribution) sns.boxplot(xtrain_data[price], axaxes[1]) axes[1].set_title(Price Boxplot) plt.show()你会发现什么价格分布严重右偏存在一些极高价格的车辆可能是豪华车或数据错误。箱线图会清晰显示这些“离群点”。对于回归问题目标变量的分布直接影响模型学习。我们后续可能需要对price取对数这也是RMSLE指标的内在要求使其分布更接近正态。其次是关键数值特征例如power马力。print(train_data[power].describe()) sns.histplot(train_data[power], bins50) plt.axvline(x600, colorr, linestyle--) # 假设我们怀疑600以上是异常 plt.show()一个经典的坑就在这里你可能会发现有一些power值大到离谱比如20000这显然是错误数据。通过业务常识普通家用车马力范围和分位数如99.9%分析我们可以设定一个合理的阈值例如600将超过阈值的视为异常值需要处理。对于类别特征如brand品牌我们关注其取值数量和分布。brand_counts train_data[brand].value_counts() print(f品牌数量: {len(brand_counts)}) print(Top 10 品牌:\n, brand_counts.head(10)) # 绘制品牌数量分布图 plt.figure(figsize(12,6)) brand_counts.head(20).plot(kindbar) # 看前20个品牌 plt.title(Top 20 Brand Distribution) plt.show()这可以帮助我们判断是将其作为高基数类别特征直接编码还是进行归类如将数量少的品牌归为“其他”。3.3 多变量分析发现关联与规律这是EDA的精华旨在发现特征与目标、特征与特征之间的关系。1. 数值特征与价格的相关性分析计算所有数值特征与price的相关系数矩阵并用热力图可视化。numeric_features train_data.select_dtypes(include[np.number]).columns.tolist() # 确保目标变量在列中 if price in numeric_features: numeric_features.remove(price) corr_matrix train_data[numeric_features [price]].corr() plt.figure(figsize(10, 8)) sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(Correlation Heatmap) plt.show()热力图中颜色越深红/蓝相关性越强。我们重点关注与price相关性高的特征如v_0,v_3等匿名特征或power。同时也要观察特征之间的高相关性例如v_1和v_3相关性达0.9这暗示可能存在多重共线性在后续线性模型或特征选择时需要注意。2. 类别特征与价格的关系对于重要的类别特征如brand我们可以绘制品牌与价格均值的箱线图或柱状图。# 按品牌分组计算价格的中位数 brand_price train_data.groupby(brand)[price].median().sort_values(ascendingFalse) plt.figure(figsize(15,6)) brand_price.head(20).plot(kindbar) plt.title(Median Price by Brand (Top 20)) plt.ylabel(Median Price) plt.show()这直观地告诉我们不同品牌对价格有显著影响这是一个强信号特征。3. 训练集与测试集分布一致性检查这是避免“过拟合”训练集、确保模型泛化能力的关键一步。我们比较关键特征如kilometer,power在训练集和测试集上的分布。fig, axes plt.subplots(1, 2, figsize(12, 4)) sns.histplot(train_data[kilometer], labelTrain, kdeTrue, axaxes[0], colorblue, alpha0.5) sns.histplot(test_data[kilometer], labelTest, kdeTrue, axaxes[0], colorred, alpha0.5) axes[0].legend() axes[0].set_title(Kilometer Distribution: Train vs Test) sns.histplot(train_data[power], labelTrain, kdeTrue, axaxes[1], colorblue, alpha0.5, statdensity) sns.histplot(test_data[power], labelTest, kdeTrue, axaxes[1], colorred, alpha0.5, statdensity) axes[1].legend() axes[1].set_title(Power Distribution: Train vs Test) axes[1].set_xlim(0, 600) # 聚焦在合理区间 plt.show()如果分布差异巨大那么你在训练集上做的特征工程可能对测试集无效需要重新思考或采用更稳健的处理方式如使用全局统计量。实操心得EDA不是一次性任务而是一个循环。在特征工程或模型训练后如果效果不佳常常需要回到EDA从新的角度审视数据。我习惯将关键的EDA图表保存下来并附上简短的文字结论形成一份数据报告这对后续的团队协作或个人复盘都极有帮助。4. 数据清洗与预处理实战基于EDA的发现我们开始“打扫卫生”。干净的数据是模型好性能的前提。4.1 异常值处理异常值不一定都是错误但极端的异常值会严重影响模型尤其是线性模型和基于误差的损失函数。power马力异常值我们通过EDA发现存在大于600的极值。处理方式可以是截断。# 将训练集和测试集中超过600的power值设为600 power_cap 600 train_data[power] train_data[power].clip(upperpower_cap) test_data[power] test_data[power].clip(upperpower_cap)为什么用截断而不是直接删除因为删除会改变数据集的样本量可能影响后续的验证集划分。截断Winsorization是一种更保守且常用的方法。price价格异常值对于目标变量我们需要更谨慎。可以采用分位数法识别。# 查看价格的99.9%分位数 price_high train_data[price].quantile(0.999) print(f99.9%分位数价格: {price_high}) # 可以考虑移除价格过高如99.9分位的样本但注意这会减少数据。 # 另一种方法是在训练时使用对异常值不敏感的损失函数如RMSLE或Huber Loss。在本项目中由于我们使用RMSLE作为评估指标它对高价车辆的误差相对不敏感因此对price异常值的容忍度较高。一个常见的技巧是对price取对数使其分布更平滑这也暗合了RMSLE的计算方式。4.2 缺失值处理缺失值处理没有银弹需要根据特征类型和缺失原因来决定。数值特征缺失如vehicleType,gearbox,model的缺失。对于这些常用中位数或均值填充。但更好的方法是区分“缺失”是否包含信息。例如notRepairedDamage是否修复损伤的缺失可能意味着卖家未填写或车辆无损伤记录。我们可以将其单独作为一个类别如‘unknown’进行编码这本身可能就是一个有预测力的信号。# 将‘-’替换为np.nan便于pandas识别 train_data[notRepairedDamage].replace(-, np.nan, inplaceTrue) test_data[notRepairedDamage].replace(-, np.nan, inplaceTrue) # 计算缺失比例 missing_ratio train_data[notRepairedDamage].isnull().sum() / len(train_data) print(fnotRepairedDamage 缺失比例: {missing_ratio:.2%}) # 如果缺失比例高且认为有信息量则作为新类别否则用众数填充。 if missing_ratio 0.1: # 假设阈值10% train_data[notRepairedDamage].fillna(unknown, inplaceTrue) test_data[notRepairedDamage].fillna(unknown, inplaceTrue) else: mode_value train_data[notRepairedDamage].mode()[0] train_data[notRepairedDamage].fillna(mode_value, inplaceTrue) test_data[notRepairedDamage].fillna(mode_value, inplaceTrue)匿名特征v_*的缺失这些特征通常已做过预处理缺失可能较少。可以用该特征的均值或中位数填充。关键点填充用的统计量如中位数应从训练集计算然后用于填充训练集和测试集避免数据泄露。for col in [v_0, v_1, v_2, ...]: # 列出所有匿名特征列 median_val train_data[col].median() train_data[col].fillna(median_val, inplaceTrue) test_data[col].fillna(median_val, inplaceTrue)4.3 类别特征编码树模型如LightGBM可以直接处理类别特征但需要将其转换为整数类型categorydtype。对于线性模型或神经网络则需要独热编码One-Hot Encoding或标签编码Label Encoding。这里我们以LightGBM为主。高基数类别特征如model车型可能有上百种取值。独热编码会造成维度爆炸标签编码则会引入虚假的顺序关系。对于树模型最佳实践是使用类别型特征直接输入LightGBM有对类别特征的特殊优化算法。我们只需将其转换为category类型并处理未知值。# 将字符串类型的类别列转为category categorical_cols [brand, bodyType, fuelType, gearbox, notRepairedDamage] for col in categorical_cols: train_data[col] train_data[col].astype(category) # 对于测试集中出现训练集未出现的类别LightGBM能够处理但为了一致性可以将其设为‘unknown’ # 更稳妥的方法是先获取训练集的类别测试集不在其中的都归为‘unknown’ known_categories set(train_data[col].cat.categories) test_data[col] test_data[col].apply(lambda x: x if x in known_categories else unknown) test_data[col] pd.Categorical(test_data[col], categoriestrain_data[col].cat.categories.tolist() [unknown])注意事项数据清洗和预处理的所有操作都必须同时在训练集和测试集上进行且所有从训练集计算得到的参数如中位数、众数、类别列表都必须用于测试集这是保证模型泛化能力的铁律。5. 特征工程从原始数据中挖掘信息特征工程是机器学习项目的灵魂。好的特征能让简单的模型发挥出色效果。我们的特征工程完全基于EDA的洞察。5.1 基于业务常识的特征构造车龄特征从regDate注册日期可以提取出注册年份与creatDate数据创建日期的年份相减得到车龄car_age。价格通常与车龄强相关。train_data[regYear] train_data[regDate].apply(lambda x: int(str(x)[:4])) test_data[regYear] test_data[regDate].apply(lambda x: int(str(x)[:4])) # 假设数据创建年份是2017根据比赛时间推断 data_year 2017 train_data[car_age] data_year - train_data[regYear] test_data[car_age] data_year - test_data[regYear] # 处理异常车龄如未来日期或过早日期 train_data[car_age] train_data[car_age].clip(lower0, upper50) # 假设车龄在0-50年 test_data[car_age] test_data[car_age].clip(lower0, upper50)品牌均价/中位数特征这是一个非常强的特征。计算每个品牌在训练集上的平均价格或中位数价格作为一个新特征加入。注意必须使用平滑或交叉验证的方法来计算防止目标泄露。# 简单方法计算全局品牌均价有目标泄露风险仅作演示高级方法应用K折编码 brand_price_map train_data.groupby(brand)[price].median().to_dict() train_data[brand_median_price] train_data[brand].map(brand_price_map) # 对于测试集中新出现的品牌用全局中位数填充 global_median_price train_data[price].median() test_data[brand_median_price] test_data[brand].map(brand_price_map).fillna(global_median_price)更稳健的方法是使用category_encoders库中的TargetEncoder或LeaveOneOutEncoder它们能在交叉验证框架下避免目标泄露。功率重量比假设有重量特征如果数据中有power和隐含的重量信息或可通过model推断可以构造功率重量比这通常是车辆性能的一个指标。5.2 基于统计与聚类的特征构造类别特征的频次编码对于model、regionCode地区编码等高基数特征除了类别本身其出现的频次也可能包含信息例如冷门车型可能价格波动大。model_count_map train_data[model].value_counts().to_dict() train_data[model_count] train_data[model].map(model_count_map) test_data[model_count] test_data[model].map(model_count_map).fillna(1) # 测试集新车型记为1匿名特征v_*的组合与交互这些匿名特征往往是原始特征的PCA或非线性变换结果。我们可以尝试创造一些交互特征如v_1 * v_3v_0 / (v_5 1)等。这可以通过遗传编程或基于相关性的手动尝试来实现但要注意防止过拟合。5.3 特征选择与降维在构造了大量特征后需要进行筛选移除冗余或无关的特征。基于特征重要性先用一个简单的树模型如LightGBM跑一遍输出特征重要性剔除重要性几乎为0的特征。基于相关性剔除与目标变量相关性极低如绝对值0.01的特征以及与其他特征高度共线性如相关系数0.95的特征之一。使用工具scikit-learn的SelectKBest,SelectFromModel或专门的特征选择库featuretools用于自动化特征工程。实操心得特征工程是一个迭代和试错的过程。我通常的做法是先基于业务常识构造一批“硬特征”然后训练一个基础模型观察特征重要性。对于重要性高的特征思考其背后的原因并尝试构造与之相关的衍生特征对于重要性低的特征分析原因是信息量不足还是与其他特征高度相关然后决定是改进还是剔除。每次特征迭代后都用交叉验证来评估效果确保是正向提升。6. 进阶Baseline模型构建与验证现在我们有了干净的数据和一批特征可以构建一个比原始天池baseline更健壮的模型。6.1 模型选择与交叉验证策略模型依然选择LightGBM。它在表格数据上效率高、精度好且能原生处理类别特征、缺失值非常适合本项目。验证策略不使用简单的训练集/验证集分割而使用K折交叉验证K-Fold CV。这是评估模型泛化能力、避免过拟合和选择超参数的金标准。我们使用5折或10折。from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error import lightgbm as lgb # 准备数据 features [col for col in train_data.columns if col not in [price, SaleID, regDate, creatDate]] # 排除ID和时间列 X train_data[features] y np.log1p(train_data[price]) # 对价格取对数使目标分布更平滑且符合RMSLE要求 # 定义K折交叉验证 kf KFold(n_splits5, shuffleTrue, random_state2023) cv_scores [] models [] # 用于保存每一折的模型后续可做集成 for fold, (train_idx, val_idx) in enumerate(kf.split(X)): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] # 创建LightGBM数据集 train_set lgb.Dataset(X_train, y_train, categorical_featurecategorical_cols) val_set lgb.Dataset(X_val, y_val, referencetrain_set, categorical_featurecategorical_cols) # 设置参数 params { boosting_type: gbdt, objective: regression, # 回归任务 metric: rmse, # 评估指标我们最终用RMSLE但LGBM常用rmse num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: -1, seed: 2023 } # 训练模型 model lgb.train(params, train_set, num_boost_round1000, valid_sets[val_set], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(50)]) models.append(model) # 在验证集上预测并评估注意预测结果是log价格需转换回原空间计算RMSLE y_val_pred_log model.predict(X_val, num_iterationmodel.best_iteration) # 将预测值和真实值从log空间转换回来 y_val_pred np.expm1(y_val_pred_log) y_val_true np.expm1(y_val) # 计算RMSLE def rmsle(y_true, y_pred): return np.sqrt(mean_squared_error(np.log1p(y_true), np.log1p(y_pred))) score rmsle(y_val_true, y_val_pred) cv_scores.append(score) print(fFold {fold1} RMSLE: {score:.5f}) print(f5-Fold CV平均 RMSLE: {np.mean(cv_scores):.5f} (/- {np.std(cv_scores):.5f}))6.2 超参数调优思路上述参数是初始参数。一个进阶的Baseline应该包含简单的超参数搜索。对于LightGBM最关键的几个参数是num_leaves树的最大叶子数控制模型复杂度。learning_rate学习率与num_boost_round迭代次数配合。feature_fraction每次迭代随机选择特征的比例用于防止过拟合。bagging_fraction和bagging_freq进行随机采样类似随机森林的比例和频率。我们可以使用网格搜索GridSearchCV或随机搜索RandomizedSearchCV在交叉验证框架下寻找更优的参数组合。由于时间关系在Baseline阶段可以先用一个较小的搜索空间快速尝试。6.3 模型集成让Baseline更稳健单一模型可能不稳定。一个简单有效的提升方法是交叉验证下的模型集成。我们已经在上面的K折训练中保存了5个模型models列表。对于测试集的预测我们可以使用这5个模型的预测结果取平均这通常比单个模型更稳健。# 对测试集进行预测 test_X test_data[features] test_preds [] for model in models: pred_log model.predict(test_X, num_iterationmodel.best_iteration) test_preds.append(np.expm1(pred_log)) # 转换回原价格空间 # 取5个模型预测的平均值作为最终预测 final_test_pred np.mean(test_preds, axis0) # 生成提交文件 submission pd.DataFrame() submission[SaleID] test_data[SaleID] submission[price] final_test_pred submission.to_csv(submission_baseline_enhanced.csv, indexFalse)7. 常见问题、排查技巧与迭代方向即使按照上述流程你可能还是会遇到各种问题。这里记录一些典型场景和我的排查思路。7.1 线上线下分数差异大这是最令人头疼的问题。可能的原因和排查步骤数据分布不一致回顾第3.3节仔细检查训练集和测试集在关键特征kilometer,power,brand分布等上的分布是否一致。如果不一致需要调整特征工程策略使其更通用。数据泄露检查特征工程中是否无意使用了测试集信息。例如计算brand_median_price时必须只使用训练集数据。任何从全局数据包含测试集计算得到的统计量用于填充或编码都会造成泄露。验证策略不可靠如果只用单次train_test_split结果可能偶然。务必使用K折交叉验证其均值更能代表模型在未知数据上的表现。过拟合模型在训练集上表现太好在测试集上差。现象是训练误差远小于验证误差。解决方法增加正则化降低num_leaves增加min_data_in_leaf降低learning_rate并增加num_boost_round使用feature_fraction和bagging_fraction或者增加更多数据数据增强。7.2 模型性能提升遇到瓶颈当CV分数不再下降时可以尝试回看EDA和特征这是最可能挖出金矿的地方。重新审视那些与目标变量相关性不高但业务上重要的特征思考是否有更好的构造方式例如将regDate拆成年、月、日、星期几等多个特征对kilometer进行分桶离散化。尝试不同的模型用XGBoost或CatBoost跑一遍比较结果。有时不同模型对特征的理解方式不同可以集成。更精细的超参数调优使用贝叶斯优化如hyperopt库替代网格搜索更高效地搜索参数空间。高级特征工程目标编码Target Encoding对于高基数类别特征用目标变量的统计信息如均值、中位数进行编码但要严防目标泄露必须使用LeaveOneOut或K-Fold编码。聚类特征对数值特征进行聚类如K-Means将样本所属的簇ID作为新特征。多项式特征对重要的数值特征创建其平方项、交互项但需谨慎容易导致过拟合和维度灾难。7.3 内存与速度优化当数据量大或特征多时数据类型优化将int64转为int32或int16将float64转为float32。使用pd.to_numeric(..., downcastinteger/float)。稀疏矩阵对于经过独热编码后非常稀疏的特征矩阵使用scipy.sparse格式存储和计算。LightGBM参数设置devicegpu如果有GPU可以极大加速训练。num_threads参数可以控制CPU线程数。7.4 项目后续迭代方向这个“简单EDABaseline”项目只是一个坚实的起点。以此为基你可以深入探索以下方向向更高分数迈进深度特征工程引入外部数据如车型的品牌溢价数据、不同地区的经济水平数据。进行更复杂的特征交叉和变换。模型集成与堆叠不仅平均多个LightGBM模型还可以将LightGBM、XGBoost、CatBoost甚至神经网络的预测结果作为新特征训练一个第二层的“元模型”Stacking。自动化机器学习使用auto-sklearn、TPOT或H2O.ai等AutoML工具自动进行特征工程、模型选择和超参数调优。不确定性估计不仅预测价格还预测价格的可能区间分位数回归这对于二手车交易这种不确定性较高的场景更有实际价值。这个项目改造的过程本质上是一个标准的数据科学工作流的演练。它强调从数据理解出发用扎实的EDA指导每一步决策最终构建一个可解释、可复现、可迭代的稳健模型。记住在数据科学中耐心和细致地理解你的数据往往比急于尝试最复杂的算法更能带来稳定的回报。希望这份详细的拆解能帮你打通从“跑通Baseline”到“构建自己解决方案”的任督二脉。
从EDA到模型构建：二手车价格预测实战全流程解析
发布时间：2026/8/2 6:48:52
1. 项目概述从“天池”到“我的”二手车预测实战最近在复盘一些经典的数据竞赛项目发现“二手车交易价格预测”这个题目无论是对于刚入门的新手还是想巩固基础的老手都是一个绝佳的练手项目。它不像图像、NLP那样有很高的技术门槛但完整涵盖了从数据理解、清洗、特征工程到模型构建的机器学习全流程。网上能找到的“天池baseline”代码通常是一个极简的起点它帮你跑通了流程但离一个扎实、有竞争力的方案还差得很远。很多人卡在“我跑通了baseline然后呢”这一步。所以我决定基于这个经典baseline做一次彻底的“精装修”。核心思路是强化EDA探索性数据分析的深度并构建一个逻辑清晰、可解释性强的进阶baseline。目标不是追求榜单上的极致分数而是通过这个过程把每个环节的“为什么”和“怎么做更好”讲清楚让你能真正掌握从数据到预测的完整链条并能将这套方法论迁移到其他回归预测问题上。你会发现一个扎实的EDA和特征工程往往比盲目堆砌复杂模型更能稳定地提升效果。2. 核心思路与项目框架设计拿到一个预测项目尤其是像二手车价格这种典型的表格数据竞赛最忌讳的就是一上来就调模型、跑代码。我的工作流遵循一个清晰的闭环理解业务 - 探索数据 - 清洗加工 - 构建特征 - 模型验证 - 迭代优化。这次改造的核心就是在前三步理解、探索、清洗上投入至少50%的精力。2.1 为什么是“EDA Baseline”的组合Baseline基线模型的意义在于提供一个可运行的、最基础的性能参照点。天池提供的baseline通常使用LightGBM或XGBoost这类树模型配合最简单的特征处理目的是让你快速提交登上排行榜。但它的特征往往是原始的甚至存在数据泄露或处理不当的问题。而EDA是构建一个好Baseline的基石。没有深入的EDA你的特征工程就是无的放矢模型优化也是盲人摸象。本项目的“简单EDA”绝非指敷衍了事而是指方法论上的清晰和直接我们不用炫酷复杂的可视化库堆砌图表而是带着明确的问题去分析数据每一个分析步骤都直接服务于后续的决策。例如我们分析缺失值不仅要知道有多少缺失更要判断缺失的原因是随机缺失还是信息缺失从而决定是填充、还是舍弃、还是将其作为一个新特征。2.2 项目改造的整体技术栈与流程本次实战将完全使用Python生态下的经典工具链确保可复现性和通用性数据分析与处理Pandas, NumPy。这是处理表格数据的绝对核心。数据可视化Matplotlib, Seaborn。Seaborn在统计图表上更加美观简洁Matplotlib用于定制化绘图。机器学习模型Scikit-learn, LightGBM。Scikit-learn用于数据预处理、交叉验证和基础模型LightGBM因其速度快、精度高是表格数据竞赛的“标配”模型。评估指标本项目预测价格是连续值属于回归问题。我们将主要使用RMSLE均方根对数误差作为评估指标这也是天池该赛题的官方指标。它比RMSE均方根误差对异常值更不敏感更符合对价格预测的评估直觉。整个项目流程可以概括为以下几步我们将逐一拆解数据加载与初窥快速了解数据全貌。深入的单变量与多变量EDA分析每个特征自身的分布、与目标变量的关系、以及特征间的相互关系。数据清洗与预处理处理缺失值、异常值、错误记录。特征工程基于EDA的发现构造有预测力的新特征。构建进阶Baseline模型使用交叉验证并引入简单的模型集成。结果分析与迭代方向分析模型表现指出后续可优化的点。3. 数据探索性分析EDA深度实操很多教程的EDA部分只是机械地展示df.info()和df.describe()这远远不够。我们要像侦探一样对数据提出具体问题并寻找答案。3.1 数据初窥第一印象与问题清单加载数据后我习惯先看三样东西import pandas as pd import numpy as np train_data pd.read_csv(used_car_train_20200301.csv, sep ) test_data pd.read_csv(used_car_testA_20200301.csv, sep ) print(训练集形状:, train_data.shape) print(测试集形状:, test_data.shape) print(\n训练集前5行:\n, train_data.head()) print(\n训练集基本信息:\n) train_data.info()通过info()我们能立刻看到总数据量训练集15万条测试集5万条。特征维度30个特征包括数值型int, float和类别型object。缺失情况初步发现notRepairedDamage是否修复过损伤等特征存在大量缺失显示为-在读取时可能被识别为字符串。列名含义需要对照赛题说明理解每个特征的业务含义例如model车型、brand品牌、bodyType车身类型、kilometer行驶里程等。此时我的问题清单已经形成目标变量price价格的分布如何是否存在极端值数值特征如power马力、kilometer里程的分布是怎样的是否存在明显异常类别特征如brand品牌、model车型的取值有多少分布是否均匀特征与目标变量price的相关性如何特征之间是否存在多重共线性训练集和测试集的特征分布是否一致这是避免线上线下分数差异大的关键3.2 单变量分析聚焦目标与关键特征首先是目标变量price。直接绘制分布直方图和箱线图。import matplotlib.pyplot as plt import seaborn as sns fig, axes plt.subplots(1, 2, figsize(12, 4)) sns.histplot(train_data[price], kdeTrue, axaxes[0]) axes[0].set_title(Price Distribution) sns.boxplot(xtrain_data[price], axaxes[1]) axes[1].set_title(Price Boxplot) plt.show()你会发现什么价格分布严重右偏存在一些极高价格的车辆可能是豪华车或数据错误。箱线图会清晰显示这些“离群点”。对于回归问题目标变量的分布直接影响模型学习。我们后续可能需要对price取对数这也是RMSLE指标的内在要求使其分布更接近正态。其次是关键数值特征例如power马力。print(train_data[power].describe()) sns.histplot(train_data[power], bins50) plt.axvline(x600, colorr, linestyle--) # 假设我们怀疑600以上是异常 plt.show()一个经典的坑就在这里你可能会发现有一些power值大到离谱比如20000这显然是错误数据。通过业务常识普通家用车马力范围和分位数如99.9%分析我们可以设定一个合理的阈值例如600将超过阈值的视为异常值需要处理。对于类别特征如brand品牌我们关注其取值数量和分布。brand_counts train_data[brand].value_counts() print(f品牌数量: {len(brand_counts)}) print(Top 10 品牌:\n, brand_counts.head(10)) # 绘制品牌数量分布图 plt.figure(figsize(12,6)) brand_counts.head(20).plot(kindbar) # 看前20个品牌 plt.title(Top 20 Brand Distribution) plt.show()这可以帮助我们判断是将其作为高基数类别特征直接编码还是进行归类如将数量少的品牌归为“其他”。3.3 多变量分析发现关联与规律这是EDA的精华旨在发现特征与目标、特征与特征之间的关系。1. 数值特征与价格的相关性分析计算所有数值特征与price的相关系数矩阵并用热力图可视化。numeric_features train_data.select_dtypes(include[np.number]).columns.tolist() # 确保目标变量在列中 if price in numeric_features: numeric_features.remove(price) corr_matrix train_data[numeric_features [price]].corr() plt.figure(figsize(10, 8)) sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(Correlation Heatmap) plt.show()热力图中颜色越深红/蓝相关性越强。我们重点关注与price相关性高的特征如v_0,v_3等匿名特征或power。同时也要观察特征之间的高相关性例如v_1和v_3相关性达0.9这暗示可能存在多重共线性在后续线性模型或特征选择时需要注意。2. 类别特征与价格的关系对于重要的类别特征如brand我们可以绘制品牌与价格均值的箱线图或柱状图。# 按品牌分组计算价格的中位数 brand_price train_data.groupby(brand)[price].median().sort_values(ascendingFalse) plt.figure(figsize(15,6)) brand_price.head(20).plot(kindbar) plt.title(Median Price by Brand (Top 20)) plt.ylabel(Median Price) plt.show()这直观地告诉我们不同品牌对价格有显著影响这是一个强信号特征。3. 训练集与测试集分布一致性检查这是避免“过拟合”训练集、确保模型泛化能力的关键一步。我们比较关键特征如kilometer,power在训练集和测试集上的分布。fig, axes plt.subplots(1, 2, figsize(12, 4)) sns.histplot(train_data[kilometer], labelTrain, kdeTrue, axaxes[0], colorblue, alpha0.5) sns.histplot(test_data[kilometer], labelTest, kdeTrue, axaxes[0], colorred, alpha0.5) axes[0].legend() axes[0].set_title(Kilometer Distribution: Train vs Test) sns.histplot(train_data[power], labelTrain, kdeTrue, axaxes[1], colorblue, alpha0.5, statdensity) sns.histplot(test_data[power], labelTest, kdeTrue, axaxes[1], colorred, alpha0.5, statdensity) axes[1].legend() axes[1].set_title(Power Distribution: Train vs Test) axes[1].set_xlim(0, 600) # 聚焦在合理区间 plt.show()如果分布差异巨大那么你在训练集上做的特征工程可能对测试集无效需要重新思考或采用更稳健的处理方式如使用全局统计量。实操心得EDA不是一次性任务而是一个循环。在特征工程或模型训练后如果效果不佳常常需要回到EDA从新的角度审视数据。我习惯将关键的EDA图表保存下来并附上简短的文字结论形成一份数据报告这对后续的团队协作或个人复盘都极有帮助。4. 数据清洗与预处理实战基于EDA的发现我们开始“打扫卫生”。干净的数据是模型好性能的前提。4.1 异常值处理异常值不一定都是错误但极端的异常值会严重影响模型尤其是线性模型和基于误差的损失函数。power马力异常值我们通过EDA发现存在大于600的极值。处理方式可以是截断。# 将训练集和测试集中超过600的power值设为600 power_cap 600 train_data[power] train_data[power].clip(upperpower_cap) test_data[power] test_data[power].clip(upperpower_cap)为什么用截断而不是直接删除因为删除会改变数据集的样本量可能影响后续的验证集划分。截断Winsorization是一种更保守且常用的方法。price价格异常值对于目标变量我们需要更谨慎。可以采用分位数法识别。# 查看价格的99.9%分位数 price_high train_data[price].quantile(0.999) print(f99.9%分位数价格: {price_high}) # 可以考虑移除价格过高如99.9分位的样本但注意这会减少数据。 # 另一种方法是在训练时使用对异常值不敏感的损失函数如RMSLE或Huber Loss。在本项目中由于我们使用RMSLE作为评估指标它对高价车辆的误差相对不敏感因此对price异常值的容忍度较高。一个常见的技巧是对price取对数使其分布更平滑这也暗合了RMSLE的计算方式。4.2 缺失值处理缺失值处理没有银弹需要根据特征类型和缺失原因来决定。数值特征缺失如vehicleType,gearbox,model的缺失。对于这些常用中位数或均值填充。但更好的方法是区分“缺失”是否包含信息。例如notRepairedDamage是否修复损伤的缺失可能意味着卖家未填写或车辆无损伤记录。我们可以将其单独作为一个类别如‘unknown’进行编码这本身可能就是一个有预测力的信号。# 将‘-’替换为np.nan便于pandas识别 train_data[notRepairedDamage].replace(-, np.nan, inplaceTrue) test_data[notRepairedDamage].replace(-, np.nan, inplaceTrue) # 计算缺失比例 missing_ratio train_data[notRepairedDamage].isnull().sum() / len(train_data) print(fnotRepairedDamage 缺失比例: {missing_ratio:.2%}) # 如果缺失比例高且认为有信息量则作为新类别否则用众数填充。 if missing_ratio 0.1: # 假设阈值10% train_data[notRepairedDamage].fillna(unknown, inplaceTrue) test_data[notRepairedDamage].fillna(unknown, inplaceTrue) else: mode_value train_data[notRepairedDamage].mode()[0] train_data[notRepairedDamage].fillna(mode_value, inplaceTrue) test_data[notRepairedDamage].fillna(mode_value, inplaceTrue)匿名特征v_*的缺失这些特征通常已做过预处理缺失可能较少。可以用该特征的均值或中位数填充。关键点填充用的统计量如中位数应从训练集计算然后用于填充训练集和测试集避免数据泄露。for col in [v_0, v_1, v_2, ...]: # 列出所有匿名特征列 median_val train_data[col].median() train_data[col].fillna(median_val, inplaceTrue) test_data[col].fillna(median_val, inplaceTrue)4.3 类别特征编码树模型如LightGBM可以直接处理类别特征但需要将其转换为整数类型categorydtype。对于线性模型或神经网络则需要独热编码One-Hot Encoding或标签编码Label Encoding。这里我们以LightGBM为主。高基数类别特征如model车型可能有上百种取值。独热编码会造成维度爆炸标签编码则会引入虚假的顺序关系。对于树模型最佳实践是使用类别型特征直接输入LightGBM有对类别特征的特殊优化算法。我们只需将其转换为category类型并处理未知值。# 将字符串类型的类别列转为category categorical_cols [brand, bodyType, fuelType, gearbox, notRepairedDamage] for col in categorical_cols: train_data[col] train_data[col].astype(category) # 对于测试集中出现训练集未出现的类别LightGBM能够处理但为了一致性可以将其设为‘unknown’ # 更稳妥的方法是先获取训练集的类别测试集不在其中的都归为‘unknown’ known_categories set(train_data[col].cat.categories) test_data[col] test_data[col].apply(lambda x: x if x in known_categories else unknown) test_data[col] pd.Categorical(test_data[col], categoriestrain_data[col].cat.categories.tolist() [unknown])注意事项数据清洗和预处理的所有操作都必须同时在训练集和测试集上进行且所有从训练集计算得到的参数如中位数、众数、类别列表都必须用于测试集这是保证模型泛化能力的铁律。5. 特征工程从原始数据中挖掘信息特征工程是机器学习项目的灵魂。好的特征能让简单的模型发挥出色效果。我们的特征工程完全基于EDA的洞察。5.1 基于业务常识的特征构造车龄特征从regDate注册日期可以提取出注册年份与creatDate数据创建日期的年份相减得到车龄car_age。价格通常与车龄强相关。train_data[regYear] train_data[regDate].apply(lambda x: int(str(x)[:4])) test_data[regYear] test_data[regDate].apply(lambda x: int(str(x)[:4])) # 假设数据创建年份是2017根据比赛时间推断 data_year 2017 train_data[car_age] data_year - train_data[regYear] test_data[car_age] data_year - test_data[regYear] # 处理异常车龄如未来日期或过早日期 train_data[car_age] train_data[car_age].clip(lower0, upper50) # 假设车龄在0-50年 test_data[car_age] test_data[car_age].clip(lower0, upper50)品牌均价/中位数特征这是一个非常强的特征。计算每个品牌在训练集上的平均价格或中位数价格作为一个新特征加入。注意必须使用平滑或交叉验证的方法来计算防止目标泄露。# 简单方法计算全局品牌均价有目标泄露风险仅作演示高级方法应用K折编码 brand_price_map train_data.groupby(brand)[price].median().to_dict() train_data[brand_median_price] train_data[brand].map(brand_price_map) # 对于测试集中新出现的品牌用全局中位数填充 global_median_price train_data[price].median() test_data[brand_median_price] test_data[brand].map(brand_price_map).fillna(global_median_price)更稳健的方法是使用category_encoders库中的TargetEncoder或LeaveOneOutEncoder它们能在交叉验证框架下避免目标泄露。功率重量比假设有重量特征如果数据中有power和隐含的重量信息或可通过model推断可以构造功率重量比这通常是车辆性能的一个指标。5.2 基于统计与聚类的特征构造类别特征的频次编码对于model、regionCode地区编码等高基数特征除了类别本身其出现的频次也可能包含信息例如冷门车型可能价格波动大。model_count_map train_data[model].value_counts().to_dict() train_data[model_count] train_data[model].map(model_count_map) test_data[model_count] test_data[model].map(model_count_map).fillna(1) # 测试集新车型记为1匿名特征v_*的组合与交互这些匿名特征往往是原始特征的PCA或非线性变换结果。我们可以尝试创造一些交互特征如v_1 * v_3v_0 / (v_5 1)等。这可以通过遗传编程或基于相关性的手动尝试来实现但要注意防止过拟合。5.3 特征选择与降维在构造了大量特征后需要进行筛选移除冗余或无关的特征。基于特征重要性先用一个简单的树模型如LightGBM跑一遍输出特征重要性剔除重要性几乎为0的特征。基于相关性剔除与目标变量相关性极低如绝对值0.01的特征以及与其他特征高度共线性如相关系数0.95的特征之一。使用工具scikit-learn的SelectKBest,SelectFromModel或专门的特征选择库featuretools用于自动化特征工程。实操心得特征工程是一个迭代和试错的过程。我通常的做法是先基于业务常识构造一批“硬特征”然后训练一个基础模型观察特征重要性。对于重要性高的特征思考其背后的原因并尝试构造与之相关的衍生特征对于重要性低的特征分析原因是信息量不足还是与其他特征高度相关然后决定是改进还是剔除。每次特征迭代后都用交叉验证来评估效果确保是正向提升。6. 进阶Baseline模型构建与验证现在我们有了干净的数据和一批特征可以构建一个比原始天池baseline更健壮的模型。6.1 模型选择与交叉验证策略模型依然选择LightGBM。它在表格数据上效率高、精度好且能原生处理类别特征、缺失值非常适合本项目。验证策略不使用简单的训练集/验证集分割而使用K折交叉验证K-Fold CV。这是评估模型泛化能力、避免过拟合和选择超参数的金标准。我们使用5折或10折。from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error import lightgbm as lgb # 准备数据 features [col for col in train_data.columns if col not in [price, SaleID, regDate, creatDate]] # 排除ID和时间列 X train_data[features] y np.log1p(train_data[price]) # 对价格取对数使目标分布更平滑且符合RMSLE要求 # 定义K折交叉验证 kf KFold(n_splits5, shuffleTrue, random_state2023) cv_scores [] models [] # 用于保存每一折的模型后续可做集成 for fold, (train_idx, val_idx) in enumerate(kf.split(X)): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] # 创建LightGBM数据集 train_set lgb.Dataset(X_train, y_train, categorical_featurecategorical_cols) val_set lgb.Dataset(X_val, y_val, referencetrain_set, categorical_featurecategorical_cols) # 设置参数 params { boosting_type: gbdt, objective: regression, # 回归任务 metric: rmse, # 评估指标我们最终用RMSLE但LGBM常用rmse num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: -1, seed: 2023 } # 训练模型 model lgb.train(params, train_set, num_boost_round1000, valid_sets[val_set], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(50)]) models.append(model) # 在验证集上预测并评估注意预测结果是log价格需转换回原空间计算RMSLE y_val_pred_log model.predict(X_val, num_iterationmodel.best_iteration) # 将预测值和真实值从log空间转换回来 y_val_pred np.expm1(y_val_pred_log) y_val_true np.expm1(y_val) # 计算RMSLE def rmsle(y_true, y_pred): return np.sqrt(mean_squared_error(np.log1p(y_true), np.log1p(y_pred))) score rmsle(y_val_true, y_val_pred) cv_scores.append(score) print(fFold {fold1} RMSLE: {score:.5f}) print(f5-Fold CV平均 RMSLE: {np.mean(cv_scores):.5f} (/- {np.std(cv_scores):.5f}))6.2 超参数调优思路上述参数是初始参数。一个进阶的Baseline应该包含简单的超参数搜索。对于LightGBM最关键的几个参数是num_leaves树的最大叶子数控制模型复杂度。learning_rate学习率与num_boost_round迭代次数配合。feature_fraction每次迭代随机选择特征的比例用于防止过拟合。bagging_fraction和bagging_freq进行随机采样类似随机森林的比例和频率。我们可以使用网格搜索GridSearchCV或随机搜索RandomizedSearchCV在交叉验证框架下寻找更优的参数组合。由于时间关系在Baseline阶段可以先用一个较小的搜索空间快速尝试。6.3 模型集成让Baseline更稳健单一模型可能不稳定。一个简单有效的提升方法是交叉验证下的模型集成。我们已经在上面的K折训练中保存了5个模型models列表。对于测试集的预测我们可以使用这5个模型的预测结果取平均这通常比单个模型更稳健。# 对测试集进行预测 test_X test_data[features] test_preds [] for model in models: pred_log model.predict(test_X, num_iterationmodel.best_iteration) test_preds.append(np.expm1(pred_log)) # 转换回原价格空间 # 取5个模型预测的平均值作为最终预测 final_test_pred np.mean(test_preds, axis0) # 生成提交文件 submission pd.DataFrame() submission[SaleID] test_data[SaleID] submission[price] final_test_pred submission.to_csv(submission_baseline_enhanced.csv, indexFalse)7. 常见问题、排查技巧与迭代方向即使按照上述流程你可能还是会遇到各种问题。这里记录一些典型场景和我的排查思路。7.1 线上线下分数差异大这是最令人头疼的问题。可能的原因和排查步骤数据分布不一致回顾第3.3节仔细检查训练集和测试集在关键特征kilometer,power,brand分布等上的分布是否一致。如果不一致需要调整特征工程策略使其更通用。数据泄露检查特征工程中是否无意使用了测试集信息。例如计算brand_median_price时必须只使用训练集数据。任何从全局数据包含测试集计算得到的统计量用于填充或编码都会造成泄露。验证策略不可靠如果只用单次train_test_split结果可能偶然。务必使用K折交叉验证其均值更能代表模型在未知数据上的表现。过拟合模型在训练集上表现太好在测试集上差。现象是训练误差远小于验证误差。解决方法增加正则化降低num_leaves增加min_data_in_leaf降低learning_rate并增加num_boost_round使用feature_fraction和bagging_fraction或者增加更多数据数据增强。7.2 模型性能提升遇到瓶颈当CV分数不再下降时可以尝试回看EDA和特征这是最可能挖出金矿的地方。重新审视那些与目标变量相关性不高但业务上重要的特征思考是否有更好的构造方式例如将regDate拆成年、月、日、星期几等多个特征对kilometer进行分桶离散化。尝试不同的模型用XGBoost或CatBoost跑一遍比较结果。有时不同模型对特征的理解方式不同可以集成。更精细的超参数调优使用贝叶斯优化如hyperopt库替代网格搜索更高效地搜索参数空间。高级特征工程目标编码Target Encoding对于高基数类别特征用目标变量的统计信息如均值、中位数进行编码但要严防目标泄露必须使用LeaveOneOut或K-Fold编码。聚类特征对数值特征进行聚类如K-Means将样本所属的簇ID作为新特征。多项式特征对重要的数值特征创建其平方项、交互项但需谨慎容易导致过拟合和维度灾难。7.3 内存与速度优化当数据量大或特征多时数据类型优化将int64转为int32或int16将float64转为float32。使用pd.to_numeric(..., downcastinteger/float)。稀疏矩阵对于经过独热编码后非常稀疏的特征矩阵使用scipy.sparse格式存储和计算。LightGBM参数设置devicegpu如果有GPU可以极大加速训练。num_threads参数可以控制CPU线程数。7.4 项目后续迭代方向这个“简单EDABaseline”项目只是一个坚实的起点。以此为基你可以深入探索以下方向向更高分数迈进深度特征工程引入外部数据如车型的品牌溢价数据、不同地区的经济水平数据。进行更复杂的特征交叉和变换。模型集成与堆叠不仅平均多个LightGBM模型还可以将LightGBM、XGBoost、CatBoost甚至神经网络的预测结果作为新特征训练一个第二层的“元模型”Stacking。自动化机器学习使用auto-sklearn、TPOT或H2O.ai等AutoML工具自动进行特征工程、模型选择和超参数调优。不确定性估计不仅预测价格还预测价格的可能区间分位数回归这对于二手车交易这种不确定性较高的场景更有实际价值。这个项目改造的过程本质上是一个标准的数据科学工作流的演练。它强调从数据理解出发用扎实的EDA指导每一步决策最终构建一个可解释、可复现、可迭代的稳健模型。记住在数据科学中耐心和细致地理解你的数据往往比急于尝试最复杂的算法更能带来稳定的回报。希望这份详细的拆解能帮你打通从“跑通Baseline”到“构建自己解决方案”的任督二脉。
)
