1. 解释监督学习、无监督学习和强化学习的本质区别并给出实际应用场景详细解答监督学习Supervised Learning本质特征训练数据包含输入特征和对应的标签ground truth目标是学习从输入到输出的映射函数 f: X → Y通过最小化预测值与真实标签之间的损失函数来优化模型典型应用场景分类任务图像识别猫狗分类、垃圾邮件检测、疾病诊断回归任务房价预测、股票价格预测、销售预测序列标注命名实体识别NER、词性标注技术实现要点需要大量高质量的标注数据常见算法逻辑回归、SVM、决策树、随机森林、神经网络评估指标准确率、精确率、召回率、F1分数、AUC-ROC无监督学习Unsupervised Learning本质特征训练数据仅包含输入特征没有标签目标是发现数据的内在结构、模式或分布通过优化数据重构、相似度度量等目标函数来学习典型应用场景聚类客户细分、文档主题分组、异常检测降维数据可视化t-SNE、UMAP、特征提取PCA、Autoencoder生成模型GAN生成图像、VAE数据增强技术实现要点不依赖标注数据适合探索性分析常见算法K-means、DBSCAN、层次聚类、PCA、自编码器评估较为困难通常使用轮廓系数、重构误差等内部指标强化学习Reinforcement Learning本质特征智能体Agent通过与环境交互获得奖励信号目标是学习策略π以最大化累积奖励通过试错trial-and-error和延迟奖励来学习典型应用场景游戏AIAlphaGo、Dota 2、StarCraft II机器人控制机械臂操作、自主导航、无人驾驶推荐系统动态内容推荐、广告投放优化资源调度数据中心能耗优化、交通信号控制技术实现要点核心概念状态State、动作Action、奖励Reward、策略Policy常见算法Q-Learning、DQN、PPO、A3C、SAC面临探索与利用Exploration vs Exploitation的权衡问题三者对比总结维度监督学习无监督学习强化学习数据要求需要标注数据仅需输入数据需要环境交互反馈类型明确标签无反馈延迟奖励信号学习目标拟合已知映射发现数据结构最大化长期回报应用难度中等较低高2. 什么是过拟合和欠拟合如何在实际项目中诊断和解决这两个问题详细解答过拟合Overfitting定义与表现模型在训练集上表现优异但在验证集/测试集上表现显著下降模型学习了训练数据中的噪声和特定细节而非普适规律高方差High Variance问题诊断方法学习曲线分析训练误差持续下降验证误差先降后升性能差距训练准确率与验证准确率差距过大如95% vs 70%模型复杂度检查参数量远超训练样本数量解决方案多层次策略数据层面增加训练数据量最根本的解决方法数据增强Data Augmentation图像旋转、裁剪、颜色变换使用更具代表性的数据集模型架构层面减少模型复杂度减少层数、神经元数量添加正则化L1/L2正则化、Dropout、Batch Normalization早停Early Stopping监控验证集性能及时停止训练训练策略层面# 示例使用Dropout和L2正则化fromtensorflow.kerasimportlayers,regularizers modelSequential([layers.Dense(128,activationrelu,kernel_regularizerregularizers.l2(0.001)),layers.Dropout(0.5),layers.Dense(64,activationrelu,kernel_regularizerregularizers.l2(0.001)),layers.Dropout(0.3),layers.Dense(10,activationsoftmax)])集成方法Bagging如随机森林降低方差交叉验证确保模型泛化能力欠拟合Underfitting定义与表现模型在训练集和验证集上都表现不佳模型过于简单无法捕捉数据的复杂模式高偏差High Bias问题诊断方法绝对性能低训练准确率和验证准确率都很低学习曲线平坦增加训练数据无法改善性能残差分析预测误差呈现明显的系统性模式解决方案模型复杂度提升增加模型容量更深的网络、更多神经元使用更强大的模型架构如从线性模型到深度神经网络增加多项式特征或交叉特征特征工程添加更多相关特征特征组合和变换领域知识驱动的特征构建训练优化延长训练时间调整学习率和优化器检查数据预处理流程归一化、标准化架构改进示例# 从简单模型升级到更复杂模型# 欠拟合模型simple_modelSequential([layers.Dense(10,activationrelu),layers.Dense(1)])# 改进后的模型improved_modelSequential([layers.Dense(256,activationrelu),layers.BatchNormalization(),layers.Dense(128,activationrelu),layers.BatchNormalization(),layers.Dense(64,activationrelu),layers.Dense(1)])偏差-方差权衡Bias-Variance Tradeoff核心理论总误差 偏差² 方差 不可约误差需要在模型复杂度上找到平衡点最优模型复杂度使得泛化误差最小实践指导原则优先解决欠拟合确保模型有足够能力再通过正则化和数据增强防止过拟合使用交叉验证选择最优超参数持续监控训练/验证性能曲线3. 解释梯度消失和梯度爆炸问题以及如何在深度神经网络中缓解这些问题详细解答梯度消失Gradient Vanishing问题本质在反向传播过程中梯度随着层数增加而指数级衰减导致浅层网络参数几乎无法更新。数学原理对于L层网络梯度通过链式法则计算 ∂L/∂W₁ ∂L/∂aₗ × ∂aₗ/∂aₗ₋₁ × ... × ∂a₂/∂a₁ × ∂a₁/∂W₁ 如果每一项 |∂aᵢ/∂aᵢ₋₁| 1则梯度会随层数L指数衰减典型场景使用Sigmoid或Tanh激活函数的深度网络Sigmoid导数最大值为0.25多层相乘后梯度极小RNN处理长序列时的长期依赖问题症状表现浅层参数更新极其缓慢训练loss下降停滞浅层权重几乎不变梯度爆炸Gradient Exploding问题本质梯度在反向传播中指数级增长导致参数更新幅度过大训练不稳定。典型场景权重初始化不当值过大学习率设置过高RNN训练时的梯度累积症状表现参数值变为NaN或InfLoss突然暴增训练过程中出现震荡解决方案体系1. 激活函数选择ReLU系列首选方案# ReLU及其变体relulambdax:max(0,x)# 导数为0或1leaky_relulambdax:max(0.01*x,x)# 解决dying ReLUelulambdax:xifx0elsealpha*(exp(x)-1)# 实践建议model.add(layers.Dense(128,activationrelu))# 隐藏层model.add(layers.Dense(64,activationleaky_relu))# 或Leaky ReLU优势ReLU导数恒定0或1缓解梯度消失计算高效产生稀疏激活其他选择GELUTransformer中的常用激活Swish自门控激活函数2. 权重初始化策略Xavier/Glorot初始化适用于Sigmoid/TanhW~Uniform(-√(6/(n_inn_out)),√(6/(n_inn_out)))# 或正态分布版本W~N(0,2/(n_inn_out))He初始化适用于ReLUfromtensorflow.kerasimportinitializers model.add(layers.Dense(128,activationrelu,kernel_initializerinitializers.HeNormal()# He初始化))理论依据保持每层输出方差一致避免激活值过大或过小3. 批归一化Batch Normalization核心思想标准化每层的输入分布使其均值为0方差为1。实现方式modelSequential([layers.Dense(256,activationrelu),layers.BatchNormalization(),# 在激活后添加layers.Dense(128,activationrelu),layers.BatchNormalization(),layers.Dense(10,activationsoftmax)])优势允许使用更高的学习率减少对初始化的敏感度具有轻微的正则化效果加速训练收敛注意事项训练和推理时行为不同需要使用移动平均小batch size时效果较差4. 梯度裁剪Gradient Clipping针对梯度爆炸的直接解决方案# 方法1按值裁剪optimizertf.keras.optimizers.Adam(clipvalue1.0)# 方法2按范数裁剪更常用optimizertf.keras.optimizers.Adam(clipnorm1.0)# PyTorch中的实现torch.nn.utils.clip_grad_norm_(model.parameters(),max_norm1.0)裁剪策略如果梯度范数 threshold则缩放梯度保持梯度方向仅限制幅度5. 残差连接Residual ConnectionsResNet架构核心# 残差块实现defresidual_block(x,filters):shortcutx xlayers.Conv2D(filters,3,paddingsame)(x)xlayers.BatchNormalization()(x)xlayers.Activation(relu)(x)xlayers.Conv2D(filters,3,paddingsame)(x)xlayers.BatchNormalization()(x)# 关键跳跃连接xlayers.Add()([x,shortcut])xlayers.Activation(relu)(x)returnx原理梯度可以直接通过shortcut传播到浅层数学上∂L/∂x ∂L/∂F(x) × (1 ∂F(x)/∂x)即使F(x)的梯度很小仍有常数1保证梯度流动6. 特殊架构针对RNNLSTM和GRU# LSTM解决RNN梯度消失modelSequential([layers.LSTM(128,return_sequencesTrue),layers.LSTM(64),layers.Dense(10,activationsoftmax)])机制门控机制选择性传递信息细胞状态提供直接的梯度路径有效处理长期依赖综合实践方案深度CNN最佳实践modelSequential([# 输入层layers.Conv2D(64,3,paddingsame,kernel_initializerhe_normal),layers.BatchNormalization(),layers.Activation(relu),# 中间层重复layers.Conv2D(128,3,paddingsame,kernel_initializerhe_normal),layers.BatchNormalization(),layers.Activation(relu),layers.Dropout(0.3),# 输出层layers.GlobalAveragePooling2D(),layers.Dense(10,activationsoftmax)])# 使用梯度裁剪的优化器optimizertf.keras.optimizers.Adam(learning_rate0.001,clipnorm1.0)关键检查清单✅ 使用ReLU或其变体作为激活函数✅ 采用He初始化权重✅ 在每个卷积/全连接层后添加BatchNorm✅ 配置梯度裁剪✅ 对于超深网络50层使用残差连接✅ 监控训练过程中的梯度范数4. 什么是正则化对比L1、L2正则化和Dropout的工作原理及应用场景详细解答正则化的本质定义正则化是一种在损失函数中添加额外约束项的技术用于防止模型过拟合提高泛化能力。核心思想通过惩罚模型复杂度迫使模型学习更简单、更鲁棒的模式。通用损失函数形式L_total L_data λ × L_regularization 其中 - L_data原始损失如交叉熵、MSE - L_regularization正则化项 - λ正则化强度系数L2正则化Ridge / Weight Decay数学形式L_total L_data λ × Σ(wᵢ²) 梯度更新 w : w - η(∂L_data/∂w 2λw) (1 - 2ηλ)w - η∂L_data/∂w工作原理惩罚权重的平方和导致权重衰减Weight Decay倾向于使所有权重变小但不为零权重分布更加均匀实现示例fromtensorflow.kerasimportregularizers# Keras实现model.add(layers.Dense(128,activationrelu,kernel_regularizerregularizers.l2(0.01)# λ 0.01))# PyTorch实现通过优化器optimizertorch.optim.Adam(model.parameters(),lr0.001,weight_decay0.01# L2正则化)应用场景特征间存在多重共线性时所有特征都可能有用不希望完全消除某些特征神经网络训练的标准配置处理连续值特征的回归问题优势数学性质良好处处可导提供平滑的梯度在线性模型中有闭式解L1正则化Lasso数学形式L_total L_data λ × Σ|wᵢ| 梯度次梯度 ∂L/∂w ∂L_data/∂w λ × sign(w)工作原理惩罚权重的绝对值和倾向于产生稀疏解部分权重变为精确的0实现自动特征选择实现示例# Keras实现model.add(layers.Dense(128,activationrelu,kernel_regularizerregularizers.l1(0.01)))# Scikit-learn中的Lasso回归fromsklearn.linear_modelimportLasso lassoLasso(alpha0.01)lasso.fit(X_train,y_train)应用场景高维稀疏数据特征数 样本数需要特征选择和解释性文本分类、基因数据分析许多特征不重要或冗余的情况与L2对比特性L1正则化L2正则化权重分布稀疏很多0值稠密值较小特征选择自动特征选择保留所有特征计算复杂度无闭式解有闭式解鲁棒性对异常值敏感对异常值更鲁棒Elastic NetL1 L2组合数学形式L_total L_data λ₁ × Σ|wᵢ| λ₂ × Σ(wᵢ²)应用场景结合两者优势高维数据中存在特征分组时Dropout工作原理在训练过程中以概率p随机丢弃神经元使其暂时不参与前向传播和反向传播。数学表示训练时 h activation(Wx b) ⊙ mask 其中mask ~ Bernoulli(p) 测试时 h activation(Wx b) × (1 - p) # 或训练时使用inverted dropout实现示例# Keras实现modelSequential([layers.Dense(512,activationrelu),layers.Dropout(0.5),# 丢弃50%的神经元layers.Dense(256,activationrelu),layers.Dropout(0.3),# 丢弃30%的神经元layers.Dense(10,activationsoftmax)])# 注意推理时自动禁用model.predict(x_test)# Dropout自动关闭为什么有效多重解释集成学习视角训练时每次迭代相当于训练一个不同的子网络测试时相当于对指数级数量的子网络进行集成减少神经元共适应防止神经元过度依赖特定的其他神经元强制每个神经元学习更鲁棒的特征添加噪声引入随机性相当于数据增强提高模型对输入扰动的鲁棒性应用场景全连接层最有效现代Transformer架构Attention Dropout、FFN Dropout防止深度网络过拟合的首选方法超参数选择典型值0.2 ~ 0.5全连接层通常使用0.5卷积层较少使用或使用较小的值0.1 ~ 0.3输出层前不使用Dropout其他正则化技术DropConnect随机丢弃权重连接而非神经元Batch Normalization标准化层输入具有隐式正则化效果Data Augmentation通过增加训练数据的多样性来正则化Early Stopping监控验证集性能提前停止训练组合使用策略现代深度学习最佳实践modelSequential([# 卷积块BatchNorm 轻度Dropoutlayers.Conv2D(64,3,paddingsame,kernel_regularizerregularizers.l2(1e-4)),layers.BatchNormalization(),layers.Activation(relu),layers.Dropout(0.2),layers.Conv2D(128,3,paddingsame,kernel_regularizerregularizers.l2(1e-4)),layers.BatchNormalization(),layers.Activation(relu),layers.Dropout(0.2),layers.MaxPooling2D(2),# 全连接块L2 重度Dropoutlayers.Flatten(),layers.Dense(512,activationrelu,kernel_regularizerregularizers.l2(1e-3)),layers.Dropout(0.5),layers.Dense(10,activationsoftmax)])选择指南L2正则化几乎总是使用作为基准Dropout深度网络中防止过拟合的主要手段L1正则化需要特征选择时使用组合使用时注意调整各自的强度
AI架构师面试问题与解答 - 机器学习基础篇
发布时间：2026/5/31 14:52:45
1. 解释监督学习、无监督学习和强化学习的本质区别并给出实际应用场景详细解答监督学习Supervised Learning本质特征训练数据包含输入特征和对应的标签ground truth目标是学习从输入到输出的映射函数 f: X → Y通过最小化预测值与真实标签之间的损失函数来优化模型典型应用场景分类任务图像识别猫狗分类、垃圾邮件检测、疾病诊断回归任务房价预测、股票价格预测、销售预测序列标注命名实体识别NER、词性标注技术实现要点需要大量高质量的标注数据常见算法逻辑回归、SVM、决策树、随机森林、神经网络评估指标准确率、精确率、召回率、F1分数、AUC-ROC无监督学习Unsupervised Learning本质特征训练数据仅包含输入特征没有标签目标是发现数据的内在结构、模式或分布通过优化数据重构、相似度度量等目标函数来学习典型应用场景聚类客户细分、文档主题分组、异常检测降维数据可视化t-SNE、UMAP、特征提取PCA、Autoencoder生成模型GAN生成图像、VAE数据增强技术实现要点不依赖标注数据适合探索性分析常见算法K-means、DBSCAN、层次聚类、PCA、自编码器评估较为困难通常使用轮廓系数、重构误差等内部指标强化学习Reinforcement Learning本质特征智能体Agent通过与环境交互获得奖励信号目标是学习策略π以最大化累积奖励通过试错trial-and-error和延迟奖励来学习典型应用场景游戏AIAlphaGo、Dota 2、StarCraft II机器人控制机械臂操作、自主导航、无人驾驶推荐系统动态内容推荐、广告投放优化资源调度数据中心能耗优化、交通信号控制技术实现要点核心概念状态State、动作Action、奖励Reward、策略Policy常见算法Q-Learning、DQN、PPO、A3C、SAC面临探索与利用Exploration vs Exploitation的权衡问题三者对比总结维度监督学习无监督学习强化学习数据要求需要标注数据仅需输入数据需要环境交互反馈类型明确标签无反馈延迟奖励信号学习目标拟合已知映射发现数据结构最大化长期回报应用难度中等较低高2. 什么是过拟合和欠拟合如何在实际项目中诊断和解决这两个问题详细解答过拟合Overfitting定义与表现模型在训练集上表现优异但在验证集/测试集上表现显著下降模型学习了训练数据中的噪声和特定细节而非普适规律高方差High Variance问题诊断方法学习曲线分析训练误差持续下降验证误差先降后升性能差距训练准确率与验证准确率差距过大如95% vs 70%模型复杂度检查参数量远超训练样本数量解决方案多层次策略数据层面增加训练数据量最根本的解决方法数据增强Data Augmentation图像旋转、裁剪、颜色变换使用更具代表性的数据集模型架构层面减少模型复杂度减少层数、神经元数量添加正则化L1/L2正则化、Dropout、Batch Normalization早停Early Stopping监控验证集性能及时停止训练训练策略层面# 示例使用Dropout和L2正则化fromtensorflow.kerasimportlayers,regularizers modelSequential([layers.Dense(128,activationrelu,kernel_regularizerregularizers.l2(0.001)),layers.Dropout(0.5),layers.Dense(64,activationrelu,kernel_regularizerregularizers.l2(0.001)),layers.Dropout(0.3),layers.Dense(10,activationsoftmax)])集成方法Bagging如随机森林降低方差交叉验证确保模型泛化能力欠拟合Underfitting定义与表现模型在训练集和验证集上都表现不佳模型过于简单无法捕捉数据的复杂模式高偏差High Bias问题诊断方法绝对性能低训练准确率和验证准确率都很低学习曲线平坦增加训练数据无法改善性能残差分析预测误差呈现明显的系统性模式解决方案模型复杂度提升增加模型容量更深的网络、更多神经元使用更强大的模型架构如从线性模型到深度神经网络增加多项式特征或交叉特征特征工程添加更多相关特征特征组合和变换领域知识驱动的特征构建训练优化延长训练时间调整学习率和优化器检查数据预处理流程归一化、标准化架构改进示例# 从简单模型升级到更复杂模型# 欠拟合模型simple_modelSequential([layers.Dense(10,activationrelu),layers.Dense(1)])# 改进后的模型improved_modelSequential([layers.Dense(256,activationrelu),layers.BatchNormalization(),layers.Dense(128,activationrelu),layers.BatchNormalization(),layers.Dense(64,activationrelu),layers.Dense(1)])偏差-方差权衡Bias-Variance Tradeoff核心理论总误差 偏差² 方差 不可约误差需要在模型复杂度上找到平衡点最优模型复杂度使得泛化误差最小实践指导原则优先解决欠拟合确保模型有足够能力再通过正则化和数据增强防止过拟合使用交叉验证选择最优超参数持续监控训练/验证性能曲线3. 解释梯度消失和梯度爆炸问题以及如何在深度神经网络中缓解这些问题详细解答梯度消失Gradient Vanishing问题本质在反向传播过程中梯度随着层数增加而指数级衰减导致浅层网络参数几乎无法更新。数学原理对于L层网络梯度通过链式法则计算 ∂L/∂W₁ ∂L/∂aₗ × ∂aₗ/∂aₗ₋₁ × ... × ∂a₂/∂a₁ × ∂a₁/∂W₁ 如果每一项 |∂aᵢ/∂aᵢ₋₁| 1则梯度会随层数L指数衰减典型场景使用Sigmoid或Tanh激活函数的深度网络Sigmoid导数最大值为0.25多层相乘后梯度极小RNN处理长序列时的长期依赖问题症状表现浅层参数更新极其缓慢训练loss下降停滞浅层权重几乎不变梯度爆炸Gradient Exploding问题本质梯度在反向传播中指数级增长导致参数更新幅度过大训练不稳定。典型场景权重初始化不当值过大学习率设置过高RNN训练时的梯度累积症状表现参数值变为NaN或InfLoss突然暴增训练过程中出现震荡解决方案体系1. 激活函数选择ReLU系列首选方案# ReLU及其变体relulambdax:max(0,x)# 导数为0或1leaky_relulambdax:max(0.01*x,x)# 解决dying ReLUelulambdax:xifx0elsealpha*(exp(x)-1)# 实践建议model.add(layers.Dense(128,activationrelu))# 隐藏层model.add(layers.Dense(64,activationleaky_relu))# 或Leaky ReLU优势ReLU导数恒定0或1缓解梯度消失计算高效产生稀疏激活其他选择GELUTransformer中的常用激活Swish自门控激活函数2. 权重初始化策略Xavier/Glorot初始化适用于Sigmoid/TanhW~Uniform(-√(6/(n_inn_out)),√(6/(n_inn_out)))# 或正态分布版本W~N(0,2/(n_inn_out))He初始化适用于ReLUfromtensorflow.kerasimportinitializers model.add(layers.Dense(128,activationrelu,kernel_initializerinitializers.HeNormal()# He初始化))理论依据保持每层输出方差一致避免激活值过大或过小3. 批归一化Batch Normalization核心思想标准化每层的输入分布使其均值为0方差为1。实现方式modelSequential([layers.Dense(256,activationrelu),layers.BatchNormalization(),# 在激活后添加layers.Dense(128,activationrelu),layers.BatchNormalization(),layers.Dense(10,activationsoftmax)])优势允许使用更高的学习率减少对初始化的敏感度具有轻微的正则化效果加速训练收敛注意事项训练和推理时行为不同需要使用移动平均小batch size时效果较差4. 梯度裁剪Gradient Clipping针对梯度爆炸的直接解决方案# 方法1按值裁剪optimizertf.keras.optimizers.Adam(clipvalue1.0)# 方法2按范数裁剪更常用optimizertf.keras.optimizers.Adam(clipnorm1.0)# PyTorch中的实现torch.nn.utils.clip_grad_norm_(model.parameters(),max_norm1.0)裁剪策略如果梯度范数 threshold则缩放梯度保持梯度方向仅限制幅度5. 残差连接Residual ConnectionsResNet架构核心# 残差块实现defresidual_block(x,filters):shortcutx xlayers.Conv2D(filters,3,paddingsame)(x)xlayers.BatchNormalization()(x)xlayers.Activation(relu)(x)xlayers.Conv2D(filters,3,paddingsame)(x)xlayers.BatchNormalization()(x)# 关键跳跃连接xlayers.Add()([x,shortcut])xlayers.Activation(relu)(x)returnx原理梯度可以直接通过shortcut传播到浅层数学上∂L/∂x ∂L/∂F(x) × (1 ∂F(x)/∂x)即使F(x)的梯度很小仍有常数1保证梯度流动6. 特殊架构针对RNNLSTM和GRU# LSTM解决RNN梯度消失modelSequential([layers.LSTM(128,return_sequencesTrue),layers.LSTM(64),layers.Dense(10,activationsoftmax)])机制门控机制选择性传递信息细胞状态提供直接的梯度路径有效处理长期依赖综合实践方案深度CNN最佳实践modelSequential([# 输入层layers.Conv2D(64,3,paddingsame,kernel_initializerhe_normal),layers.BatchNormalization(),layers.Activation(relu),# 中间层重复layers.Conv2D(128,3,paddingsame,kernel_initializerhe_normal),layers.BatchNormalization(),layers.Activation(relu),layers.Dropout(0.3),# 输出层layers.GlobalAveragePooling2D(),layers.Dense(10,activationsoftmax)])# 使用梯度裁剪的优化器optimizertf.keras.optimizers.Adam(learning_rate0.001,clipnorm1.0)关键检查清单✅ 使用ReLU或其变体作为激活函数✅ 采用He初始化权重✅ 在每个卷积/全连接层后添加BatchNorm✅ 配置梯度裁剪✅ 对于超深网络50层使用残差连接✅ 监控训练过程中的梯度范数4. 什么是正则化对比L1、L2正则化和Dropout的工作原理及应用场景详细解答正则化的本质定义正则化是一种在损失函数中添加额外约束项的技术用于防止模型过拟合提高泛化能力。核心思想通过惩罚模型复杂度迫使模型学习更简单、更鲁棒的模式。通用损失函数形式L_total L_data λ × L_regularization 其中 - L_data原始损失如交叉熵、MSE - L_regularization正则化项 - λ正则化强度系数L2正则化Ridge / Weight Decay数学形式L_total L_data λ × Σ(wᵢ²) 梯度更新 w : w - η(∂L_data/∂w 2λw) (1 - 2ηλ)w - η∂L_data/∂w工作原理惩罚权重的平方和导致权重衰减Weight Decay倾向于使所有权重变小但不为零权重分布更加均匀实现示例fromtensorflow.kerasimportregularizers# Keras实现model.add(layers.Dense(128,activationrelu,kernel_regularizerregularizers.l2(0.01)# λ 0.01))# PyTorch实现通过优化器optimizertorch.optim.Adam(model.parameters(),lr0.001,weight_decay0.01# L2正则化)应用场景特征间存在多重共线性时所有特征都可能有用不希望完全消除某些特征神经网络训练的标准配置处理连续值特征的回归问题优势数学性质良好处处可导提供平滑的梯度在线性模型中有闭式解L1正则化Lasso数学形式L_total L_data λ × Σ|wᵢ| 梯度次梯度 ∂L/∂w ∂L_data/∂w λ × sign(w)工作原理惩罚权重的绝对值和倾向于产生稀疏解部分权重变为精确的0实现自动特征选择实现示例# Keras实现model.add(layers.Dense(128,activationrelu,kernel_regularizerregularizers.l1(0.01)))# Scikit-learn中的Lasso回归fromsklearn.linear_modelimportLasso lassoLasso(alpha0.01)lasso.fit(X_train,y_train)应用场景高维稀疏数据特征数 样本数需要特征选择和解释性文本分类、基因数据分析许多特征不重要或冗余的情况与L2对比特性L1正则化L2正则化权重分布稀疏很多0值稠密值较小特征选择自动特征选择保留所有特征计算复杂度无闭式解有闭式解鲁棒性对异常值敏感对异常值更鲁棒Elastic NetL1 L2组合数学形式L_total L_data λ₁ × Σ|wᵢ| λ₂ × Σ(wᵢ²)应用场景结合两者优势高维数据中存在特征分组时Dropout工作原理在训练过程中以概率p随机丢弃神经元使其暂时不参与前向传播和反向传播。数学表示训练时 h activation(Wx b) ⊙ mask 其中mask ~ Bernoulli(p) 测试时 h activation(Wx b) × (1 - p) # 或训练时使用inverted dropout实现示例# Keras实现modelSequential([layers.Dense(512,activationrelu),layers.Dropout(0.5),# 丢弃50%的神经元layers.Dense(256,activationrelu),layers.Dropout(0.3),# 丢弃30%的神经元layers.Dense(10,activationsoftmax)])# 注意推理时自动禁用model.predict(x_test)# Dropout自动关闭为什么有效多重解释集成学习视角训练时每次迭代相当于训练一个不同的子网络测试时相当于对指数级数量的子网络进行集成减少神经元共适应防止神经元过度依赖特定的其他神经元强制每个神经元学习更鲁棒的特征添加噪声引入随机性相当于数据增强提高模型对输入扰动的鲁棒性应用场景全连接层最有效现代Transformer架构Attention Dropout、FFN Dropout防止深度网络过拟合的首选方法超参数选择典型值0.2 ~ 0.5全连接层通常使用0.5卷积层较少使用或使用较小的值0.1 ~ 0.3输出层前不使用Dropout其他正则化技术DropConnect随机丢弃权重连接而非神经元Batch Normalization标准化层输入具有隐式正则化效果Data Augmentation通过增加训练数据的多样性来正则化Early Stopping监控验证集性能提前停止训练组合使用策略现代深度学习最佳实践modelSequential([# 卷积块BatchNorm 轻度Dropoutlayers.Conv2D(64,3,paddingsame,kernel_regularizerregularizers.l2(1e-4)),layers.BatchNormalization(),layers.Activation(relu),layers.Dropout(0.2),layers.Conv2D(128,3,paddingsame,kernel_regularizerregularizers.l2(1e-4)),layers.BatchNormalization(),layers.Activation(relu),layers.Dropout(0.2),layers.MaxPooling2D(2),# 全连接块L2 重度Dropoutlayers.Flatten(),layers.Dense(512,activationrelu,kernel_regularizerregularizers.l2(1e-3)),layers.Dropout(0.5),layers.Dense(10,activationsoftmax)])选择指南L2正则化几乎总是使用作为基准Dropout深度网络中防止过拟合的主要手段L1正则化需要特征选择时使用组合使用时注意调整各自的强度
