逻辑回归一、概念与定位类型监督学习、分类任务虽叫“回归”但实际是分类算法定义预测一个事件发生的概率P(y1|x)输出值在 [0, 1] 之间核心思想在线性回归的基础上套上Sigmoid 函数将预测值压缩到 0~1 之间变成概率一句话逻辑回归 线性回归 Sigmoid 激活函数二、模型形式第一步线性组合z w₁x₁ w₂x₂ ... wₙxₙ b WᵀX b第二步Sigmoid 压缩ŷ σ(z) 1 / (1 e⁻ᶻ)最终输出ŷ 表示样本属于正类的概率通常以 0.5 为阈值ŷ ≥ 0.5 → 预测为类别 1ŷ 0.5 → 预测为类别 0Sigmoid 函数特点特点说明值域(0, 1)可解释为概率单调性单调递增z越大输出越接近1可导性处处可导导数 σ(z)·(1-σ(z))方便梯度下降对称性σ(-z) 1 - σ(z)三、决策边界逻辑回归的决策边界是线性的。当 WᵀX b 0 时σ(z) 0.5这就是分类边界在特征空间中这是一条直线二维或超平面高维逻辑回归只能学习线性决策边界。对于线性不可分的数据需要特征工程多项式、交互项来间接实现非线性。四、损失函数为什么不用 MSEMSE 配合 Sigmoid 会导致损失函数非凸存在多个局部最小值梯度下降难以找到全局最优。交叉熵损失Log Loss这是逻辑回归的标准损失函数凸函数保证梯度下降能找到全局最优。二分类交叉熵公式L -[y·log(ŷ) (1-y)·log(1-ŷ)]真实值 y预测值 ŷ损失计算直观理解1接近1接近0预测对了损失小1接近0非常大预测错了损失大0接近0接近0预测对了损失小0接近1非常大预测错了损失大本质预测越准损失越小预测越离谱损失指数级增长。五、求解方法梯度下降与线性回归类似但梯度公式不同。梯度公式∂L/∂wⱼ (ŷ - y)·xⱼ参数更新wⱼnew wⱼold - α · (ŷ - y)·xⱼ参数含义说明α学习率超参数控制步长ŷ - y预测误差正/负决定更新方向xⱼ第j个特征值误差按特征值加权分配与线性回归梯度下降的对比对比项线性回归逻辑回归预测值ŷ WᵀXŷ σ(WᵀX)梯度(ŷ - y)·xⱼ(ŷ - y)·xⱼ公式形式完全相同完全相同形式上梯度公式一样但逻辑回归的 ŷ 经过了 Sigmoid 压缩。六、评估指标分类问题常用指标指标说明适用场景准确率预测正确的比例类别平衡时精确率预测为正例中实际为正例的比例看重“猜对的有多准”召回率实际为正例中被预测出来的比例看重“漏掉了多少”F1分数精确率和召回率的调和平均类别不平衡时AUC-ROC模型区分正负类的能力排序能力评估混淆矩阵预测为正预测为负实际为正TP真正例FN假负例实际为负FP假正例TN真负例七、优缺点与适用场景优点优点说明简单高效模型结构简单训练和预测都快可解释性强权重 w 直接反映特征对概率的影响方向和程度输出概率不仅给分类结果还给出置信度不容易过拟合模型表达能力有限适合高维稀疏数据小数据友好数据量不大时表现稳定缺点缺点说明只能线性决策边界对线性不可分数据无能为力对异常值敏感异常点可能拉偏决策边界特征相关性敏感多重共线性会导致权重不稳定类别平衡敏感类别严重不平衡时需特殊处理采样/加权适用场景需要概率输出的业务风控、医疗诊断需要强可解释性的场景金融审批、信用评分特征与标签存在近似线性关系在线学习场景可配合 SGD 增量更新作为深度学习输出层二分类任务的标准选择八、APIfrom sklearn.linear_model import LogisticRegression # 常用参数 model LogisticRegression( penaltyl2, # 正则化l1 / l2 C1.0, # 正则化强度的倒数越小正则越强 solverlbfgs, # 求解器lbfgs / liblinear / saga max_iter100, # 最大迭代次数 class_weightbalanced # 类别不平衡处理 ) model.fit(X_train, y_train) y_pred model.predict(X_test) y_proba model.predict_proba(X_test) # 输出概率九、逻辑回归 vs 线性回归对比项线性回归逻辑回归任务类型回归预测连续值分类预测离散类别输出范围(-∞, ∞)(0, 1) 概率激活函数无恒等连接Sigmoid损失函数MSE交叉熵求解方式正规方程 / 梯度下降梯度下降不能用正规方程参数解释特征每变化1单位y变化w特征每变化1单位对数几率变化w十、总分总总结总逻辑回归是一种用于二分类任务的监督学习算法核心是在线性回归的基础上套上 Sigmoid 函数将输出压缩为 [0,1] 之间的概率并以 0.5 为阈值进行分类。分模型形式z WᵀX b → ŷ 1/(1e⁻ᶻ)损失函数交叉熵损失凸函数保证能找到全局最优求解方法梯度下降梯度公式与线性回归形式相同决策边界线性边界WᵀX b 0评估指标准确率、精确率、召回率、F1、AUC-ROC优缺点优点简单高效、可解释强、输出概率、不易过拟合缺点只能线性边界、对异常值敏感、类别不平衡敏感适用场景需要概率输出和可解释性的二分类任务风控、医疗、金融总逻辑回归是分类任务的入门算法和基准模型也是深度学习中二分类输出层的标准选择。优点是简单、可解释、输出概率缺点是不能处理非线性边界。作为线性分类器的代表逻辑回归与线性回归共同构成了监督学习的基石。
机器学习_04_逻辑回归
发布时间：2026/5/19 21:52:16
逻辑回归一、概念与定位类型监督学习、分类任务虽叫“回归”但实际是分类算法定义预测一个事件发生的概率P(y1|x)输出值在 [0, 1] 之间核心思想在线性回归的基础上套上Sigmoid 函数将预测值压缩到 0~1 之间变成概率一句话逻辑回归 线性回归 Sigmoid 激活函数二、模型形式第一步线性组合z w₁x₁ w₂x₂ ... wₙxₙ b WᵀX b第二步Sigmoid 压缩ŷ σ(z) 1 / (1 e⁻ᶻ)最终输出ŷ 表示样本属于正类的概率通常以 0.5 为阈值ŷ ≥ 0.5 → 预测为类别 1ŷ 0.5 → 预测为类别 0Sigmoid 函数特点特点说明值域(0, 1)可解释为概率单调性单调递增z越大输出越接近1可导性处处可导导数 σ(z)·(1-σ(z))方便梯度下降对称性σ(-z) 1 - σ(z)三、决策边界逻辑回归的决策边界是线性的。当 WᵀX b 0 时σ(z) 0.5这就是分类边界在特征空间中这是一条直线二维或超平面高维逻辑回归只能学习线性决策边界。对于线性不可分的数据需要特征工程多项式、交互项来间接实现非线性。四、损失函数为什么不用 MSEMSE 配合 Sigmoid 会导致损失函数非凸存在多个局部最小值梯度下降难以找到全局最优。交叉熵损失Log Loss这是逻辑回归的标准损失函数凸函数保证梯度下降能找到全局最优。二分类交叉熵公式L -[y·log(ŷ) (1-y)·log(1-ŷ)]真实值 y预测值 ŷ损失计算直观理解1接近1接近0预测对了损失小1接近0非常大预测错了损失大0接近0接近0预测对了损失小0接近1非常大预测错了损失大本质预测越准损失越小预测越离谱损失指数级增长。五、求解方法梯度下降与线性回归类似但梯度公式不同。梯度公式∂L/∂wⱼ (ŷ - y)·xⱼ参数更新wⱼnew wⱼold - α · (ŷ - y)·xⱼ参数含义说明α学习率超参数控制步长ŷ - y预测误差正/负决定更新方向xⱼ第j个特征值误差按特征值加权分配与线性回归梯度下降的对比对比项线性回归逻辑回归预测值ŷ WᵀXŷ σ(WᵀX)梯度(ŷ - y)·xⱼ(ŷ - y)·xⱼ公式形式完全相同完全相同形式上梯度公式一样但逻辑回归的 ŷ 经过了 Sigmoid 压缩。六、评估指标分类问题常用指标指标说明适用场景准确率预测正确的比例类别平衡时精确率预测为正例中实际为正例的比例看重“猜对的有多准”召回率实际为正例中被预测出来的比例看重“漏掉了多少”F1分数精确率和召回率的调和平均类别不平衡时AUC-ROC模型区分正负类的能力排序能力评估混淆矩阵预测为正预测为负实际为正TP真正例FN假负例实际为负FP假正例TN真负例七、优缺点与适用场景优点优点说明简单高效模型结构简单训练和预测都快可解释性强权重 w 直接反映特征对概率的影响方向和程度输出概率不仅给分类结果还给出置信度不容易过拟合模型表达能力有限适合高维稀疏数据小数据友好数据量不大时表现稳定缺点缺点说明只能线性决策边界对线性不可分数据无能为力对异常值敏感异常点可能拉偏决策边界特征相关性敏感多重共线性会导致权重不稳定类别平衡敏感类别严重不平衡时需特殊处理采样/加权适用场景需要概率输出的业务风控、医疗诊断需要强可解释性的场景金融审批、信用评分特征与标签存在近似线性关系在线学习场景可配合 SGD 增量更新作为深度学习输出层二分类任务的标准选择八、APIfrom sklearn.linear_model import LogisticRegression # 常用参数 model LogisticRegression( penaltyl2, # 正则化l1 / l2 C1.0, # 正则化强度的倒数越小正则越强 solverlbfgs, # 求解器lbfgs / liblinear / saga max_iter100, # 最大迭代次数 class_weightbalanced # 类别不平衡处理 ) model.fit(X_train, y_train) y_pred model.predict(X_test) y_proba model.predict_proba(X_test) # 输出概率九、逻辑回归 vs 线性回归对比项线性回归逻辑回归任务类型回归预测连续值分类预测离散类别输出范围(-∞, ∞)(0, 1) 概率激活函数无恒等连接Sigmoid损失函数MSE交叉熵求解方式正规方程 / 梯度下降梯度下降不能用正规方程参数解释特征每变化1单位y变化w特征每变化1单位对数几率变化w十、总分总总结总逻辑回归是一种用于二分类任务的监督学习算法核心是在线性回归的基础上套上 Sigmoid 函数将输出压缩为 [0,1] 之间的概率并以 0.5 为阈值进行分类。分模型形式z WᵀX b → ŷ 1/(1e⁻ᶻ)损失函数交叉熵损失凸函数保证能找到全局最优求解方法梯度下降梯度公式与线性回归形式相同决策边界线性边界WᵀX b 0评估指标准确率、精确率、召回率、F1、AUC-ROC优缺点优点简单高效、可解释强、输出概率、不易过拟合缺点只能线性边界、对异常值敏感、类别不平衡敏感适用场景需要概率输出和可解释性的二分类任务风控、医疗、金融总逻辑回归是分类任务的入门算法和基准模型也是深度学习中二分类输出层的标准选择。优点是简单、可解释、输出概率缺点是不能处理非线性边界。作为线性分类器的代表逻辑回归与线性回归共同构成了监督学习的基石。
