线性判别分析实战从数学原理到鸢尾花分类的Python实现在数据科学领域降维技术是处理高维数据的必备工具。提到降维大多数人首先想到的是主成分分析(PCA)但今天我们要探讨一个在分类任务中表现更出色的方法——线性判别分析(LDA)。与PCA不同LDA是一种有监督的降维方法它不仅能降低数据维度还能最大化类别之间的区分度。1. LDA与PCA的核心差异**LDA线性判别分析和PCA主成分分析**都是线性降维技术但它们的优化目标截然不同PCA寻找的是数据方差最大的方向保留最多信息LDA寻找的是能最好区分不同类别的方向最大化分类效果让我们用一个简单的对比表格来说明两者的关键区别特性PCALDA监督性无监督有监督优化目标最大化方差最大化类间方差/类内方差适用场景探索性数据分析、特征提取分类任务前的降维保留信息类型全局结构判别信息类别标签使用不使用必须使用在实际应用中当我们的目标是分类而非单纯的数据可视化或压缩时LDA通常是更好的选择。它能够利用已知的类别信息找到最能区分不同类别的投影方向。2. LDA的数学原理剖析LDA的核心思想可以概括为投影后类内方差最小类间方差最大。要实现这一目标我们需要理解几个关键概念2.1 类内散度矩阵(Sw)类内散度矩阵衡量的是同一类别内样本的离散程度计算公式为# 计算类内散度矩阵的Python实现 def within_class_scatter(X1, X2): # X1和X2分别代表两个类别的样本 center1 np.mean(X1, axis0) center2 np.mean(X2, axis0) cov1 np.dot((X1 - center1).T, (X1 - center1)) cov2 np.dot((X2 - center2).T, (X2 - center2)) Sw cov1 cov2 return Sw2.2 类间散度矩阵(Sb)类间散度矩阵衡量的是不同类别之间的分离程度# 计算类间散度矩阵 def between_class_scatter(center1, center2, n1, n2): mean_diff (center1 - center2).reshape(-1, 1) Sb np.dot(mean_diff, mean_diff.T) return Sb2.3 求解投影方向LDA的目标是找到一个投影方向w使得类间散度与类内散度的比值最大化$$ J(w) \frac{w^T S_b w}{w^T S_w w} $$这个优化问题的解对应于求解广义特征值问题$$ S_w^{-1} S_b w \lambda w $$在Python中我们可以这样实现def lda(X, y): # 划分不同类别样本 classes np.unique(y) X1 X[y classes[0]] X2 X[y classes[1]] # 计算类内散度矩阵 Sw within_class_scatter(X1, X2) # 计算类间散度矩阵 center1 np.mean(X1, axis0) center2 np.mean(X2, axis0) Sb between_class_scatter(center1, center2, len(X1), len(X2)) # 求解广义特征值问题 eigenvalues, eigenvectors np.linalg.eig(np.linalg.inv(Sw).dot(Sb)) # 选择最大特征值对应的特征向量 w eigenvectors[:, np.argmax(eigenvalues)] # 投影数据 X_lda X.dot(w) return X_lda, w注意在实际应用中当类内散度矩阵Sw接近奇异时可能需要添加一个小的正则化项来保证数值稳定性。3. 鸢尾花数据集上的LDA实战现在让我们将理论应用于实践使用经典的鸢尾花数据集来演示LDA的效果。这个数据集包含三种鸢尾花Setosa、Versicolour和Virginica的四个特征萼片长度、萼片宽度、花瓣长度和花瓣宽度。3.1 数据准备与可视化首先我们加载数据并进行初步分析import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris # 加载鸢尾花数据集 iris load_iris() X iris.data y iris.target feature_names iris.feature_names target_names iris.target_names # 可视化原始特征 plt.figure(figsize(12, 6)) for i in range(4): plt.subplot(2, 2, i1) for c in range(3): plt.hist(X[y c, i], alpha0.5, labeltarget_names[c]) plt.xlabel(feature_names[i]) plt.legend() plt.tight_layout() plt.show()从特征直方图中我们可以看到有些特征如花瓣长度和宽度已经能够较好地分离Setosa类别但对Versicolour和Virginica的区分效果有限。3.2 实现多类LDA标准的LDA通常针对二分类问题但我们可以将其扩展到多类情况。对于C个类别LDA可以找到最多C-1个判别方向。def multiclass_lda(X, y): # 总体均值 mean_total np.mean(X, axis0) # 计算类内散度矩阵Sw Sw np.zeros((X.shape[1], X.shape[1])) for c in np.unique(y): Xc X[y c] mean_c np.mean(Xc, axis0) Sw np.dot((Xc - mean_c).T, (Xc - mean_c)) # 计算类间散度矩阵Sb Sb np.zeros((X.shape[1], X.shape[1])) for c in np.unique(y): Xc X[y c] mean_c np.mean(Xc, axis0) n_c Xc.shape[0] Sb n_c * np.dot((mean_c - mean_total).reshape(-1, 1), (mean_c - mean_total).reshape(1, -1)) # 求解广义特征值问题 eigenvalues, eigenvectors np.linalg.eig(np.linalg.inv(Sw).dot(Sb)) # 选择前C-1个最大特征值对应的特征向量 idx np.argsort(eigenvalues)[::-1] W eigenvectors[:, idx[:len(np.unique(y))-1]] # 投影数据 X_lda X.dot(W) return X_lda, W3.3 应用LDA并可视化结果现在我们将LDA应用于鸢尾花数据集# 应用多类LDA X_lda, W multiclass_lda(X, y) # 可视化LDA结果 plt.figure(figsize(8, 6)) for c in range(3): plt.scatter(X_lda[y c, 0], X_lda[y c, 1], alpha0.7, labeltarget_names[c]) plt.xlabel(LDA Component 1) plt.ylabel(LDA Component 2) plt.title(LDA Projection of Iris Dataset) plt.legend() plt.show()从可视化结果可以看到经过LDA降维后三个类别在二维空间中得到了很好的分离特别是Setosa与其他两个类别完全分开Versicolour和Virginica也有明显的分离趋势。4. LDA在分类任务中的实际应用理解了LDA的原理并实现了基础版本后让我们看看如何在实际分类任务中使用它。4.1 结合机器学习分类器LDA降维后的数据可以作为其他分类器的输入from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 在训练集上拟合LDA X_train_lda, W multiclass_lda(X_train, y_train) # 训练分类器 clf LogisticRegression() clf.fit(X_train_lda, y_train) # 在测试集上应用LDA和分类 X_test_lda X_test.dot(W) y_pred clf.predict(X_test_lda) # 评估性能 accuracy accuracy_score(y_test, y_pred) print(fClassification accuracy: {accuracy:.2f})4.2 与PCA的性能对比为了展示LDA在分类任务中的优势我们将其与PCA进行对比from sklearn.decomposition import PCA # PCA降维 pca PCA(n_components2) X_train_pca pca.fit_transform(X_train) X_test_pca pca.transform(X_test) # 在PCA特征上训练分类器 clf_pca LogisticRegression() clf_pca.fit(X_train_pca, y_train) y_pred_pca clf_pca.predict(X_test_pca) accuracy_pca accuracy_score(y_test, y_pred_pca) print(fPCA LogisticRegression accuracy: {accuracy_pca:.2f}) print(fLDA LogisticRegression accuracy: {accuracy:.2f})在大多数情况下LDA结合简单分类器的性能会优于PCA特别是在类别可分性较强的数据集上。这是因为LDA在降维过程中已经考虑了类别信息而PCA只关注数据方差。4.3 参数调优与注意事项在实际应用中使用LDA时需要注意以下几点正则化当类内散度矩阵接近奇异时可以添加一个小的正则化项Sw np.eye(Sw.shape[0]) * 1e-4特征缩放虽然LDA不受特征尺度影响因为是线性变换但在可视化时统一尺度可能更有帮助。类别平衡LDA假设所有类别的分布形状相似在类别不平衡时可能需要调整。维度限制对于C个类别LDA最多能产生C-1个判别特征。非线性扩展对于非线性可分数据可以考虑核LDA等扩展方法。5. 高级话题与扩展应用掌握了LDA的基础后我们可以探讨一些更高级的应用场景和变体。5.1 增量LDA处理大数据对于大规模数据集我们可以使用增量方式计算散度矩阵def incremental_lda(X_batches, y_batches): # 初始化统计量 n_features X_batches[0].shape[1] Sw np.zeros((n_features, n_features)) Sb np.zeros((n_features, n_features)) mean_total np.zeros(n_features) n_total 0 # 第一遍计算总体均值 for X, y in zip(X_batches, y_batches): n_total len(X) mean_total np.sum(X, axis0) mean_total / n_total # 第二遍计算Sw和Sb class_stats {} for X, y in zip(X_batches, y_batches): unique_y np.unique(y) for c in unique_y: Xc X[y c] n_c len(Xc) mean_c np.mean(Xc, axis0) # 更新类内散度 Sw np.dot((Xc - mean_c).T, (Xc - mean_c)) # 更新类间散度 if c not in class_stats: class_stats[c] {n: 0, mean: np.zeros(n_features)} class_stats[c][n] n_c class_stats[c][mean] np.sum(Xc, axis0) for c in class_stats: mean_c class_stats[c][mean] / class_stats[c][n] Sb class_stats[c][n] * np.dot((mean_c - mean_total).reshape(-1, 1), (mean_c - mean_total).reshape(1, -1)) # 求解投影方向 eigenvalues, eigenvectors np.linalg.eig(np.linalg.inv(Sw).dot(Sb)) idx np.argsort(eigenvalues)[::-1] W eigenvectors[:, idx[:len(class_stats)-1]] return W5.2 核LDA处理非线性数据对于非线性可分数据我们可以使用核技巧将LDA扩展到非线性情况from sklearn.metrics.pairwise import rbf_kernel class KernelLDA: def __init__(self, kernelrbf, gamma1.0, n_componentsNone): self.kernel kernel self.gamma gamma self.n_components n_components def fit(self, X, y): n_samples X.shape[0] classes np.unique(y) n_classes len(classes) # 计算核矩阵 K rbf_kernel(X, gammaself.gamma) # 计算类间核矩阵 Kb np.zeros_like(K) overall_mean np.mean(K, axis0) for c in classes: idx y c Kc K[idx] mean_kc np.mean(Kc, axis0) Kb len(Kc) * np.outer(mean_kc - overall_mean, mean_kc - overall_mean) # 计算类内核矩阵 Kw np.zeros_like(K) for c in classes: idx y c Kc K[idx] mean_kc np.mean(Kc, axis0) Kw Kc.T.dot(Kc) - len(Kc) * np.outer(mean_kc, mean_kc) # 求解广义特征值问题 eigenvalues, eigenvectors np.linalg.eig(np.linalg.pinv(Kw).dot(Kb)) idx np.argsort(eigenvalues.real)[::-1] self.alphas eigenvectors[:, idx[:self.n_components or (n_classes-1)]].real self.X_train X return self def transform(self, X): K rbf_kernel(X, self.X_train, gammaself.gamma) return K.dot(self.alphas)5.3 LDA在文本分类中的应用LDA不仅适用于数值数据在文本分类中也有广泛应用。结合TF-IDF等文本特征提取方法LDA可以有效地降低文本数据的维度from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.discriminant_analysis import LinearDiscriminantAnalysis # 示例文本数据 texts [this is a positive review, negative experience with this product, highly recommend this item, would not buy again] labels [1, 0, 1, 0] # 1positive, 0negative # 提取TF-IDF特征 vectorizer TfidfVectorizer() X_text vectorizer.fit_transform(texts) # 应用LDA lda LinearDiscriminantAnalysis() X_text_lda lda.fit_transform(X_text.toarray(), labels) # 可视化文本数据的LDA投影 plt.scatter(X_text_lda[:, 0], [0]*len(X_text_lda), clabels) plt.yticks([]) plt.title(LDA Projection of Text Data) plt.show()
别再只懂PCA了！用Python手写LDA，实战鸢尾花数据集降维与分类（附完整代码）
发布时间：2026/5/24 8:18:22
线性判别分析实战从数学原理到鸢尾花分类的Python实现在数据科学领域降维技术是处理高维数据的必备工具。提到降维大多数人首先想到的是主成分分析(PCA)但今天我们要探讨一个在分类任务中表现更出色的方法——线性判别分析(LDA)。与PCA不同LDA是一种有监督的降维方法它不仅能降低数据维度还能最大化类别之间的区分度。1. LDA与PCA的核心差异**LDA线性判别分析和PCA主成分分析**都是线性降维技术但它们的优化目标截然不同PCA寻找的是数据方差最大的方向保留最多信息LDA寻找的是能最好区分不同类别的方向最大化分类效果让我们用一个简单的对比表格来说明两者的关键区别特性PCALDA监督性无监督有监督优化目标最大化方差最大化类间方差/类内方差适用场景探索性数据分析、特征提取分类任务前的降维保留信息类型全局结构判别信息类别标签使用不使用必须使用在实际应用中当我们的目标是分类而非单纯的数据可视化或压缩时LDA通常是更好的选择。它能够利用已知的类别信息找到最能区分不同类别的投影方向。2. LDA的数学原理剖析LDA的核心思想可以概括为投影后类内方差最小类间方差最大。要实现这一目标我们需要理解几个关键概念2.1 类内散度矩阵(Sw)类内散度矩阵衡量的是同一类别内样本的离散程度计算公式为# 计算类内散度矩阵的Python实现 def within_class_scatter(X1, X2): # X1和X2分别代表两个类别的样本 center1 np.mean(X1, axis0) center2 np.mean(X2, axis0) cov1 np.dot((X1 - center1).T, (X1 - center1)) cov2 np.dot((X2 - center2).T, (X2 - center2)) Sw cov1 cov2 return Sw2.2 类间散度矩阵(Sb)类间散度矩阵衡量的是不同类别之间的分离程度# 计算类间散度矩阵 def between_class_scatter(center1, center2, n1, n2): mean_diff (center1 - center2).reshape(-1, 1) Sb np.dot(mean_diff, mean_diff.T) return Sb2.3 求解投影方向LDA的目标是找到一个投影方向w使得类间散度与类内散度的比值最大化$$ J(w) \frac{w^T S_b w}{w^T S_w w} $$这个优化问题的解对应于求解广义特征值问题$$ S_w^{-1} S_b w \lambda w $$在Python中我们可以这样实现def lda(X, y): # 划分不同类别样本 classes np.unique(y) X1 X[y classes[0]] X2 X[y classes[1]] # 计算类内散度矩阵 Sw within_class_scatter(X1, X2) # 计算类间散度矩阵 center1 np.mean(X1, axis0) center2 np.mean(X2, axis0) Sb between_class_scatter(center1, center2, len(X1), len(X2)) # 求解广义特征值问题 eigenvalues, eigenvectors np.linalg.eig(np.linalg.inv(Sw).dot(Sb)) # 选择最大特征值对应的特征向量 w eigenvectors[:, np.argmax(eigenvalues)] # 投影数据 X_lda X.dot(w) return X_lda, w注意在实际应用中当类内散度矩阵Sw接近奇异时可能需要添加一个小的正则化项来保证数值稳定性。3. 鸢尾花数据集上的LDA实战现在让我们将理论应用于实践使用经典的鸢尾花数据集来演示LDA的效果。这个数据集包含三种鸢尾花Setosa、Versicolour和Virginica的四个特征萼片长度、萼片宽度、花瓣长度和花瓣宽度。3.1 数据准备与可视化首先我们加载数据并进行初步分析import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris # 加载鸢尾花数据集 iris load_iris() X iris.data y iris.target feature_names iris.feature_names target_names iris.target_names # 可视化原始特征 plt.figure(figsize(12, 6)) for i in range(4): plt.subplot(2, 2, i1) for c in range(3): plt.hist(X[y c, i], alpha0.5, labeltarget_names[c]) plt.xlabel(feature_names[i]) plt.legend() plt.tight_layout() plt.show()从特征直方图中我们可以看到有些特征如花瓣长度和宽度已经能够较好地分离Setosa类别但对Versicolour和Virginica的区分效果有限。3.2 实现多类LDA标准的LDA通常针对二分类问题但我们可以将其扩展到多类情况。对于C个类别LDA可以找到最多C-1个判别方向。def multiclass_lda(X, y): # 总体均值 mean_total np.mean(X, axis0) # 计算类内散度矩阵Sw Sw np.zeros((X.shape[1], X.shape[1])) for c in np.unique(y): Xc X[y c] mean_c np.mean(Xc, axis0) Sw np.dot((Xc - mean_c).T, (Xc - mean_c)) # 计算类间散度矩阵Sb Sb np.zeros((X.shape[1], X.shape[1])) for c in np.unique(y): Xc X[y c] mean_c np.mean(Xc, axis0) n_c Xc.shape[0] Sb n_c * np.dot((mean_c - mean_total).reshape(-1, 1), (mean_c - mean_total).reshape(1, -1)) # 求解广义特征值问题 eigenvalues, eigenvectors np.linalg.eig(np.linalg.inv(Sw).dot(Sb)) # 选择前C-1个最大特征值对应的特征向量 idx np.argsort(eigenvalues)[::-1] W eigenvectors[:, idx[:len(np.unique(y))-1]] # 投影数据 X_lda X.dot(W) return X_lda, W3.3 应用LDA并可视化结果现在我们将LDA应用于鸢尾花数据集# 应用多类LDA X_lda, W multiclass_lda(X, y) # 可视化LDA结果 plt.figure(figsize(8, 6)) for c in range(3): plt.scatter(X_lda[y c, 0], X_lda[y c, 1], alpha0.7, labeltarget_names[c]) plt.xlabel(LDA Component 1) plt.ylabel(LDA Component 2) plt.title(LDA Projection of Iris Dataset) plt.legend() plt.show()从可视化结果可以看到经过LDA降维后三个类别在二维空间中得到了很好的分离特别是Setosa与其他两个类别完全分开Versicolour和Virginica也有明显的分离趋势。4. LDA在分类任务中的实际应用理解了LDA的原理并实现了基础版本后让我们看看如何在实际分类任务中使用它。4.1 结合机器学习分类器LDA降维后的数据可以作为其他分类器的输入from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 在训练集上拟合LDA X_train_lda, W multiclass_lda(X_train, y_train) # 训练分类器 clf LogisticRegression() clf.fit(X_train_lda, y_train) # 在测试集上应用LDA和分类 X_test_lda X_test.dot(W) y_pred clf.predict(X_test_lda) # 评估性能 accuracy accuracy_score(y_test, y_pred) print(fClassification accuracy: {accuracy:.2f})4.2 与PCA的性能对比为了展示LDA在分类任务中的优势我们将其与PCA进行对比from sklearn.decomposition import PCA # PCA降维 pca PCA(n_components2) X_train_pca pca.fit_transform(X_train) X_test_pca pca.transform(X_test) # 在PCA特征上训练分类器 clf_pca LogisticRegression() clf_pca.fit(X_train_pca, y_train) y_pred_pca clf_pca.predict(X_test_pca) accuracy_pca accuracy_score(y_test, y_pred_pca) print(fPCA LogisticRegression accuracy: {accuracy_pca:.2f}) print(fLDA LogisticRegression accuracy: {accuracy:.2f})在大多数情况下LDA结合简单分类器的性能会优于PCA特别是在类别可分性较强的数据集上。这是因为LDA在降维过程中已经考虑了类别信息而PCA只关注数据方差。4.3 参数调优与注意事项在实际应用中使用LDA时需要注意以下几点正则化当类内散度矩阵接近奇异时可以添加一个小的正则化项Sw np.eye(Sw.shape[0]) * 1e-4特征缩放虽然LDA不受特征尺度影响因为是线性变换但在可视化时统一尺度可能更有帮助。类别平衡LDA假设所有类别的分布形状相似在类别不平衡时可能需要调整。维度限制对于C个类别LDA最多能产生C-1个判别特征。非线性扩展对于非线性可分数据可以考虑核LDA等扩展方法。5. 高级话题与扩展应用掌握了LDA的基础后我们可以探讨一些更高级的应用场景和变体。5.1 增量LDA处理大数据对于大规模数据集我们可以使用增量方式计算散度矩阵def incremental_lda(X_batches, y_batches): # 初始化统计量 n_features X_batches[0].shape[1] Sw np.zeros((n_features, n_features)) Sb np.zeros((n_features, n_features)) mean_total np.zeros(n_features) n_total 0 # 第一遍计算总体均值 for X, y in zip(X_batches, y_batches): n_total len(X) mean_total np.sum(X, axis0) mean_total / n_total # 第二遍计算Sw和Sb class_stats {} for X, y in zip(X_batches, y_batches): unique_y np.unique(y) for c in unique_y: Xc X[y c] n_c len(Xc) mean_c np.mean(Xc, axis0) # 更新类内散度 Sw np.dot((Xc - mean_c).T, (Xc - mean_c)) # 更新类间散度 if c not in class_stats: class_stats[c] {n: 0, mean: np.zeros(n_features)} class_stats[c][n] n_c class_stats[c][mean] np.sum(Xc, axis0) for c in class_stats: mean_c class_stats[c][mean] / class_stats[c][n] Sb class_stats[c][n] * np.dot((mean_c - mean_total).reshape(-1, 1), (mean_c - mean_total).reshape(1, -1)) # 求解投影方向 eigenvalues, eigenvectors np.linalg.eig(np.linalg.inv(Sw).dot(Sb)) idx np.argsort(eigenvalues)[::-1] W eigenvectors[:, idx[:len(class_stats)-1]] return W5.2 核LDA处理非线性数据对于非线性可分数据我们可以使用核技巧将LDA扩展到非线性情况from sklearn.metrics.pairwise import rbf_kernel class KernelLDA: def __init__(self, kernelrbf, gamma1.0, n_componentsNone): self.kernel kernel self.gamma gamma self.n_components n_components def fit(self, X, y): n_samples X.shape[0] classes np.unique(y) n_classes len(classes) # 计算核矩阵 K rbf_kernel(X, gammaself.gamma) # 计算类间核矩阵 Kb np.zeros_like(K) overall_mean np.mean(K, axis0) for c in classes: idx y c Kc K[idx] mean_kc np.mean(Kc, axis0) Kb len(Kc) * np.outer(mean_kc - overall_mean, mean_kc - overall_mean) # 计算类内核矩阵 Kw np.zeros_like(K) for c in classes: idx y c Kc K[idx] mean_kc np.mean(Kc, axis0) Kw Kc.T.dot(Kc) - len(Kc) * np.outer(mean_kc, mean_kc) # 求解广义特征值问题 eigenvalues, eigenvectors np.linalg.eig(np.linalg.pinv(Kw).dot(Kb)) idx np.argsort(eigenvalues.real)[::-1] self.alphas eigenvectors[:, idx[:self.n_components or (n_classes-1)]].real self.X_train X return self def transform(self, X): K rbf_kernel(X, self.X_train, gammaself.gamma) return K.dot(self.alphas)5.3 LDA在文本分类中的应用LDA不仅适用于数值数据在文本分类中也有广泛应用。结合TF-IDF等文本特征提取方法LDA可以有效地降低文本数据的维度from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.discriminant_analysis import LinearDiscriminantAnalysis # 示例文本数据 texts [this is a positive review, negative experience with this product, highly recommend this item, would not buy again] labels [1, 0, 1, 0] # 1positive, 0negative # 提取TF-IDF特征 vectorizer TfidfVectorizer() X_text vectorizer.fit_transform(texts) # 应用LDA lda LinearDiscriminantAnalysis() X_text_lda lda.fit_transform(X_text.toarray(), labels) # 可视化文本数据的LDA投影 plt.scatter(X_text_lda[:, 0], [0]*len(X_text_lda), clabels) plt.yticks([]) plt.title(LDA Projection of Text Data) plt.show()
