简介这是一份面向机器学习初学者与计算机视觉入门者的支持向量机面部识别实战源码包围绕SVM分类算法在面部图像识别中的应用展开适合希望理解核函数选择、特征提取与模型训练流程的开发者动手实践。压缩包共11个文件以Python源码与编译缓存为主包含多个SVM实现脚本及一份配套说明文档整体约2.69MB目录结构清晰便于按模块阅读与调试。其中源码部分覆盖了不同核函数与优化求解思路的实现文档则可能记录了数据预处理、模型训练与评估的完整思路读者可据此理解从特征到分类器的构建过程并在此基础上调整参数或扩展功能。目前已有375人学习下载适合作为课程设计、毕业项目或算法练手的参考素材。1. 从一份面部识别代码包说起SVM 到底在识别什么很多人第一次拿到「SVM识别面部代码.zip」这类压缩包第一反应是解压、找入口脚本、直接python face.py跑一遍然后盯着终端等结果。但真正卡住人的往往不是代码本身而是搞不清这套东西在做什么它把一张人脸图片变成了什么SVM 在里面承担哪一步为什么有人用soft_svm_gd.py有人用soft_svm_smo.py还有人单独写了个kernel_svm.py。这套代码的核心任务是把人脸图像经过预处理后得到的特征向量送进支持向量机做分类——判断这张脸属于谁或者判断是不是人脸。SVM 在这里不是「识别脸长什么样」而是在高维特征空间里找一条最优分界面把不同类别的特征点尽量分开。它适合样本量不大、特征维度偏高的人脸场景这也是为什么很多教学和中小规模人脸项目至今还在用它。下面我会按「数据怎么进、模型怎么训、核函数怎么选、坑在哪」的顺序把这套代码拆开讲清楚让新手能跑通熟手能看到参数边界。2. 人脸数据怎么喂给 SVM从图像到特征向量的完整链路2.1 为什么不能把原始像素直接丢给 SVM一张 100×100 的灰度人脸图拉直就是 10000 维向量。直接送进 SVM 有两个问题一是维度太高训练慢且容易过拟合二是原始像素对光照、表情、轻微位移极其敏感同一个人稍微侧脸像素级距离就变得很远。常见做法是先做降维或特征提取把 10000 维压到几十到几百维再交给 SVM。在这类代码包里face.py通常承担数据加载和预处理入口。它可能做的事包括读入人脸图片、统一尺寸、灰度化、直方图均衡化然后用 PCA 降维或者直接展平。你需要先确认它输出的是什么形状的矩阵因为后面 SVM 的输入维度必须和它对齐。# face.py 中典型的数据预处理片段 import cv2 import numpy as np from sklearn.decomposition import PCA def load_faces(image_paths, labels, img_size(100, 100), n_components50): X [] y [] for path, label in zip(image_paths, labels): img cv2.imread(path, cv2.IMREAD_GRAYSCALE) # 灰度读入减少通道干扰 img cv2.resize(img, img_size) # 统一尺寸否则无法堆叠 img cv2.equalizeHist(img) # 直方图均衡缓解光照差异 X.append(img.flatten()) # 拉平成 10000 维 y.append(label) X np.array(X, dtypenp.float32) / 255.0 # 归一化到 0~1 pca PCA(n_componentsn_components, whitenTrue) # 降到 50 维并白化 X_pca pca.fit_transform(X) return X_pca, np.array(y), pca这段代码的逻辑是先统一尺寸和灰度保证每张图变成同长度向量直方图均衡化是为了削弱光照影响除以 255 是归一化让 SVM 的核函数计算不被大数值主导PCA 白化则让各维度方差接近避免某些主成分过度影响距离度量。n_components是你要调的第一个参数太小会丢信息太大会保留噪声通常从 30 到 100 之间试。2.2 训练集、测试集怎么切标签怎么对齐人脸数据最常见的翻车点不是模型而是标签和文件对不上。比如文件夹名是person_01但标签映射表里写成了1而另一个人也映射到1SVM 学出来就是乱的。我一般会先打印类别分布确认每个类至少有 5 到 10 张图然后按类别分层切分。from sklearn.model_selection import train_test_split # X_pca 是上一步的输出y 是整数标签 X_train, X_test, y_train, y_test train_test_split( X_pca, y, test_size0.25, # 留出 25% 做测试 stratifyy, # 按类别比例切避免某类全进训练集 random_state42 ) print(训练集类别分布:, np.bincount(y_train)) print(测试集类别分布:, np.bincount(y_test))stratifyy是关键人脸数据往往每类样本不多随机切分可能导致某个类在测试集里一张都没有准确率就没意义了。random_state固定后你每次跑的结果可复现调参时才能判断是参数变了还是数据切分变了。2.3 特征归一化和核函数选择的先后关系很多人把归一化放在 PCA 之后其实顺序会影响结果。常见做法是先归一化像素再 PCA然后对 PCA 输出再做一次标准化。因为 PCA 白化后各维度方差接近但均值不一定为零SVM 对特征尺度仍然敏感。如果你用 RBF 核特征尺度直接决定样本间的距离进而决定分界面形状。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train scaler.fit_transform(X_train) # 只在训练集上 fit防止数据泄漏 X_test scaler.transform(X_test) # 测试集用同样的均值方差注意fit只能用在训练集上如果先对全量数据做标准化再切分测试集的统计量就泄漏进了训练过程准确率会虚高。这个坑在face.py里如果没写清楚你需要自己检查。3. soft_svm_gd.py 与 soft_svm_smo.py两种软间隔求解路径怎么选3.1 软间隔 SVM 的原始问题和对偶问题现实人脸数据几乎不可能线性完全分开所以要用软间隔允许一些样本落在间隔内甚至分错但用惩罚系数 C 控制容忍度。原始问题是最小化0.5 * ||w||^2 C * sum(ξ_i)约束是y_i(w·x_i b) 1 - ξ_i。直接解这个带约束的优化比较麻烦通常转成对偶问题用核函数处理非线性。soft_svm_gd.py和soft_svm_smo.py的区别就在求解方式前者用梯度下降直接优化合页损失加 L2 正则后者用 SMO 算法逐对更新拉格朗日乘子。两者数学上等价但数值行为和适用场景不同。3.2 梯度下降版适合理解原理但学习率敏感梯度下降版把 SVM 写成无约束的损失函数L λ * ||w||^2 (1/n) * sum(max(0, 1 - y_i * (w·x_i b)))。然后用批量或随机梯度下降更新 w 和 b。它的好处是代码短、容易加正则、容易改成在线学习坏处是对学习率和 λ 很敏感人脸特征维度高时收敛慢。# soft_svm_gd.py 核心训练循环 import numpy as np def train_svm_gd(X, y, lr0.001, lam0.01, epochs200): n, d X.shape w np.zeros(d) b 0.0 for epoch in range(epochs): for i in range(n): margin y[i] * (np.dot(w, X[i]) b) if margin 1: # 合页损失非零更新 w 和 b w w - lr * (2 * lam * w - y[i] * X[i]) b b lr * y[i] else: # 间隔足够只做正则衰减 w w - lr * 2 * lam * w if epoch % 50 0: loss 0.5 * lam * np.dot(w, w) for i in range(n): loss max(0, 1 - y[i] * (np.dot(w, X[i]) b)) print(fepoch {epoch}, loss {loss:.4f}) return w, blr一般从 0.001 到 0.01 试太大直接发散太小跑不完。lam是正则强度越大越偏向简单模型人脸数据上通常取 0.001 到 0.1。epochs要看损失曲线如果还在降就继续加。这个版本适合你只有几百张图、想快速验证特征是否可分的情况。3.3 SMO 版收敛快但实现细节多SMO 每次选两个乘子 α_i 和 α_j固定其他乘子对这两个做解析解更新。它不需要调学习率收敛判定靠 KKT 条件的违反程度。soft_svm_smo.py通常比梯度下降版快尤其样本量到几千时。但它的坑在于工作集选择策略、乘子裁剪边界、核缓存任何一处写错都会导致不收敛或结果偏差。# soft_svm_smo.py 中单次乘子更新的简化逻辑 def take_step(i1, i2, X, y, alphas, b, C, tol, kernel): if i1 i2: return 0 alpha1, alpha2 alphas[i1], alphas[i2] y1, y2 y[i1], y[i2] E1 predict(X[i1], X, y, alphas, b, kernel) - y1 E2 predict(X[i2], X, y, alphas, b, kernel) - y2 s y1 * y2 if y1 ! y2: L max(0, alpha2 - alpha1) H min(C, C alpha2 - alpha1) else: L max(0, alpha1 alpha2 - C) H min(C, alpha1 alpha2) if L H: return 0 eta 2 * kernel(X[i1], X[i2]) - kernel(X[i1], X[i1]) - kernel(X[i2], X[i2]) if eta 0: return 0 alpha2_new alpha2 - y2 * (E1 - E2) / eta alpha2_new min(H, max(L, alpha2_new)) # 裁剪到 [L, H] if abs(alpha2_new - alpha2) 1e-5: return 0 alpha1_new alpha1 s * (alpha2 - alpha2_new) # 更新 b 的阈值计算略需根据 KKT 条件分情况 alphas[i1], alphas[i2] alpha1_new, alpha2_new return 1C是惩罚系数人脸识别里常用 1 到 100。tol是 KKT 容忍度一般 1e-3。核函数kernel决定非线性程度。SMO 版适合你已经有调好的核函数、想快速训练最终模型的情况。如果你只是教学演示梯度下降版更容易讲清楚每一步在做什么。3.4 两个版本的结果怎么对比不要只看训练准确率。我一般会固定同一份 PCA 特征分别跑两个脚本记录训练时间、支持向量数量、测试集准确率。支持向量数量能反映模型复杂度太多说明 C 太大或核参数太宽太少可能欠拟合。对比项soft_svm_gd.pysoft_svm_smo.py需要调学习率是否收敛速度慢依赖 epoch快依赖工作集选择实现复杂度低高适合样本量几百到几千几千到几万结果可复现性高固定随机种子中依赖迭代顺序4. kernel_svm.py核函数选型与参数边界4.1 线性核、多项式核、RBF 核在人脸特征上的表现差异kernel_svm.py通常把核函数抽出来单独实现方便切换。人脸 PCA 特征如果已经线性可分线性核就够训练快且不容易过拟合。但很多人脸数据在 PCA 后仍然非线性这时 RBF 核是默认选择它把样本映射到无限维能拟合复杂边界。多项式核介于两者之间但次数 d 和常数项 coef0 不好调实际项目里用得少。# kernel_svm.py 中三种核的实现 import numpy as np def linear_kernel(X, Y): return np.dot(X, Y.T) def poly_kernel(X, Y, degree3, coef01): return (np.dot(X, Y.T) coef0) ** degree def rbf_kernel(X, Y, gamma0.01): # 利用 ||x-y||^2 ||x||^2 ||y||^2 - 2 x·y X_norm np.sum(X ** 2, axis1).reshape(-1, 1) Y_norm np.sum(Y ** 2, axis1).reshape(1, -1) dist_sq X_norm Y_norm - 2 * np.dot(X, Y.T) return np.exp(-gamma * dist_sq)gamma是 RBF 核最关键参数。太小每个样本影响范围过大模型接近线性欠拟合太大影响范围只覆盖自己过拟合。常见起点是1 / n_features然后按 2 的倍数上下试。degree在多项式核里超过 5 后数值不稳定不建议深调。4.2 用网格搜索确定 C 和 gamma 的实操步骤不要手调。写个两层循环固定随机种子记录每组 (C, gamma) 的交叉验证准确率。人脸数据每类样本少用 5 折分层交叉验证比较稳。from sklearn.model_selection import StratifiedKFold from sklearn.svm import SVC import numpy as np C_list [0.1, 1, 10, 100] gamma_list [0.001, 0.01, 0.1, 1] best_score 0 best_params None skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) for C in C_list: for gamma in gamma_list: scores [] for train_idx, val_idx in skf.split(X_train, y_train): clf SVC(CC, gammagamma, kernelrbf) clf.fit(X_train[train_idx], y_train[train_idx]) scores.append(clf.score(X_train[val_idx], y_train[val_idx])) mean_score np.mean(scores) if mean_score best_score: best_score mean_score best_params (C, gamma) print(fC{C}, gamma{gamma}, cv_acc{mean_score:.4f}) print(最佳参数:, best_params, 最佳交叉验证准确率:, best_score)这段代码的逻辑是对每组参数在训练集内部再做 5 折用验证折的准确率均值衡量泛化能力。StratifiedKFold保证每折类别比例一致。最后用最佳参数在全部训练集上重训再测测试集。注意X_train和y_train必须是前面 PCA 和标准化之后的不能混入测试集数据。4.3 核矩阵缓存与内存控制kernel_svm.py如果每次迭代都重新算核矩阵样本量上千后会很慢。常见优化是预计算核矩阵并缓存但核矩阵大小是 n×nn5000 时就是 25M 个浮点数约 200MB。如果内存吃紧可以只缓存部分列或使用分块计算。# 预计算核矩阵并缓存 def precompute_kernel(X, kernel_func, **kwargs): n X.shape[0] K np.zeros((n, n)) for i in range(n): K[i, :] kernel_func(X[i:i1], X, **kwargs) return K预计算后SMO 里每次取K[i, j]就是 O(1)。但要注意如果gamma变了核矩阵必须重算。我一般把核矩阵和参数一起存避免混用。5. 避坑与排查人脸 SVM 训练中最容易翻车的 5 个点5.1 准确率虚高到 99%测试时却乱猜现象训练集交叉验证准确率接近 100%但拿新图片预测全错。原因标准化或 PCA 在全量数据上 fit测试集信息泄漏进训练或者数据切分时同一个人的人脸同时出现在训练和测试集。解决所有预处理只在训练集 fit测试集 transform按人划分训练测试同一个人不能跨集。5.2 训练损失不降或者直接变成 nan现象soft_svm_gd.py跑几轮后 loss 变 nan。原因学习率太大或者特征没归一化梯度爆炸。解决先把lr降到 1e-4检查输入是否在 0~1 或标准化到均值 0 方差 1如果还不行加梯度裁剪。5.3 SMO 不收敛迭代几千次还在震荡现象soft_svm_smo.py的 KKT 违反量不下降。原因乘子裁剪边界写错或者tol设得太小或者核矩阵不是半正定。解决检查L和H的计算是否用了正确的y1 ! y2分支tol从 1e-3 开始不要一上来就 1e-6确认核函数返回对称矩阵。5.4 换个人脸数据集准确率从 95% 掉到 60%现象在 ORL 上跑得很好换到自己的手机自拍数据就崩。原因光照、角度、分辨率分布完全不同PCA 主成分不匹配。解决重新在新数据上 fit PCA 和标准化增加直方图均衡化如果数据够用数据增强扩充每类样本。5.5 预测时输入维度对不上报错 shape mismatch现象训练完保存模型加载后预测单张图报维度错误。原因训练时用了 PCA 降维预测时忘了对新图做同样的 PCA transform或者图像尺寸没统一。解决把 PCA、标准化、SVM 打包成一个 pipeline预测时走同一条链路。6. 把 SVM 人脸识别推到可用的几个进阶习惯如果你已经跑通了face.py、soft_svm_gd.py、soft_svm_smo.py和kernel_svm.py下一步不是继续调参而是建立一套可复现的验证流程。我自己的习惯是每次实验固定三样东西——数据切分种子、PCA 维数、核函数类型只动一个变量记录测试集准确率和支持向量数量。这样你才能判断是 C 起了作用还是 gamma 起了作用而不是靠玄学。一个具体技巧是把 SVM 的输出概率校准一下。标准 SVC 的predict_proba在样本少时不可靠可以用CalibratedClassifierCV包一层做人脸验证时阈值更稳。from sklearn.calibration import CalibratedClassifierCV from sklearn.svm import SVC base_svm SVC(C10, gamma0.01, kernelrbf) calibrated_svm CalibratedClassifierCV(base_svm, methodsigmoid, cv3) calibrated_svm.fit(X_train, y_train) proba calibrated_svm.predict_proba(X_test)methodsigmoid适合样本量中等的情况cv3表示内部用 3 折做校准。校准后你可以设一个阈值比如概率大于 0.7 才认否则拒识。这在人脸门禁场景比硬分类实用得多。另一个习惯是保存中间结果PCA 的均值、主成分矩阵、标准化的均值和方差、SVM 的支持向量和乘子。下次换数据时你能快速判断是特征变了还是模型变了。我吃过亏有一次换了批图片准确率掉得厉害查了半天才发现是 PCA 的n_components没跟着数据量调整白折腾一晚上。最后别把 SVM 当黑匣子。打印支持向量的数量看看哪些样本被选为支持向量往往能发现标注错误的图片。人脸数据里混进几张非人脸或者标错人的图SVM 会老老实实把它们当成难分样本拖累整个边界。定期清洗支持向量对应的原图比调参管用。希望帮到你。本文还有配套的精品资源点击获取 SVM人脸识别实战：从特征提取到核函数调优的完整指南
简介这是一份面向机器学习初学者与计算机视觉入门者的支持向量机面部识别实战源码包围绕SVM分类算法在面部图像识别中的应用展开适合希望理解核函数选择、特征提取与模型训练流程的开发者动手实践。压缩包共11个文件以Python源码与编译缓存为主包含多个SVM实现脚本及一份配套说明文档整体约2.69MB目录结构清晰便于按模块阅读与调试。其中源码部分覆盖了不同核函数与优化求解思路的实现文档则可能记录了数据预处理、模型训练与评估的完整思路读者可据此理解从特征到分类器的构建过程并在此基础上调整参数或扩展功能。目前已有375人学习下载适合作为课程设计、毕业项目或算法练手的参考素材。1. 从一份面部识别代码包说起SVM 到底在识别什么很多人第一次拿到「SVM识别面部代码.zip」这类压缩包第一反应是解压、找入口脚本、直接python face.py跑一遍然后盯着终端等结果。但真正卡住人的往往不是代码本身而是搞不清这套东西在做什么它把一张人脸图片变成了什么SVM 在里面承担哪一步为什么有人用soft_svm_gd.py有人用soft_svm_smo.py还有人单独写了个kernel_svm.py。这套代码的核心任务是把人脸图像经过预处理后得到的特征向量送进支持向量机做分类——判断这张脸属于谁或者判断是不是人脸。SVM 在这里不是「识别脸长什么样」而是在高维特征空间里找一条最优分界面把不同类别的特征点尽量分开。它适合样本量不大、特征维度偏高的人脸场景这也是为什么很多教学和中小规模人脸项目至今还在用它。下面我会按「数据怎么进、模型怎么训、核函数怎么选、坑在哪」的顺序把这套代码拆开讲清楚让新手能跑通熟手能看到参数边界。2. 人脸数据怎么喂给 SVM从图像到特征向量的完整链路2.1 为什么不能把原始像素直接丢给 SVM一张 100×100 的灰度人脸图拉直就是 10000 维向量。直接送进 SVM 有两个问题一是维度太高训练慢且容易过拟合二是原始像素对光照、表情、轻微位移极其敏感同一个人稍微侧脸像素级距离就变得很远。常见做法是先做降维或特征提取把 10000 维压到几十到几百维再交给 SVM。在这类代码包里face.py通常承担数据加载和预处理入口。它可能做的事包括读入人脸图片、统一尺寸、灰度化、直方图均衡化然后用 PCA 降维或者直接展平。你需要先确认它输出的是什么形状的矩阵因为后面 SVM 的输入维度必须和它对齐。# face.py 中典型的数据预处理片段 import cv2 import numpy as np from sklearn.decomposition import PCA def load_faces(image_paths, labels, img_size(100, 100), n_components50): X [] y [] for path, label in zip(image_paths, labels): img cv2.imread(path, cv2.IMREAD_GRAYSCALE) # 灰度读入减少通道干扰 img cv2.resize(img, img_size) # 统一尺寸否则无法堆叠 img cv2.equalizeHist(img) # 直方图均衡缓解光照差异 X.append(img.flatten()) # 拉平成 10000 维 y.append(label) X np.array(X, dtypenp.float32) / 255.0 # 归一化到 0~1 pca PCA(n_componentsn_components, whitenTrue) # 降到 50 维并白化 X_pca pca.fit_transform(X) return X_pca, np.array(y), pca这段代码的逻辑是先统一尺寸和灰度保证每张图变成同长度向量直方图均衡化是为了削弱光照影响除以 255 是归一化让 SVM 的核函数计算不被大数值主导PCA 白化则让各维度方差接近避免某些主成分过度影响距离度量。n_components是你要调的第一个参数太小会丢信息太大会保留噪声通常从 30 到 100 之间试。2.2 训练集、测试集怎么切标签怎么对齐人脸数据最常见的翻车点不是模型而是标签和文件对不上。比如文件夹名是person_01但标签映射表里写成了1而另一个人也映射到1SVM 学出来就是乱的。我一般会先打印类别分布确认每个类至少有 5 到 10 张图然后按类别分层切分。from sklearn.model_selection import train_test_split # X_pca 是上一步的输出y 是整数标签 X_train, X_test, y_train, y_test train_test_split( X_pca, y, test_size0.25, # 留出 25% 做测试 stratifyy, # 按类别比例切避免某类全进训练集 random_state42 ) print(训练集类别分布:, np.bincount(y_train)) print(测试集类别分布:, np.bincount(y_test))stratifyy是关键人脸数据往往每类样本不多随机切分可能导致某个类在测试集里一张都没有准确率就没意义了。random_state固定后你每次跑的结果可复现调参时才能判断是参数变了还是数据切分变了。2.3 特征归一化和核函数选择的先后关系很多人把归一化放在 PCA 之后其实顺序会影响结果。常见做法是先归一化像素再 PCA然后对 PCA 输出再做一次标准化。因为 PCA 白化后各维度方差接近但均值不一定为零SVM 对特征尺度仍然敏感。如果你用 RBF 核特征尺度直接决定样本间的距离进而决定分界面形状。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train scaler.fit_transform(X_train) # 只在训练集上 fit防止数据泄漏 X_test scaler.transform(X_test) # 测试集用同样的均值方差注意fit只能用在训练集上如果先对全量数据做标准化再切分测试集的统计量就泄漏进了训练过程准确率会虚高。这个坑在face.py里如果没写清楚你需要自己检查。3. soft_svm_gd.py 与 soft_svm_smo.py两种软间隔求解路径怎么选3.1 软间隔 SVM 的原始问题和对偶问题现实人脸数据几乎不可能线性完全分开所以要用软间隔允许一些样本落在间隔内甚至分错但用惩罚系数 C 控制容忍度。原始问题是最小化0.5 * ||w||^2 C * sum(ξ_i)约束是y_i(w·x_i b) 1 - ξ_i。直接解这个带约束的优化比较麻烦通常转成对偶问题用核函数处理非线性。soft_svm_gd.py和soft_svm_smo.py的区别就在求解方式前者用梯度下降直接优化合页损失加 L2 正则后者用 SMO 算法逐对更新拉格朗日乘子。两者数学上等价但数值行为和适用场景不同。3.2 梯度下降版适合理解原理但学习率敏感梯度下降版把 SVM 写成无约束的损失函数L λ * ||w||^2 (1/n) * sum(max(0, 1 - y_i * (w·x_i b)))。然后用批量或随机梯度下降更新 w 和 b。它的好处是代码短、容易加正则、容易改成在线学习坏处是对学习率和 λ 很敏感人脸特征维度高时收敛慢。# soft_svm_gd.py 核心训练循环 import numpy as np def train_svm_gd(X, y, lr0.001, lam0.01, epochs200): n, d X.shape w np.zeros(d) b 0.0 for epoch in range(epochs): for i in range(n): margin y[i] * (np.dot(w, X[i]) b) if margin 1: # 合页损失非零更新 w 和 b w w - lr * (2 * lam * w - y[i] * X[i]) b b lr * y[i] else: # 间隔足够只做正则衰减 w w - lr * 2 * lam * w if epoch % 50 0: loss 0.5 * lam * np.dot(w, w) for i in range(n): loss max(0, 1 - y[i] * (np.dot(w, X[i]) b)) print(fepoch {epoch}, loss {loss:.4f}) return w, blr一般从 0.001 到 0.01 试太大直接发散太小跑不完。lam是正则强度越大越偏向简单模型人脸数据上通常取 0.001 到 0.1。epochs要看损失曲线如果还在降就继续加。这个版本适合你只有几百张图、想快速验证特征是否可分的情况。3.3 SMO 版收敛快但实现细节多SMO 每次选两个乘子 α_i 和 α_j固定其他乘子对这两个做解析解更新。它不需要调学习率收敛判定靠 KKT 条件的违反程度。soft_svm_smo.py通常比梯度下降版快尤其样本量到几千时。但它的坑在于工作集选择策略、乘子裁剪边界、核缓存任何一处写错都会导致不收敛或结果偏差。# soft_svm_smo.py 中单次乘子更新的简化逻辑 def take_step(i1, i2, X, y, alphas, b, C, tol, kernel): if i1 i2: return 0 alpha1, alpha2 alphas[i1], alphas[i2] y1, y2 y[i1], y[i2] E1 predict(X[i1], X, y, alphas, b, kernel) - y1 E2 predict(X[i2], X, y, alphas, b, kernel) - y2 s y1 * y2 if y1 ! y2: L max(0, alpha2 - alpha1) H min(C, C alpha2 - alpha1) else: L max(0, alpha1 alpha2 - C) H min(C, alpha1 alpha2) if L H: return 0 eta 2 * kernel(X[i1], X[i2]) - kernel(X[i1], X[i1]) - kernel(X[i2], X[i2]) if eta 0: return 0 alpha2_new alpha2 - y2 * (E1 - E2) / eta alpha2_new min(H, max(L, alpha2_new)) # 裁剪到 [L, H] if abs(alpha2_new - alpha2) 1e-5: return 0 alpha1_new alpha1 s * (alpha2 - alpha2_new) # 更新 b 的阈值计算略需根据 KKT 条件分情况 alphas[i1], alphas[i2] alpha1_new, alpha2_new return 1C是惩罚系数人脸识别里常用 1 到 100。tol是 KKT 容忍度一般 1e-3。核函数kernel决定非线性程度。SMO 版适合你已经有调好的核函数、想快速训练最终模型的情况。如果你只是教学演示梯度下降版更容易讲清楚每一步在做什么。3.4 两个版本的结果怎么对比不要只看训练准确率。我一般会固定同一份 PCA 特征分别跑两个脚本记录训练时间、支持向量数量、测试集准确率。支持向量数量能反映模型复杂度太多说明 C 太大或核参数太宽太少可能欠拟合。对比项soft_svm_gd.pysoft_svm_smo.py需要调学习率是否收敛速度慢依赖 epoch快依赖工作集选择实现复杂度低高适合样本量几百到几千几千到几万结果可复现性高固定随机种子中依赖迭代顺序4. kernel_svm.py核函数选型与参数边界4.1 线性核、多项式核、RBF 核在人脸特征上的表现差异kernel_svm.py通常把核函数抽出来单独实现方便切换。人脸 PCA 特征如果已经线性可分线性核就够训练快且不容易过拟合。但很多人脸数据在 PCA 后仍然非线性这时 RBF 核是默认选择它把样本映射到无限维能拟合复杂边界。多项式核介于两者之间但次数 d 和常数项 coef0 不好调实际项目里用得少。# kernel_svm.py 中三种核的实现 import numpy as np def linear_kernel(X, Y): return np.dot(X, Y.T) def poly_kernel(X, Y, degree3, coef01): return (np.dot(X, Y.T) coef0) ** degree def rbf_kernel(X, Y, gamma0.01): # 利用 ||x-y||^2 ||x||^2 ||y||^2 - 2 x·y X_norm np.sum(X ** 2, axis1).reshape(-1, 1) Y_norm np.sum(Y ** 2, axis1).reshape(1, -1) dist_sq X_norm Y_norm - 2 * np.dot(X, Y.T) return np.exp(-gamma * dist_sq)gamma是 RBF 核最关键参数。太小每个样本影响范围过大模型接近线性欠拟合太大影响范围只覆盖自己过拟合。常见起点是1 / n_features然后按 2 的倍数上下试。degree在多项式核里超过 5 后数值不稳定不建议深调。4.2 用网格搜索确定 C 和 gamma 的实操步骤不要手调。写个两层循环固定随机种子记录每组 (C, gamma) 的交叉验证准确率。人脸数据每类样本少用 5 折分层交叉验证比较稳。from sklearn.model_selection import StratifiedKFold from sklearn.svm import SVC import numpy as np C_list [0.1, 1, 10, 100] gamma_list [0.001, 0.01, 0.1, 1] best_score 0 best_params None skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) for C in C_list: for gamma in gamma_list: scores [] for train_idx, val_idx in skf.split(X_train, y_train): clf SVC(CC, gammagamma, kernelrbf) clf.fit(X_train[train_idx], y_train[train_idx]) scores.append(clf.score(X_train[val_idx], y_train[val_idx])) mean_score np.mean(scores) if mean_score best_score: best_score mean_score best_params (C, gamma) print(fC{C}, gamma{gamma}, cv_acc{mean_score:.4f}) print(最佳参数:, best_params, 最佳交叉验证准确率:, best_score)这段代码的逻辑是对每组参数在训练集内部再做 5 折用验证折的准确率均值衡量泛化能力。StratifiedKFold保证每折类别比例一致。最后用最佳参数在全部训练集上重训再测测试集。注意X_train和y_train必须是前面 PCA 和标准化之后的不能混入测试集数据。4.3 核矩阵缓存与内存控制kernel_svm.py如果每次迭代都重新算核矩阵样本量上千后会很慢。常见优化是预计算核矩阵并缓存但核矩阵大小是 n×nn5000 时就是 25M 个浮点数约 200MB。如果内存吃紧可以只缓存部分列或使用分块计算。# 预计算核矩阵并缓存 def precompute_kernel(X, kernel_func, **kwargs): n X.shape[0] K np.zeros((n, n)) for i in range(n): K[i, :] kernel_func(X[i:i1], X, **kwargs) return K预计算后SMO 里每次取K[i, j]就是 O(1)。但要注意如果gamma变了核矩阵必须重算。我一般把核矩阵和参数一起存避免混用。5. 避坑与排查人脸 SVM 训练中最容易翻车的 5 个点5.1 准确率虚高到 99%测试时却乱猜现象训练集交叉验证准确率接近 100%但拿新图片预测全错。原因标准化或 PCA 在全量数据上 fit测试集信息泄漏进训练或者数据切分时同一个人的人脸同时出现在训练和测试集。解决所有预处理只在训练集 fit测试集 transform按人划分训练测试同一个人不能跨集。5.2 训练损失不降或者直接变成 nan现象soft_svm_gd.py跑几轮后 loss 变 nan。原因学习率太大或者特征没归一化梯度爆炸。解决先把lr降到 1e-4检查输入是否在 0~1 或标准化到均值 0 方差 1如果还不行加梯度裁剪。5.3 SMO 不收敛迭代几千次还在震荡现象soft_svm_smo.py的 KKT 违反量不下降。原因乘子裁剪边界写错或者tol设得太小或者核矩阵不是半正定。解决检查L和H的计算是否用了正确的y1 ! y2分支tol从 1e-3 开始不要一上来就 1e-6确认核函数返回对称矩阵。5.4 换个人脸数据集准确率从 95% 掉到 60%现象在 ORL 上跑得很好换到自己的手机自拍数据就崩。原因光照、角度、分辨率分布完全不同PCA 主成分不匹配。解决重新在新数据上 fit PCA 和标准化增加直方图均衡化如果数据够用数据增强扩充每类样本。5.5 预测时输入维度对不上报错 shape mismatch现象训练完保存模型加载后预测单张图报维度错误。原因训练时用了 PCA 降维预测时忘了对新图做同样的 PCA transform或者图像尺寸没统一。解决把 PCA、标准化、SVM 打包成一个 pipeline预测时走同一条链路。6. 把 SVM 人脸识别推到可用的几个进阶习惯如果你已经跑通了face.py、soft_svm_gd.py、soft_svm_smo.py和kernel_svm.py下一步不是继续调参而是建立一套可复现的验证流程。我自己的习惯是每次实验固定三样东西——数据切分种子、PCA 维数、核函数类型只动一个变量记录测试集准确率和支持向量数量。这样你才能判断是 C 起了作用还是 gamma 起了作用而不是靠玄学。一个具体技巧是把 SVM 的输出概率校准一下。标准 SVC 的predict_proba在样本少时不可靠可以用CalibratedClassifierCV包一层做人脸验证时阈值更稳。from sklearn.calibration import CalibratedClassifierCV from sklearn.svm import SVC base_svm SVC(C10, gamma0.01, kernelrbf) calibrated_svm CalibratedClassifierCV(base_svm, methodsigmoid, cv3) calibrated_svm.fit(X_train, y_train) proba calibrated_svm.predict_proba(X_test)methodsigmoid适合样本量中等的情况cv3表示内部用 3 折做校准。校准后你可以设一个阈值比如概率大于 0.7 才认否则拒识。这在人脸门禁场景比硬分类实用得多。另一个习惯是保存中间结果PCA 的均值、主成分矩阵、标准化的均值和方差、SVM 的支持向量和乘子。下次换数据时你能快速判断是特征变了还是模型变了。我吃过亏有一次换了批图片准确率掉得厉害查了半天才发现是 PCA 的n_components没跟着数据量调整白折腾一晚上。最后别把 SVM 当黑匣子。打印支持向量的数量看看哪些样本被选为支持向量往往能发现标注错误的图片。人脸数据里混进几张非人脸或者标错人的图SVM 会老老实实把它们当成难分样本拖累整个边界。定期清洗支持向量对应的原图比调参管用。希望帮到你。本文还有配套的精品资源点击获取