1. 项目概述从数据“一团乱麻”到“物以类聚”如果你手头有一堆数据比如客户的消费记录、文章的关键词、图片的像素特征它们看起来杂乱无章你该如何从中发现规律把相似的东西归到一起这就是聚类算法要解决的问题。而K-Means无疑是聚类家族中最著名、最常用也往往是新手入门的第一个算法。它就像一个高效的“数据分拣员”目标很简单把一堆数据点按照它们彼此之间的“距离”远近分成K个组让组内的点尽可能相似组间的点尽可能不同。我第一次接触K-Means是在处理用户画像项目时面对数百万条用户行为数据手动分类是天方夜谭。K-Means以其原理直观、实现简单、效率较高的特点成为了我的首选工具。它不关心数据原本的标签无监督学习只根据数据自身的特征进行“物以类聚”这种从无到有发现结构的能力在客户细分、图像分割、异常检测等场景下极具价值。今天我就结合多年的实战经验从核心原理、手撕代码到避坑指南带你彻底搞懂K-Means并附上可直接运行的Python代码让你不仅能理解更能用起来。2. K-Means核心原理与算法流程拆解K-Means的核心思想可以类比为“选举中心点划分势力范围”。想象你要在一个城市开K家便利店目标是让每个居民都能离其中一家店最近。你会怎么做一个自然的策略是先随机选K个地点作为便利店初始中心点然后告诉每个居民去离他最近的那家店分配数据点到最近的中心。接着你会发现这些居民点的分布可能不均匀于是你把每家店搬迁到所有属于它的居民点的中心位置更新中心点。居民们发现店搬了可能会重新选择更近的店重新分配点。这个过程不断重复直到便利店的位置不再发生大的变动或者居民的归属稳定下来。2.1 算法步骤的数学化描述上述生活化的过程对应到算法中可以严格分为以下四个步骤初始化中心点从数据集中随机选择K个数据点作为初始的“聚类中心”。分配数据点对于数据集中的每一个点计算它与K个中心点中每一个的距离通常是欧氏距离并将其分配给距离最近的那个中心点所在的簇。此时所有数据点都被划分到了K个簇中。更新中心点对于每一个簇计算该簇内所有数据点的平均值均值将这个均值点作为该簇新的中心点。迭代与终止重复步骤2和步骤3直到满足终止条件。最常见的终止条件有两种一是中心点的位置变化小于某个设定的阈值意味着中心点基本稳定了二是数据点的簇归属不再发生变化意味着分配稳定了或者直接设置一个最大迭代次数防止无限循环。这个过程在数学上是在优化一个目标函数即“簇内误差平方和”。这个函数计算的是每个数据点到其所属簇中心的距离的平方和。K-Means的迭代过程实际上就是在寻找能让这个平方和达到局部最小值的中心点位置和簇分配方案。2.2 关键概念距离度量与K值选择距离度量最常用的是欧氏距离也就是我们直观理解的“直线距离”。在二维和三维空间很好理解在高维空间比如有几十个特征的数据其公式依然适用。对于某些特殊数据如文本可能会使用余弦相似度等其他度量方式但标准K-Means通常与欧氏距离绑定。K值选择这是K-Means应用中最关键、也是最棘手的问题之一。算法本身不知道你的数据应该分成几类这个K需要你事先指定。选小了不同性质的数据会被强行塞进一个簇导致簇内差异大选大了本来同一类的数据可能被拆分成多个细碎的簇失去概括性。注意K值的选择没有绝对的黄金法则它是一个结合业务理解与技术指标的综合判断过程。绝对不要仅仅依赖某个数学指标就武断决定。3. 手把手实现从零编写Python代码理解了原理最好的巩固方式就是自己实现一遍。我们不依赖高级库的封装用最基础的NumPy来还原K-Means的核心计算过程。这会让你对每一步的细节有更深刻的把握。3.1 环境准备与数据生成首先确保你的Python环境安装了NumPy和Matplotlib。如果没有可以通过pip install numpy matplotlib来安装。我们先用NumPy生成三团模拟数据这样我们可以直观地看到算法的效果。import numpy as np import matplotlib.pyplot as plt # 设置随机种子确保每次运行结果一致 np.random.seed(42) # 生成模拟数据三个中心点周围分布一些点 def generate_sample_data(): # 定义三个簇的中心 center_1 np.array([1, 1]) center_2 np.array([5, 5]) center_3 np.array([8, 1]) # 围绕每个中心生成随机分布的数据点添加高斯噪声 cluster_1 np.random.randn(100, 2) * 0.5 center_1 cluster_2 np.random.randn(100, 2) * 0.8 center_2 cluster_3 np.random.randn(80, 2) * 0.6 center_3 # 合并所有数据点 data np.vstack([cluster_1, cluster_2, cluster_3]) return data data generate_sample_data() # 可视化原始数据 plt.figure(figsize(8, 6)) plt.scatter(data[:, 0], data[:, 1], s10, alpha0.6, cgray, labelRaw Data) plt.title(Raw Sample Data (Three Clusters)) plt.xlabel(Feature 1) plt.ylabel(Feature 2) plt.legend() plt.grid(True, linestyle--, alpha0.5) plt.show()运行这段代码你会看到一幅散点图显示三团明显分开的数据点。我们的目标就是让K-Means算法自动把它们找出来。3.2 核心算法函数实现接下来是重头戏我们实现一个名为k_means_custom的函数。我会在代码中加入大量注释解释每一步的意图和细节。def k_means_custom(data, k, max_iters300, tol1e-4): 自定义K-Means聚类算法实现 参数 data : numpy.ndarray, 形状 (n_samples, n_features) 输入的数据集。 k : int 要形成的簇的数量。 max_iters : int, 可选 最大迭代次数防止不收敛时无限循环。 tol : float, 可选 容忍度。当中心点移动距离小于此值时认为已收敛。 返回 centroids : numpy.ndarray, 形状 (k, n_features) 最终的中心点坐标。 labels : numpy.ndarray, 形状 (n_samples,) 每个样本点所属簇的索引0 到 k-1。 inertia : float 最终的簇内误差平方和。 n_samples, n_features data.shape # 1. 初始化中心点随机选择k个不同的数据点作为初始中心 # 使用np.random.choice随机选取索引replaceFalse确保不重复 random_indices np.random.choice(n_samples, sizek, replaceFalse) centroids data[random_indices].copy() # 使用copy避免修改原数据 # 用于记录上一次迭代的标签用于判断是否收敛 labels_old np.zeros(n_samples, dtypeint) for iteration in range(max_iters): # 2. 计算每个点到所有中心点的距离并分配标签 # 初始化一个距离矩阵 (n_samples, k) distances np.zeros((n_samples, k)) for i in range(k): # 计算数据点与第i个中心点的欧氏距离 # np.linalg.norm用于计算范数axis1计算每行的范数即点到中心的距离 distances[:, i] np.linalg.norm(data - centroids[i], axis1) # 每个点选择距离最小的那个中心点索引作为其标签 labels np.argmin(distances, axis1) # 3. 检查是否收敛如果所有点的标签都不再变化则停止迭代 if np.all(labels labels_old): print(f算法在 {iteration 1} 次迭代后收敛标签未变。) break labels_old labels.copy() # 4. 更新中心点计算每个簇所有点的均值作为新中心 new_centroids np.zeros_like(centroids) for i in range(k): # 找出所有属于簇i的点 cluster_points data[labels i] if len(cluster_points) 0: # 计算均值 new_centroids[i] cluster_points.mean(axis0) else: # 极端情况如果某个簇没有点则重新随机初始化该中心点 # 这是一个简单的处理策略更复杂的策略可以避免“空簇” new_centroids[i] data[np.random.randint(0, n_samples)] # 5. 检查中心点移动距离是否小于容忍度 centroid_shift np.linalg.norm(new_centroids - centroids, axis1).max() if centroid_shift tol: print(f算法在 {iteration 1} 次迭代后收敛中心点移动小于 {tol}。) break centroids new_centroids.copy() else: # 如果for循环正常结束未break说明达到了最大迭代次数 print(f算法在达到最大迭代次数 {max_iters} 后停止。) # 计算最终的簇内误差平方和惯性 inertia 0 for i in range(k): cluster_points data[labels i] if len(cluster_points) 0: inertia np.sum(np.linalg.norm(cluster_points - centroids[i], axis1) ** 2) return centroids, labels, inertia3.3 运行算法并可视化结果现在我们用自己写的函数对生成的数据进行聚类并将结果画出来。# 设置K3因为我们知道数据是3簇 k 3 centroids, labels, inertia k_means_custom(data, k) # 准备颜色映射 colors [#FF6B6B, #4ECDC4, #FFD166] # 三种颜色 label_colors [colors[label] for label in labels] centroid_colors [#C44D58, #38908F, #CC9C42] # 中心点用深色 # 绘制聚类结果 plt.figure(figsize(12, 5)) # 子图1聚类结果 plt.subplot(1, 2, 1) for i in range(k): cluster_data data[labels i] plt.scatter(cluster_data[:, 0], cluster_data[:, 1], s15, alpha0.7, ccolors[i], labelfCluster {i}) # 绘制中心点 plt.scatter(centroids[:, 0], centroids[:, 1], s200, marker*, ccentroid_colors, edgecolorblack, linewidth1.5, labelCentroids) plt.title(fK-Means Clustering Result (K{k})\nInertia: {inertia:.2f}) plt.xlabel(Feature 1) plt.ylabel(Feature 2) plt.legend() plt.grid(True, linestyle--, alpha0.5) # 子图2与原始生成中心对比用于验证 plt.subplot(1, 2, 2) plt.scatter(data[:, 0], data[:, 1], s10, alpha0.6, clabel_colors) # 标记我们算法找到的中心 plt.scatter(centroids[:, 0], centroids[:, 1], s200, marker*, cred, edgecolorblack, linewidth1.5, labelK-Means Centroids) # 标记真实的生成中心仅用于演示实际中你不知道 true_centers np.array([[1,1], [5,5], [8,1]]) plt.scatter(true_centers[:, 0], true_centers[:, 1], s150, markerX, clime, edgecolorblack, linewidth1.5, labelTrue Centers (for ref)) plt.title(Comparison with Original Centers) plt.xlabel(Feature 1) plt.ylabel(Feature 2) plt.legend() plt.grid(True, linestyle--, alpha0.5) plt.tight_layout() plt.show() print(f最终中心点坐标\n{centroids}) print(f簇内误差平方和Inertia: {inertia:.2f})运行后左侧的图展示了算法成功地将数据分成了三个颜色不同的簇并且星号代表算法找到的中心点。右侧的图将算法找到的中心红色星与数据真实生成的中心绿色叉进行对比你会发现它们非常接近这说明我们的算法是有效的。Inertia值是一个衡量聚类紧密程度的指标值越小说明簇内点越集中。4. 实战进阶使用Scikit-learn与关键参数解析虽然手写代码有助于理解但在实际项目中我们几乎总是使用成熟的机器学习库如Scikit-learn。它经过高度优化功能丰富且能避免我们自己实现时可能忽略的边界情况。4.1 Scikit-learn实现与对比from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score # 使用Scikit-learn的KMeans sklearn_kmeans KMeans(n_clustersk, initrandom, n_init10, max_iter300, random_state42) sklearn_labels sklearn_kmeans.fit_predict(data) sklearn_centroids sklearn_kmeans.cluster_centers_ sklearn_inertia sklearn_kmeans.inertia_ print( Scikit-learn KMeans 结果 ) print(f中心点坐标\n{sklearn_centroids}) print(f簇内误差平方和Inertia: {sklearn_inertia:.2f}) print(f与我们自定义算法的Inertia差异{abs(inertia - sklearn_inertia):.2f}) # 计算轮廓系数Silhouette Score评估聚类效果-1到1越大越好 silhouette_avg silhouette_score(data, sklearn_labels) print(f轮廓系数所有样本平均: {silhouette_avg:.4f})你会看到Scikit-learn的结果与我们自定义的结果在Inertia上非常接近中心点也几乎一致这验证了我们自定义实现的正确性。同时Scikit-learn提供了更多功能比如n_init参数。4.2 核心参数深度解析Scikit-learn的KMeans有几个关键参数理解它们对用好这个算法至关重要n_clusters即K值。这是最重要的参数必须指定。init初始化中心点的方法。random随机选择K个点。这是我们自定义算法使用的方法简单但可能不稳定。k-means默认一种智能初始化方法。它会选择彼此距离较远的点作为初始中心能有效加速收敛并提高找到全局最优解的概率。在绝大多数情况下你应该使用这个默认值。n_init算法运行的次数。由于初始中心随机每次运行结果可能不同。KMeans会运行n_init次并选择Inertia最小的那次作为最终结果。这能有效缓解随机初始化带来的不稳定性。默认是10次。max_iter单次运行的最大迭代次数。tol收敛阈值与我们自定义算法中的tol含义相同。random_state随机种子。设置一个固定值可以确保每次运行结果可复现这在调试和分享时非常有用。实操心得在生产环境中务必设置initk-means和random_state。n_init可以根据数据规模和精度要求调整通常10次足够。将max_iter设为300或500配合一个较小的tol如1e-4能保证充分收敛。5. 如何科学地选择K值如前所述K值的选择是K-Means的灵魂。这里介绍三种最实用的方法肘部法则、轮廓系数和 Gap Statistic。我们将用代码实现前两种。5.1 肘部法则肘部法则的原理是随着K值增大样本被划分得越来越细簇内误差平方和Inertia自然会下降。当K小于真实簇数时增加K会大幅降低Inertia当K达到或超过真实簇数后再增加KInertia的下降幅度会骤减形成像一个“肘部”的拐点。这个拐点对应的K值就是较好的选择。# 肘部法则计算不同K值下的Inertia inertia_list [] k_range range(1, 11) # 测试K从1到10 for k in k_range: kmeans KMeans(n_clustersk, initk-means, n_init10, random_state42) kmeans.fit(data) inertia_list.append(kmeans.inertia_) # 绘制肘部法则图 plt.figure(figsize(8, 5)) plt.plot(k_range, inertia_list, bo-) plt.xlabel(Number of Clusters (K)) plt.ylabel(Inertia (簇内误差平方和)) plt.title(Elbow Method For Optimal K) plt.xticks(k_range) plt.grid(True, linestyle--, alpha0.5) plt.show()观察生成的折线图寻找那个“拐弯”最厉害的点。对于我们的模拟数据你很可能在K3附近看到明显的肘部。5.2 轮廓系数法轮廓系数结合了簇内的凝聚度和簇间的分离度。对于单个样本i其轮廓系数s(i)计算公式为 s(i) (b(i) - a(i)) / max{a(i), b(i)} 其中a(i)是样本i到同簇其他样本的平均距离凝聚度b(i)是样本i到最近其他簇中所有样本的平均距离分离度。s(i)的取值范围为[-1, 1]越接近1说明聚类越合理。我们计算不同K值下所有样本轮廓系数的平均值。# 轮廓系数法 silhouette_scores [] k_range range(2, 11) # 轮廓系数要求至少2个簇 for k in k_range: kmeans KMeans(n_clustersk, initk-means, n_init10, random_state42) labels kmeans.fit_predict(data) score silhouette_score(data, labels) silhouette_scores.append(score) print(fK{k} 轮廓系数 {score:.4f}) # 绘制轮廓系数图 plt.figure(figsize(8, 5)) plt.plot(k_range, silhouette_scores, ro-) plt.xlabel(Number of Clusters (K)) plt.ylabel(Average Silhouette Score) plt.title(Silhouette Analysis For Optimal K) plt.xticks(k_range) plt.grid(True, linestyle--, alpha0.5) plt.show()选择轮廓系数最大的K值。对于我们的数据K3时轮廓系数应该最高。5.3 方法选择与业务结合肘部法则有时拐点不明显尤其是真实数据轮廓系数也可能出现多个峰值。我的经验是优先看轮廓系数它给出了一个明确的数值指标。结合肘部法则图观察趋势。最重要的是结合业务逻辑。例如做客户细分业务部门可能希望分成“高价值”、“中价值”、“低价值”、“流失风险”4类那么K4可能就是更合理的选择即使数学指标显示K3或5更好。聚类最终是为业务服务的。6. K-Means的局限性、常见问题与优化策略没有完美的算法K-Means的缺点和它的优点一样鲜明。了解这些你才能知道何时该用它何时该换其他方法。6.1 主要局限性需要预先指定K这是最大的限制如上所述。对初始值敏感虽然k-means缓解了这个问题但随机初始化仍可能导致次优解。多运行几次n_init是标准做法。对异常值敏感中心点是均值异常值会显著拉偏中心点的位置。假设簇是凸形且大小相近K-Means基于距离它隐含地假设簇是球状的凸形。对于流形、环形或不规则形状的簇效果很差。同时它倾向于生成大小相近的簇对于大小悬殊的簇分割效果不佳。仅适用于数值型数据距离计算要求特征是数值。6.2 常见问题与排查技巧问题1算法不收敛或迭代次数过多。排查检查数据尺度。如果不同特征的数量级差异巨大如一个特征范围是0-1另一个是10000-100000距离计算会被大尺度特征主导。解决必须进行特征标准化。使用StandardScalerZ-score标准化或MinMaxScaler归一化预处理数据。问题2出现空簇某个簇没有分配到任何点。现象更新中心点时计算均值的簇数据为空导致报错或中心点变为NaN。解决在自定义实现中我们采用了“随机重新初始化”的策略。在Scikit-learn中算法内部有更稳健的机制处理但选择initk-means能极大降低空簇出现的概率。问题3聚类结果每次运行都不一样。原因随机初始化的必然结果。解决设置random_state固定种子。但要注意这只是保证了可复现性不保证得到全局最优解。为了获得更稳定的结果可以设置较大的n_init如20或50。问题4如何判断聚类结果的好坏内部评估使用轮廓系数、Calinski-Harabasz指数等无监督指标。它们不依赖真实标签仅从数据分布本身评估。外部评估如果你有部分真实标签ground truth可以使用调整兰德指数、互信息等有监督指标。但这在纯粹的无监督场景中不可用。业务评估将聚类结果交给业务方看分出来的群体是否有明确的业务含义和可操作性。这是最终检验标准。6.3 优化与变种K-Means上文已介绍智能初始化必用。Mini-Batch K-Means当数据量极大时每次迭代不使用全部数据而是使用随机小批量能极大加速训练牺牲少量精度换取速度。针对异常值可以使用K-Medoids算法它选择簇内实际存在的点中位数点作为中心而非均值点对异常值不敏感。针对非凸簇需要考虑谱聚类、DBSCAN等基于密度的算法。7. 真实案例客户消费行为细分让我们看一个简化的真实案例。假设我们有一份客户数据集包含“年均消费额”和“最近一次消费距今周数”两个特征。我们想对客户进行细分。import pandas as pd from sklearn.preprocessing import StandardScaler # 模拟客户数据 np.random.seed(123) n_customers 500 # 特征1年均消费额千元 假设有高、中、低消费群体 annual_spend np.concatenate([ np.random.normal(15, 2, int(n_customers*0.2)), # 高价值客户 np.random.normal(8, 1.5, int(n_customers*0.5)), # 中等价值客户 np.random.normal(3, 1, int(n_customers*0.3)) # 低价值客户 ]) # 特征2最近一次消费距今周数 假设活跃客户最近流失客户最久 weeks_since_last_purchase np.concatenate([ np.random.exponential(5, int(n_customers*0.2)), # 活跃客户 np.random.exponential(15, int(n_customers*0.5)), # 一般客户 np.random.exponential(40, int(n_customers*0.3)) # 流失风险客户 ]) customer_data pd.DataFrame({ Annual_Spend: annual_spend, Weeks_Since_Last_Purchase: weeks_since_last_purchase }) # 1. 数据标准化非常重要 scaler StandardScaler() data_scaled scaler.fit_transform(customer_data) # 2. 使用肘部法则和轮廓系数确定K inertias [] silhouettes [] k_range range(2, 11) for k in k_range: kmeans KMeans(n_clustersk, random_state42, n_init10) labels kmeans.fit_predict(data_scaled) inertias.append(kmeans.inertia_) silhouettes.append(silhouette_score(data_scaled, labels)) fig, axes plt.subplots(1, 2, figsize(14, 5)) axes[0].plot(k_range, inertias, bo-) axes[0].set_title(Elbow Method) axes[0].set_xlabel(K) axes[0].set_ylabel(Inertia) axes[0].grid(True) axes[1].plot(k_range, silhouettes, ro-) axes[1].set_title(Silhouette Score) axes[1].set_xlabel(K) axes[1].set_ylabel(Score) axes[1].grid(True) plt.tight_layout() plt.show() # 假设我们根据图表和业务判断选择K4 final_k 4 final_kmeans KMeans(n_clustersfinal_k, random_state42, n_init10) customer_data[Cluster] final_kmeans.fit_predict(data_scaled) centroids_scaled final_kmeans.cluster_centers_ # 将中心点反标准化回原始尺度便于业务解释 centroids_original scaler.inverse_transform(centroids_scaled) print(聚类中心原始尺度) for i, center in enumerate(centroids_original): print(f 簇{i}: 年均消费{center[0]:.1f}千元, 最近消费{center[1]:.1f}周前) # 可视化 plt.figure(figsize(10, 6)) scatter plt.scatter(customer_data[Annual_Spend], customer_data[Weeks_Since_Last_Purchase], ccustomer_data[Cluster], cmapviridis, s30, alpha0.7) plt.scatter(centroids_original[:, 0], centroids_original[:, 1], s300, marker*, cred, edgecolorblack, labelCentroids) plt.xlabel(Annual Spend (k)) plt.ylabel(Weeks Since Last Purchase) plt.title(Customer Segmentation via K-Means) plt.colorbar(scatter, labelCluster ID) plt.legend() plt.grid(True, linestyle--, alpha0.5) plt.show() # 简单分析每个簇 for clu in range(final_k): cluster_data customer_data[customer_data[Cluster] clu] print(f\n--- 簇 {clu} (共{len(cluster_data)}人) ---) print(f 年均消费: 均值{cluster_data[Annual_Spend].mean():.1f}, 标准差{cluster_data[Annual_Spend].std():.1f}) print(f 最近消费周数: 均值{cluster_data[Weeks_Since_Last_Purchase].mean():.1f}, 标准差{cluster_data[Weeks_Since_Last_Purchase].std():.1f})通过这个分析你可能会得到类似这样的结论簇0高价值活跃客户高消费近期有购买。应重点维护推送VIP权益和新品。簇1高价值流失风险客户高消费但很久没来了。需要启动挽回策略如发送专属优惠券。簇2中低价值一般客户消费中等活跃度一般。可进行常规营销。簇3低价值静默客户低消费很久未购买。可能是自然流失营销优先级最低。这就是K-Means在商业分析中的直接价值将抽象的客户数据转化为具体、可行动的群体画像。
K-Means聚类算法：从原理到Python实战，附客户细分案例
发布时间：2026/7/30 5:42:51
1. 项目概述从数据“一团乱麻”到“物以类聚”如果你手头有一堆数据比如客户的消费记录、文章的关键词、图片的像素特征它们看起来杂乱无章你该如何从中发现规律把相似的东西归到一起这就是聚类算法要解决的问题。而K-Means无疑是聚类家族中最著名、最常用也往往是新手入门的第一个算法。它就像一个高效的“数据分拣员”目标很简单把一堆数据点按照它们彼此之间的“距离”远近分成K个组让组内的点尽可能相似组间的点尽可能不同。我第一次接触K-Means是在处理用户画像项目时面对数百万条用户行为数据手动分类是天方夜谭。K-Means以其原理直观、实现简单、效率较高的特点成为了我的首选工具。它不关心数据原本的标签无监督学习只根据数据自身的特征进行“物以类聚”这种从无到有发现结构的能力在客户细分、图像分割、异常检测等场景下极具价值。今天我就结合多年的实战经验从核心原理、手撕代码到避坑指南带你彻底搞懂K-Means并附上可直接运行的Python代码让你不仅能理解更能用起来。2. K-Means核心原理与算法流程拆解K-Means的核心思想可以类比为“选举中心点划分势力范围”。想象你要在一个城市开K家便利店目标是让每个居民都能离其中一家店最近。你会怎么做一个自然的策略是先随机选K个地点作为便利店初始中心点然后告诉每个居民去离他最近的那家店分配数据点到最近的中心。接着你会发现这些居民点的分布可能不均匀于是你把每家店搬迁到所有属于它的居民点的中心位置更新中心点。居民们发现店搬了可能会重新选择更近的店重新分配点。这个过程不断重复直到便利店的位置不再发生大的变动或者居民的归属稳定下来。2.1 算法步骤的数学化描述上述生活化的过程对应到算法中可以严格分为以下四个步骤初始化中心点从数据集中随机选择K个数据点作为初始的“聚类中心”。分配数据点对于数据集中的每一个点计算它与K个中心点中每一个的距离通常是欧氏距离并将其分配给距离最近的那个中心点所在的簇。此时所有数据点都被划分到了K个簇中。更新中心点对于每一个簇计算该簇内所有数据点的平均值均值将这个均值点作为该簇新的中心点。迭代与终止重复步骤2和步骤3直到满足终止条件。最常见的终止条件有两种一是中心点的位置变化小于某个设定的阈值意味着中心点基本稳定了二是数据点的簇归属不再发生变化意味着分配稳定了或者直接设置一个最大迭代次数防止无限循环。这个过程在数学上是在优化一个目标函数即“簇内误差平方和”。这个函数计算的是每个数据点到其所属簇中心的距离的平方和。K-Means的迭代过程实际上就是在寻找能让这个平方和达到局部最小值的中心点位置和簇分配方案。2.2 关键概念距离度量与K值选择距离度量最常用的是欧氏距离也就是我们直观理解的“直线距离”。在二维和三维空间很好理解在高维空间比如有几十个特征的数据其公式依然适用。对于某些特殊数据如文本可能会使用余弦相似度等其他度量方式但标准K-Means通常与欧氏距离绑定。K值选择这是K-Means应用中最关键、也是最棘手的问题之一。算法本身不知道你的数据应该分成几类这个K需要你事先指定。选小了不同性质的数据会被强行塞进一个簇导致簇内差异大选大了本来同一类的数据可能被拆分成多个细碎的簇失去概括性。注意K值的选择没有绝对的黄金法则它是一个结合业务理解与技术指标的综合判断过程。绝对不要仅仅依赖某个数学指标就武断决定。3. 手把手实现从零编写Python代码理解了原理最好的巩固方式就是自己实现一遍。我们不依赖高级库的封装用最基础的NumPy来还原K-Means的核心计算过程。这会让你对每一步的细节有更深刻的把握。3.1 环境准备与数据生成首先确保你的Python环境安装了NumPy和Matplotlib。如果没有可以通过pip install numpy matplotlib来安装。我们先用NumPy生成三团模拟数据这样我们可以直观地看到算法的效果。import numpy as np import matplotlib.pyplot as plt # 设置随机种子确保每次运行结果一致 np.random.seed(42) # 生成模拟数据三个中心点周围分布一些点 def generate_sample_data(): # 定义三个簇的中心 center_1 np.array([1, 1]) center_2 np.array([5, 5]) center_3 np.array([8, 1]) # 围绕每个中心生成随机分布的数据点添加高斯噪声 cluster_1 np.random.randn(100, 2) * 0.5 center_1 cluster_2 np.random.randn(100, 2) * 0.8 center_2 cluster_3 np.random.randn(80, 2) * 0.6 center_3 # 合并所有数据点 data np.vstack([cluster_1, cluster_2, cluster_3]) return data data generate_sample_data() # 可视化原始数据 plt.figure(figsize(8, 6)) plt.scatter(data[:, 0], data[:, 1], s10, alpha0.6, cgray, labelRaw Data) plt.title(Raw Sample Data (Three Clusters)) plt.xlabel(Feature 1) plt.ylabel(Feature 2) plt.legend() plt.grid(True, linestyle--, alpha0.5) plt.show()运行这段代码你会看到一幅散点图显示三团明显分开的数据点。我们的目标就是让K-Means算法自动把它们找出来。3.2 核心算法函数实现接下来是重头戏我们实现一个名为k_means_custom的函数。我会在代码中加入大量注释解释每一步的意图和细节。def k_means_custom(data, k, max_iters300, tol1e-4): 自定义K-Means聚类算法实现 参数 data : numpy.ndarray, 形状 (n_samples, n_features) 输入的数据集。 k : int 要形成的簇的数量。 max_iters : int, 可选 最大迭代次数防止不收敛时无限循环。 tol : float, 可选 容忍度。当中心点移动距离小于此值时认为已收敛。 返回 centroids : numpy.ndarray, 形状 (k, n_features) 最终的中心点坐标。 labels : numpy.ndarray, 形状 (n_samples,) 每个样本点所属簇的索引0 到 k-1。 inertia : float 最终的簇内误差平方和。 n_samples, n_features data.shape # 1. 初始化中心点随机选择k个不同的数据点作为初始中心 # 使用np.random.choice随机选取索引replaceFalse确保不重复 random_indices np.random.choice(n_samples, sizek, replaceFalse) centroids data[random_indices].copy() # 使用copy避免修改原数据 # 用于记录上一次迭代的标签用于判断是否收敛 labels_old np.zeros(n_samples, dtypeint) for iteration in range(max_iters): # 2. 计算每个点到所有中心点的距离并分配标签 # 初始化一个距离矩阵 (n_samples, k) distances np.zeros((n_samples, k)) for i in range(k): # 计算数据点与第i个中心点的欧氏距离 # np.linalg.norm用于计算范数axis1计算每行的范数即点到中心的距离 distances[:, i] np.linalg.norm(data - centroids[i], axis1) # 每个点选择距离最小的那个中心点索引作为其标签 labels np.argmin(distances, axis1) # 3. 检查是否收敛如果所有点的标签都不再变化则停止迭代 if np.all(labels labels_old): print(f算法在 {iteration 1} 次迭代后收敛标签未变。) break labels_old labels.copy() # 4. 更新中心点计算每个簇所有点的均值作为新中心 new_centroids np.zeros_like(centroids) for i in range(k): # 找出所有属于簇i的点 cluster_points data[labels i] if len(cluster_points) 0: # 计算均值 new_centroids[i] cluster_points.mean(axis0) else: # 极端情况如果某个簇没有点则重新随机初始化该中心点 # 这是一个简单的处理策略更复杂的策略可以避免“空簇” new_centroids[i] data[np.random.randint(0, n_samples)] # 5. 检查中心点移动距离是否小于容忍度 centroid_shift np.linalg.norm(new_centroids - centroids, axis1).max() if centroid_shift tol: print(f算法在 {iteration 1} 次迭代后收敛中心点移动小于 {tol}。) break centroids new_centroids.copy() else: # 如果for循环正常结束未break说明达到了最大迭代次数 print(f算法在达到最大迭代次数 {max_iters} 后停止。) # 计算最终的簇内误差平方和惯性 inertia 0 for i in range(k): cluster_points data[labels i] if len(cluster_points) 0: inertia np.sum(np.linalg.norm(cluster_points - centroids[i], axis1) ** 2) return centroids, labels, inertia3.3 运行算法并可视化结果现在我们用自己写的函数对生成的数据进行聚类并将结果画出来。# 设置K3因为我们知道数据是3簇 k 3 centroids, labels, inertia k_means_custom(data, k) # 准备颜色映射 colors [#FF6B6B, #4ECDC4, #FFD166] # 三种颜色 label_colors [colors[label] for label in labels] centroid_colors [#C44D58, #38908F, #CC9C42] # 中心点用深色 # 绘制聚类结果 plt.figure(figsize(12, 5)) # 子图1聚类结果 plt.subplot(1, 2, 1) for i in range(k): cluster_data data[labels i] plt.scatter(cluster_data[:, 0], cluster_data[:, 1], s15, alpha0.7, ccolors[i], labelfCluster {i}) # 绘制中心点 plt.scatter(centroids[:, 0], centroids[:, 1], s200, marker*, ccentroid_colors, edgecolorblack, linewidth1.5, labelCentroids) plt.title(fK-Means Clustering Result (K{k})\nInertia: {inertia:.2f}) plt.xlabel(Feature 1) plt.ylabel(Feature 2) plt.legend() plt.grid(True, linestyle--, alpha0.5) # 子图2与原始生成中心对比用于验证 plt.subplot(1, 2, 2) plt.scatter(data[:, 0], data[:, 1], s10, alpha0.6, clabel_colors) # 标记我们算法找到的中心 plt.scatter(centroids[:, 0], centroids[:, 1], s200, marker*, cred, edgecolorblack, linewidth1.5, labelK-Means Centroids) # 标记真实的生成中心仅用于演示实际中你不知道 true_centers np.array([[1,1], [5,5], [8,1]]) plt.scatter(true_centers[:, 0], true_centers[:, 1], s150, markerX, clime, edgecolorblack, linewidth1.5, labelTrue Centers (for ref)) plt.title(Comparison with Original Centers) plt.xlabel(Feature 1) plt.ylabel(Feature 2) plt.legend() plt.grid(True, linestyle--, alpha0.5) plt.tight_layout() plt.show() print(f最终中心点坐标\n{centroids}) print(f簇内误差平方和Inertia: {inertia:.2f})运行后左侧的图展示了算法成功地将数据分成了三个颜色不同的簇并且星号代表算法找到的中心点。右侧的图将算法找到的中心红色星与数据真实生成的中心绿色叉进行对比你会发现它们非常接近这说明我们的算法是有效的。Inertia值是一个衡量聚类紧密程度的指标值越小说明簇内点越集中。4. 实战进阶使用Scikit-learn与关键参数解析虽然手写代码有助于理解但在实际项目中我们几乎总是使用成熟的机器学习库如Scikit-learn。它经过高度优化功能丰富且能避免我们自己实现时可能忽略的边界情况。4.1 Scikit-learn实现与对比from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score # 使用Scikit-learn的KMeans sklearn_kmeans KMeans(n_clustersk, initrandom, n_init10, max_iter300, random_state42) sklearn_labels sklearn_kmeans.fit_predict(data) sklearn_centroids sklearn_kmeans.cluster_centers_ sklearn_inertia sklearn_kmeans.inertia_ print( Scikit-learn KMeans 结果 ) print(f中心点坐标\n{sklearn_centroids}) print(f簇内误差平方和Inertia: {sklearn_inertia:.2f}) print(f与我们自定义算法的Inertia差异{abs(inertia - sklearn_inertia):.2f}) # 计算轮廓系数Silhouette Score评估聚类效果-1到1越大越好 silhouette_avg silhouette_score(data, sklearn_labels) print(f轮廓系数所有样本平均: {silhouette_avg:.4f})你会看到Scikit-learn的结果与我们自定义的结果在Inertia上非常接近中心点也几乎一致这验证了我们自定义实现的正确性。同时Scikit-learn提供了更多功能比如n_init参数。4.2 核心参数深度解析Scikit-learn的KMeans有几个关键参数理解它们对用好这个算法至关重要n_clusters即K值。这是最重要的参数必须指定。init初始化中心点的方法。random随机选择K个点。这是我们自定义算法使用的方法简单但可能不稳定。k-means默认一种智能初始化方法。它会选择彼此距离较远的点作为初始中心能有效加速收敛并提高找到全局最优解的概率。在绝大多数情况下你应该使用这个默认值。n_init算法运行的次数。由于初始中心随机每次运行结果可能不同。KMeans会运行n_init次并选择Inertia最小的那次作为最终结果。这能有效缓解随机初始化带来的不稳定性。默认是10次。max_iter单次运行的最大迭代次数。tol收敛阈值与我们自定义算法中的tol含义相同。random_state随机种子。设置一个固定值可以确保每次运行结果可复现这在调试和分享时非常有用。实操心得在生产环境中务必设置initk-means和random_state。n_init可以根据数据规模和精度要求调整通常10次足够。将max_iter设为300或500配合一个较小的tol如1e-4能保证充分收敛。5. 如何科学地选择K值如前所述K值的选择是K-Means的灵魂。这里介绍三种最实用的方法肘部法则、轮廓系数和 Gap Statistic。我们将用代码实现前两种。5.1 肘部法则肘部法则的原理是随着K值增大样本被划分得越来越细簇内误差平方和Inertia自然会下降。当K小于真实簇数时增加K会大幅降低Inertia当K达到或超过真实簇数后再增加KInertia的下降幅度会骤减形成像一个“肘部”的拐点。这个拐点对应的K值就是较好的选择。# 肘部法则计算不同K值下的Inertia inertia_list [] k_range range(1, 11) # 测试K从1到10 for k in k_range: kmeans KMeans(n_clustersk, initk-means, n_init10, random_state42) kmeans.fit(data) inertia_list.append(kmeans.inertia_) # 绘制肘部法则图 plt.figure(figsize(8, 5)) plt.plot(k_range, inertia_list, bo-) plt.xlabel(Number of Clusters (K)) plt.ylabel(Inertia (簇内误差平方和)) plt.title(Elbow Method For Optimal K) plt.xticks(k_range) plt.grid(True, linestyle--, alpha0.5) plt.show()观察生成的折线图寻找那个“拐弯”最厉害的点。对于我们的模拟数据你很可能在K3附近看到明显的肘部。5.2 轮廓系数法轮廓系数结合了簇内的凝聚度和簇间的分离度。对于单个样本i其轮廓系数s(i)计算公式为 s(i) (b(i) - a(i)) / max{a(i), b(i)} 其中a(i)是样本i到同簇其他样本的平均距离凝聚度b(i)是样本i到最近其他簇中所有样本的平均距离分离度。s(i)的取值范围为[-1, 1]越接近1说明聚类越合理。我们计算不同K值下所有样本轮廓系数的平均值。# 轮廓系数法 silhouette_scores [] k_range range(2, 11) # 轮廓系数要求至少2个簇 for k in k_range: kmeans KMeans(n_clustersk, initk-means, n_init10, random_state42) labels kmeans.fit_predict(data) score silhouette_score(data, labels) silhouette_scores.append(score) print(fK{k} 轮廓系数 {score:.4f}) # 绘制轮廓系数图 plt.figure(figsize(8, 5)) plt.plot(k_range, silhouette_scores, ro-) plt.xlabel(Number of Clusters (K)) plt.ylabel(Average Silhouette Score) plt.title(Silhouette Analysis For Optimal K) plt.xticks(k_range) plt.grid(True, linestyle--, alpha0.5) plt.show()选择轮廓系数最大的K值。对于我们的数据K3时轮廓系数应该最高。5.3 方法选择与业务结合肘部法则有时拐点不明显尤其是真实数据轮廓系数也可能出现多个峰值。我的经验是优先看轮廓系数它给出了一个明确的数值指标。结合肘部法则图观察趋势。最重要的是结合业务逻辑。例如做客户细分业务部门可能希望分成“高价值”、“中价值”、“低价值”、“流失风险”4类那么K4可能就是更合理的选择即使数学指标显示K3或5更好。聚类最终是为业务服务的。6. K-Means的局限性、常见问题与优化策略没有完美的算法K-Means的缺点和它的优点一样鲜明。了解这些你才能知道何时该用它何时该换其他方法。6.1 主要局限性需要预先指定K这是最大的限制如上所述。对初始值敏感虽然k-means缓解了这个问题但随机初始化仍可能导致次优解。多运行几次n_init是标准做法。对异常值敏感中心点是均值异常值会显著拉偏中心点的位置。假设簇是凸形且大小相近K-Means基于距离它隐含地假设簇是球状的凸形。对于流形、环形或不规则形状的簇效果很差。同时它倾向于生成大小相近的簇对于大小悬殊的簇分割效果不佳。仅适用于数值型数据距离计算要求特征是数值。6.2 常见问题与排查技巧问题1算法不收敛或迭代次数过多。排查检查数据尺度。如果不同特征的数量级差异巨大如一个特征范围是0-1另一个是10000-100000距离计算会被大尺度特征主导。解决必须进行特征标准化。使用StandardScalerZ-score标准化或MinMaxScaler归一化预处理数据。问题2出现空簇某个簇没有分配到任何点。现象更新中心点时计算均值的簇数据为空导致报错或中心点变为NaN。解决在自定义实现中我们采用了“随机重新初始化”的策略。在Scikit-learn中算法内部有更稳健的机制处理但选择initk-means能极大降低空簇出现的概率。问题3聚类结果每次运行都不一样。原因随机初始化的必然结果。解决设置random_state固定种子。但要注意这只是保证了可复现性不保证得到全局最优解。为了获得更稳定的结果可以设置较大的n_init如20或50。问题4如何判断聚类结果的好坏内部评估使用轮廓系数、Calinski-Harabasz指数等无监督指标。它们不依赖真实标签仅从数据分布本身评估。外部评估如果你有部分真实标签ground truth可以使用调整兰德指数、互信息等有监督指标。但这在纯粹的无监督场景中不可用。业务评估将聚类结果交给业务方看分出来的群体是否有明确的业务含义和可操作性。这是最终检验标准。6.3 优化与变种K-Means上文已介绍智能初始化必用。Mini-Batch K-Means当数据量极大时每次迭代不使用全部数据而是使用随机小批量能极大加速训练牺牲少量精度换取速度。针对异常值可以使用K-Medoids算法它选择簇内实际存在的点中位数点作为中心而非均值点对异常值不敏感。针对非凸簇需要考虑谱聚类、DBSCAN等基于密度的算法。7. 真实案例客户消费行为细分让我们看一个简化的真实案例。假设我们有一份客户数据集包含“年均消费额”和“最近一次消费距今周数”两个特征。我们想对客户进行细分。import pandas as pd from sklearn.preprocessing import StandardScaler # 模拟客户数据 np.random.seed(123) n_customers 500 # 特征1年均消费额千元 假设有高、中、低消费群体 annual_spend np.concatenate([ np.random.normal(15, 2, int(n_customers*0.2)), # 高价值客户 np.random.normal(8, 1.5, int(n_customers*0.5)), # 中等价值客户 np.random.normal(3, 1, int(n_customers*0.3)) # 低价值客户 ]) # 特征2最近一次消费距今周数 假设活跃客户最近流失客户最久 weeks_since_last_purchase np.concatenate([ np.random.exponential(5, int(n_customers*0.2)), # 活跃客户 np.random.exponential(15, int(n_customers*0.5)), # 一般客户 np.random.exponential(40, int(n_customers*0.3)) # 流失风险客户 ]) customer_data pd.DataFrame({ Annual_Spend: annual_spend, Weeks_Since_Last_Purchase: weeks_since_last_purchase }) # 1. 数据标准化非常重要 scaler StandardScaler() data_scaled scaler.fit_transform(customer_data) # 2. 使用肘部法则和轮廓系数确定K inertias [] silhouettes [] k_range range(2, 11) for k in k_range: kmeans KMeans(n_clustersk, random_state42, n_init10) labels kmeans.fit_predict(data_scaled) inertias.append(kmeans.inertia_) silhouettes.append(silhouette_score(data_scaled, labels)) fig, axes plt.subplots(1, 2, figsize(14, 5)) axes[0].plot(k_range, inertias, bo-) axes[0].set_title(Elbow Method) axes[0].set_xlabel(K) axes[0].set_ylabel(Inertia) axes[0].grid(True) axes[1].plot(k_range, silhouettes, ro-) axes[1].set_title(Silhouette Score) axes[1].set_xlabel(K) axes[1].set_ylabel(Score) axes[1].grid(True) plt.tight_layout() plt.show() # 假设我们根据图表和业务判断选择K4 final_k 4 final_kmeans KMeans(n_clustersfinal_k, random_state42, n_init10) customer_data[Cluster] final_kmeans.fit_predict(data_scaled) centroids_scaled final_kmeans.cluster_centers_ # 将中心点反标准化回原始尺度便于业务解释 centroids_original scaler.inverse_transform(centroids_scaled) print(聚类中心原始尺度) for i, center in enumerate(centroids_original): print(f 簇{i}: 年均消费{center[0]:.1f}千元, 最近消费{center[1]:.1f}周前) # 可视化 plt.figure(figsize(10, 6)) scatter plt.scatter(customer_data[Annual_Spend], customer_data[Weeks_Since_Last_Purchase], ccustomer_data[Cluster], cmapviridis, s30, alpha0.7) plt.scatter(centroids_original[:, 0], centroids_original[:, 1], s300, marker*, cred, edgecolorblack, labelCentroids) plt.xlabel(Annual Spend (k)) plt.ylabel(Weeks Since Last Purchase) plt.title(Customer Segmentation via K-Means) plt.colorbar(scatter, labelCluster ID) plt.legend() plt.grid(True, linestyle--, alpha0.5) plt.show() # 简单分析每个簇 for clu in range(final_k): cluster_data customer_data[customer_data[Cluster] clu] print(f\n--- 簇 {clu} (共{len(cluster_data)}人) ---) print(f 年均消费: 均值{cluster_data[Annual_Spend].mean():.1f}, 标准差{cluster_data[Annual_Spend].std():.1f}) print(f 最近消费周数: 均值{cluster_data[Weeks_Since_Last_Purchase].mean():.1f}, 标准差{cluster_data[Weeks_Since_Last_Purchase].std():.1f})通过这个分析你可能会得到类似这样的结论簇0高价值活跃客户高消费近期有购买。应重点维护推送VIP权益和新品。簇1高价值流失风险客户高消费但很久没来了。需要启动挽回策略如发送专属优惠券。簇2中低价值一般客户消费中等活跃度一般。可进行常规营销。簇3低价值静默客户低消费很久未购买。可能是自然流失营销优先级最低。这就是K-Means在商业分析中的直接价值将抽象的客户数据转化为具体、可行动的群体画像。
