Python scipy.stats 假设检验实战：5种场景代码实现与P值解读

Python scipy.stats 假设检验实战5种场景代码实现与P值解读假设检验是数据分析中的核心工具但很多初学者往往陷入理论公式而难以落地。本文将以Python的scipy.stats库为武器带你用代码穿透统计迷雾。不同于教科书式的推导我们将聚焦五个真实业务场景从A/B测试到质量管控手把手实现完整检验流程。1. 环境准备与数据模拟工欲善其事必先利其器。在开始前需要确保环境配置正确# 基础库安装 import numpy as np import pandas as pd from scipy import stats import matplotlib.pyplot as plt plt.style.use(seaborn)数据模拟是检验的前提我们使用numpy生成符合特定分布的模拟数据# 生成正态分布数据示例 np.random.seed(42) group_A np.random.normal(loc75, scale5, size100) # 均值75标准差5 group_B np.random.normal(loc78, scale5, size100) # 均值78标准差5注意实际业务中建议先进行正态性检验如shapiro检验本文为演示省略此步骤2. 独立样本t检验产品改版效果评估当需要比较两个独立组的均值差异时如新旧版本的用户停留时间独立样本t检验是首选工具。# 执行t检验 t_stat, p_value stats.ttest_ind(group_A, group_B) print(ft统计量: {t_stat:.4f}, p值: {p_value:.4f}) # 结果可视化 plt.figure(figsize(10,6)) plt.hist(group_A, bins30, alpha0.5, label版本A) plt.hist(group_B, bins30, alpha0.5, label版本B) plt.legend() plt.title(两组数据分布对比)关键参数解读参数说明业务意义t_stat检验统计量差异幅度标准化度量p_value显著性概率差异由随机性导致的概率当p值0.05时可以认为两组存在显著差异。但要注意效应量如Cohens d才能判断差异的实际重要性。3. 配对t检验训练课程效果验证对于同一组对象的前后测量如员工培训前后的技能测试需要使用配对t检验# 模拟前后测数据 pre_test np.random.normal(70, 8, 50) post_test pre_test np.random.normal(5, 3, 50) # 执行检验 t_stat, p_value stats.ttest_rel(pre_test, post_test) print(f培训效果p值: {p_value:.6f})典型应用场景医疗方案前后效果对比营销活动前后用户行为变化生产工艺改进前后质量指标4. 卡方检验用户偏好分析当处理分类数据如不同渠道的转化率时卡方检验是分析关联性的利器# 构建列联表 observed np.array([[120, 90], [80, 110]]) # 执行卡方检验 chi2_stat, p_value, dof, expected stats.chi2_contingency(observed) print(f卡方值: {chi2_stat:.2f}, p值: {p_value:.5f})结果解读三步法检查期望频数是否都大于5查看p值是否显著计算Cramers V系数判断关联强度5. ANOVA方差分析多组实验对比当需要比较三个及以上组的均值时如不同推荐算法的效果单因素ANOVA是标准解决方案# 生成三组实验数据 algorithm_A np.random.normal(0.3, 0.1, 100) algorithm_B np.random.normal(0.35, 0.1, 100) algorithm_C np.random.normal(0.4, 0.1, 100) # 执行ANOVA f_stat, p_value stats.f_oneway(algorithm_A, algorithm_B, algorithm_C) print(fF值: {f_stat:.2f}, p值: {p_value:.8f}) # 事后检验Turkey HSD from statsmodels.stats.multicomp import pairwise_tukeyhsd tukey_results pairwise_tukeyhsd( np.concatenate([algorithm_A, algorithm_B, algorithm_C]), np.repeat([A,B,C], 100), alpha0.05 ) print(tukey_results)ANOVA使用要点需要满足方差齐性levene检验显著结果需进行事后检验确定具体差异组考虑使用非参数检验Kruskal-Wallis当正态假设不成立时6. 非参数检验秩和检验实战当数据不满足正态假设时Mann-Whitney U检验是t检验的替代方案# 生成非正态数据 group_X np.random.exponential(scale2, size50) group_Y np.random.exponential(scale3, size50) # 执行秩和检验 u_stat, p_value stats.mannwhitneyu(group_X, group_Y) print(fU统计量: {u_stat}, p值: {p_value:.4f})非参数检验适用场景小样本数据n30明显偏离正态分布存在异常值影响序数数据比较7. 检验力分析与样本量规划假设检验的可靠性取决于样本量我们可以进行事前检验力分析from statsmodels.stats.power import TTestIndPower # 参数设置 effect_size 0.5 # 中等效应量 alpha 0.05 # 显著性水平 power 0.8 # 期望检验力 # 计算所需样本量 analysis TTestIndPower() sample_size analysis.solve_power( effect_sizeeffect_size, alphaalpha, powerpower, ratio1.0 ) print(f每组需要样本量: {int(np.ceil(sample_size))})检验力分析关键参数参数建议值说明effect_size0.2-0.8小/中/大效应alpha0.05第一类错误概率power≥0.8检出真差异的能力在实际项目中我通常会先用小样本进行探索性分析根据效应量估算正式实验所需样本量这样可以避免资源浪费或检验力不足。