dataframe 使用拉格朗日插值填充缺失值

本例中代码使用 jupyter 运行问题场景在处理dataframe时可能会遇到少量数据缺失的情况在连续缺失数据较少的情况可以考虑插值填充。本文调用了scipy库的lagrange(x,y)这个函数参数x,y分别是对应各个点的x值和y值函数返回一个对象即插值函数。lagrange(x,y)的具体描述可参考佐佑思维的博文。本文就如何定位缺失值并统一使用拉格朗日插值填充缺失值的原理进行详细说明。不想看原理的可以直接跳到“函数封装”实现原理假设数据格式如上绿色代表非空值灰色代表nan值。step 1.数据预处理将dataframe的缺失值统一用np.nan进行替换step 2.对于每一列数据获取缺失值的indexstep 3.顺序定位每一个缺失值对每个缺失值指定向前和向后分别获取k个数据及其index并使用这2k个数据和index值构建拉格朗日插值函数输入缺失值得index获得插值结果step 4.重复循环【注意】向前和向后获取数据时有如下特殊情况①向前取k个值但是 缺失值前的数据数量 k此时有多少数据就取多少②向后取k个值这里的取的值要是非空值碰到空值就跳过③向后取k个值碰到空值就跳过然后一直跳到数据尾行都没有取够k个此时也是有多少取多少。函数封装:deflagrange_value(data,k2):# 输入需处理的数据空值用nan填充k是空值前后取得数据个数df1data.copy(deepTrue)forcolindf1.columns:# 取每一列col_datadf1[col]col_nancol_data[col_data.isnull()]# 取每一列缺失值col_nan_listcol_nan.index# 取每一列缺失值的indexfornincol_nan_list:# 对每一列缺失值index进行遍历定位需要插值的位置list1list(range(n-k,n))# 缺失值前取k个值iflist1[0]col_data.index[0]:# 判断缺失值前是否有k个值没有的话就有多少取多少list1list(range(col_data.index[0],n))list2col_data[n:]# 缺失值后取k个非空值list2list2[list2.notnull()]list2list(list2[0:k].index)ycol_data[list1list2]# 取数df1[col][n]lagrange(y.index,list(y))(n)# 填充缺失值returndf1函数要输入需处理的数据空值用nan填充和k —— 空值前后取的数据个数示例:导入所需的包简单创建一个dataframeimportpandasaspdimportnumpyasnpfromscipy.interpolateimportlagrange# 生成数据NaNnp.nan datapd.DataFrame({SO2:[10,5,5,NaN,9,NaN,NaN,NaN],NO2:[12,NaN,NaN,10,10,23,15,9],CO2:[15,23,NaN,24,25,NaN,NaN,NaN],O3:[17,23,33,NaN,NaN,NaN,5,22]})调用一下函数lagrange_value(data,k2)补充需要说明的是本文编写的代码对数据格式有一定要求数据预处理阶段需要reset_index以保证dataframe的索引值顺序且连续。