1. 为什么“按行遍历DataFrame”是个值得深究的话题刚接触pandas做数据分析的朋友十有八九都干过这事儿拿到一个DataFrame想对每一行数据做点处理比如计算、判断或者转换然后第一反应就是用for循环配合df.iterrows()。这看起来天经地义对吧毕竟我们学Python遍历列表、字典都是这么干的。但如果你真这么干了尤其是在数据量稍微大点比如超过几万行的时候很快就会发现程序慢得像蜗牛内存占用也可能悄悄飙升。这时候你可能会困惑我明明用的是号称“数据分析利器”的pandas怎么效率还不如纯Python列表这就是我们今天要彻底掰扯清楚的问题。pandas的DataFrame本质上是一个基于NumPy的二维标签化数据结构它的设计核心是列式操作和向量化计算以求达到C语言级别的执行效率。而按行遍历恰恰是在跟这个设计哲学“唱反调”将数据从高效的连续内存块中一行行提取成Python对象自然会引入巨大的开销。所以这个话题的关键不在于“会不会”而在于“什么时候该用”以及“有没有更好的替代方案”。网上搜“pandas遍历”iterrows和itertuples绝对是高频词但很多人只知其然不知其所以然更不清楚在它们之外还有更强大、更地道的“pandas式”解决方案。这篇文章我就结合自己多年在数据处理上踩过的坑带你从最基础的循环遍历讲起深入原理对比性能并给出不同场景下的最佳实践。目标很明确让你不仅知道怎么遍历更能深刻理解背后的代价并学会如何优雅地避免不必要的遍历写出既高效又地道的pandas代码。2. 初学者的常见起点iterrows() 与 itertuples()当我们从Excel或SQL的思维切换到pandas时按行处理数据是一种很自然的想法。pandas提供了两个直接用于行遍历的方法这也是大多数人最先接触到的。2.1 iterrows(): 最直观但性能堪忧的选择DataFrame.iterrows()会返回一个迭代器每次迭代产生一个(index, Series)对。这里的Series就是当前行的数据其索引是原DataFrame的列名。import pandas as pd df pd.DataFrame({A: [1, 2, 3], B: [a, b, c]}) print(df) for idx, row in df.iterrows(): print(f索引: {idx}, A列值: {row[A]}, B列值: {row[B]})输出:A B 0 1 a 1 2 b 2 3 c 索引: 0, A列值: 1, B列值: a 索引: 1, A列值: 2, B列值: b 索引: 2, A列值: 3, B列值: c为什么它慢对象创建开销iterrows()在每次迭代时都会在内存中新建一个pandas.Series对象。创建Python对象本身就有成本。类型推断与转换Series为了保持灵活性可能会改变原始数据的类型dtype。特别是当DataFrame各列数据类型不一致时Series需要找到一个能容纳所有列的通用类型可能导致数据被向上转换如整数变浮点数这个过程有损耗。索引对齐生成的Series保留了原始的列索引这带来了便利但也附加了额外的开销。注意iterrows()返回的Series是原始数据的一个视图view吗不它是一个拷贝copy。这意味着通过row[A] new_value修改row通常不会反映到原始的df中。你必须使用df.at[idx, A] new_value或df.loc[idx, A] new_value来修改原数据。这是一个非常常见的坑。2.2 itertuples(): 更快的替代方案但仍有局限DataFrame.itertuples()是更高效的行迭代方式。它返回一个迭代器每次迭代产生一个namedtuple默认或普通的tuple。namedtuple是Python标准库collections中的一种轻量级数据结构可以像对象一样通过属性访问也可以像元组一样通过下标访问。for row in df.itertuples(): # row是一个namedtuple例如 Pandas(Index0, A1, Ba) print(f索引: {row.Index}, A列值: {row.A}, B列值: {row.B}) # 也可以通过下标访问row[1] 对应 A列row[2] 对应 B列为什么它比iterrows()快更低级的对象namedtuple是Python内置的、用C实现的轻量级数据结构其创建和访问开销远小于功能完整的pandas.Series对象。避免类型混淆itertuples()直接返回每一行数据的Python原生类型int, float, str等省去了Series内部的类型管理和索引开销。内存布局更紧凑tuple的内存布局是连续且固定的访问速度更快。它的局限性是什么列名限制如果DataFrame的列名不是有效的Python标识符例如包含空格my column或以数字开头123colitertuples()在生成namedtuple时会自动将其重命名如空格变下划线这可能导致访问时的不一致。此时可以使用nameNone参数使其返回普通元组。修改原数据不便和iterrows()一样通过itertuples()迭代得到的行数据是原始数据的副本无法直接修改原DataFrame。依然是Python层面的循环尽管itertuples()本身很快但它依然是在Python解释器层面进行循环。当行数巨大百万级以上时即使是C语言级别的namedtuple数百万次的Python循环开销也会变得非常显著。实操心得如果业务逻辑必须要按行处理且行数在几千到小几万这个量级itertuples()通常是比iterrows()好得多的选择。你可以把它看作是一个性能优化后的“行提取器”。但在决定使用它之前一定要先问自己真的没有向量化的方法吗3. 性能对比实测向量化操作对循环的降维打击说一千道一万不如跑个分。我们通过一个简单的任务来直观感受不同方法的性能差异计算DataFrame中两列数值的乘积之和。假设我们有一个DataFramedf包含a和b两列随机数。import pandas as pd import numpy as np import time # 创建一个10万行数据的DataFrame np.random.seed(42) n_rows 100_000 df pd.DataFrame({ a: np.random.randn(n_rows), b: np.random.randn(n_rows) })方法1使用iterrows() (最慢)def sum_product_iterrows(df): total 0.0 for idx, row in df.iterrows(): total row[a] * row[b] return total start time.time() result sum_product_iterrows(df) elapsed time.time() - start print(fiterrows() 耗时: {elapsed:.4f} 秒 结果: {result:.6f})方法2使用itertuples() (较快)def sum_product_itertuples(df): total 0.0 for row in df.itertuples(indexFalse): # indexFalse 不包含索引字段更快 total row.a * row.b return total start time.time() result sum_product_itertuples(df) elapsed time.time() - start print(fitertuples() 耗时: {elapsed:.4f} 秒 结果: {result:.6f})方法3使用apply(axis1) (谨慎使用)apply方法可以将一个函数应用到DataFrame的每一行或每一列。当axis1时就是按行应用。def sum_product_apply(row): return row[a] * row[b] start time.time() # 先计算每行的乘积再求和 result df.apply(sum_product_apply, axis1).sum() elapsed time.time() - start print(fapply(axis1) 耗时: {elapsed:.4f} 秒 结果: {result:.6f})apply比纯Python循环快因为它内部进行了一些优化但它依然是在行级别进行串行操作并非真正的向量化。方法4向量化操作 (最快)这才是pandas的正确打开方式。我们直接对整列进行操作。start time.time() result (df[a] * df[b]).sum() elapsed time.time() - start print(f向量化 (df[a] * df[b]).sum() 耗时: {elapsed:.6f} 秒 结果: {result:.6f})实测结果对比10万行数据环境不同结果有差异但量级关系不变:iterrows(): ~2.5 秒itertuples(): ~0.05 秒apply(axis1): ~1.8 秒向量化: ~0.001 秒差距有多大向量化方法比itertuples()快了约50倍比iterrows()快了超过2000倍这个差距随着数据量的增加会呈线性甚至更快的增长。核心原理向量化操作之所以快是因为它将整个计算任务推给了底层用C或Fortran编写的NumPy库。df[a] * df[b]这个操作并不是在Python中循环10万次而是由NumPy在连续的、类型统一的内存块数组上执行一次高度优化的、并行潜力高的批量乘法运算。这完全绕过了Python解释器的循环开销和每次迭代的对象创建开销。重要提示apply并不是“银弹”。很多人误以为用了apply就是向量化了其实不然。apply(axis1)仍然是按行调用Python函数只是比手写for循环稍快。它的性能介于循环和真正的向量化之间。对于复杂的、无法向量化的行逻辑apply是一个可读性较好的折中选择但性能绝非最优。4. 思维转变从“行遍历”到“列向量化”理解了性能差异后我们的目标就应该从“如何更快地遍历”转变为“如何避免遍历”。这需要一次思维模式的升级。4.1 识别可向量化的常见模式很多看似需要遍历的操作都可以用pandas内置的向量化函数或NumPy函数重写。场景一基于多个条件的复杂赋值遍历思维遍历每一行用if-elif-else判断然后给新列赋值。向量化思维使用np.select()或pd.cut()。# 假设根据分数score划分等级 df[score] np.random.randint(0, 101, sizen_rows) # 遍历方法 (慢) def assign_grade_loop(df): grades [] for idx, row in df.iterrows(): s row[score] if s 90: grades.append(A) elif s 80: grades.append(B) elif s 60: grades.append(C) else: grades.append(D) df[grade_loop] grades # 向量化方法 (快) conditions [ df[score] 90, df[score] 80, df[score] 60 ] choices [A, B, C] df[grade_vec] np.select(conditions, choices, defaultD)场景二行内跨列计算遍历思维遍历每一行计算该行几个列的最大值、平均值等。向量化思维使用DataFrame的axis1参数注意这个axis1是向量化操作和apply(axis1)不同。# 计算每行a, b, c三列的平均值 df[c] np.random.randn(n_rows) df[row_mean_loop] df.apply(lambda row: row[[a, b, c]].mean(), axis1) # 这是apply仍较慢 df[row_mean_vec] df[[a, b, c]].mean(axis1) # 这才是向量化极快场景三基于上一行值的计算遍历思维用循环记录上一行的值来计算当前行如计算差值、累积和。向量化思维使用shift()、diff()、cumsum()、pct_change()等pandas内置的窗口函数或移位函数。# 计算每日收益率今日价格/昨日价格 - 1 df[price] np.random.randn(n_rows).cumsum() 100 # 模拟价格序列 df[return_loop] 0.0 prev_price df.loc[0, price] for i in range(1, len(df)): df.loc[i, return_loop] df.loc[i, price] / prev_price - 1 prev_price df.loc[i, price] df[return_vec] df[price].pct_change() # 一行代码向量化完成4.2 处理真正无法向量化的行逻辑确实存在一些业务逻辑必须按行顺序处理且每行的处理结果依赖于复杂的、无法用向量化函数表达的规则或者依赖于外部API调用、文件读取等IO操作。对于这种情况首选itertuples()如果逻辑简单只是从每行提取数据做计算itertuples()是最佳循环选择。考虑apply(axis1)如果行处理逻辑是一个复杂的函数但仍是纯计算apply可以提供更好的代码可读性和封装性性能虽不如向量化但通常优于iterrows。终极方案使用swifter或numba(高级)swifter库可以自动判断apply函数能否向量化不能则尝试使用dask进行并行计算对于复杂函数有时能获得加速。numba是一个JIT即时编译库可以将你的Python函数编译成机器码。如果你能将自己的行处理函数用numba装饰并满足其类型约束可以获得接近C语言的性能。但这需要额外的学习成本。反思数据与流程设计有时候无法向量化可能意味着数据模型或业务流程可以优化。例如是否可以将一些预处理步骤提前是否可以用不同的数据结构如字典、集合进行预查询来加速行逻辑5. 高级技巧与实战中的避坑指南掌握了基本法则后我们来看看一些更具体、实战中必然会遇到的问题和技巧。5.1 遍历时修改原DataFrame的正确姿势如前所述通过iterrows()或itertuples()得到的行对象是副本直接修改无效。你必须通过索引来修改原数据。错误示范for idx, row in df.iterrows(): if row[score] 90: row[grade] 优秀 # 这只会修改row这个临时Series不会影响df正确方法# 方法A使用 .at 或 .loc (针对标量修改最快) for idx, row in df.iterrows(): if row[score] 90: df.at[idx, grade] 优秀 # .at 用于快速标量访问和赋值 # 方法B先收集结果再批量赋值 (更推荐) grades [] for row in df.itertuples(): if row.score 90: grades.append(优秀) else: grades.append(及格) df[grade] grades # 一次性赋值效率更高方法B通常优于方法A因为它减少了在循环内频繁索引DataFrame的次数而DataFrame的索引操作是有成本的。5.2 处理大数据集时的内存与性能考量当DataFrame大到无法一次性读入内存或者遍历耗时无法接受时你需要新的策略。分块处理 (Chunking)pandas的read_csv等IO函数支持chunksize参数可以迭代读取数据块。chunk_size 10000 result_list [] for chunk in pd.read_csv(huge_file.csv, chunksizechunk_size): # 对每个chunk进行处理可以是向量化操作也可以是必要的循环 processed_chunk chunk[chunk[value] 0] # 例如过滤 result_list.append(processed_chunk) # 最后将所有处理好的块合并 final_df pd.concat(result_list, ignore_indexTrue)这种方法将内存压力分散到每个数据块上。使用dask.dataframeDask是一个用于并行计算的库其dask.dataframe模块提供了一个类似于pandas的API但可以操作大于内存的数据集并自动在多核CPU上进行并行计算。它非常适合将已有的pandas代码进行分布式改造。import dask.dataframe as dd ddf dd.read_csv(huge_file.csv) # 后续操作语法和pandas非常相似但计算是惰性的、并行的 result_ddf ddf[ddf[value] 0].groupby(category).mean() result_ddf.compute() # 触发实际计算考虑其他工具对于超大规模数据可能需要用到PySpark基于Spark的Python API或专门的数据库进行预处理。5.3 避免在遍历中调用昂贵操作这是一个容易被忽略但影响巨大的点。例如在遍历每一行时去查询一个外部数据库、读取一个文件、或者调用一个复杂的网络API。# 极其低效的做法 def process_row(row): # 假设这是一个很耗时的操作比如调用API time.sleep(0.01) return row[a] * 2 for idx, row in df.iterrows(): df.at[idx, processed_a] process_row(row)优化思路批量操作如果外部服务支持尽可能将数据批量发送出去批量取回结果。并发/并行使用concurrent.futures.ThreadPoolExecutor或multiprocessing池来并行处理行数据充分利用I/O等待时间或CPU多核。缓存如果多次遍历中会重复查询相同数据使用缓存如functools.lru_cache可以避免重复的昂贵操作。6. 性能优化案例一个真实的数据清洗场景假设我们有一个用户行为日志DataFramelog_df包含user_id,action,timestamp。我们需要清洗数据并计算每个用户首次完成“购买”动作的时间。原始数据示例:user_id action timestamp 0 1 view 2023-10-01 10:00:00 1 1 click 2023-10-01 10:01:00 2 1 purchase 2023-10-01 10:02:00 3 2 view 2023-10-01 10:05:00 4 2 purchase 2023-10-01 10:06:00 5 1 view 2023-10-01 11:00:00 ...任务找出每个用户第一次发生purchase动作的时间。新手容易写的遍历代码result {} for idx, row in log_df.iterrows(): uid row[user_id] if row[action] purchase: if uid not in result: result[uid] row[timestamp] # 如果只想找第一次这里可以加 else: continue # 再将result字典转成DataFrame这段代码逻辑正确但如果数据有百万行速度会非常慢。向量化分组优化方案# 1. 首先过滤出所有购买记录 purchase_df log_df[log_df[action] purchase].copy() # 2. 按user_id分组并取每组时间戳的最小值即第一次购买时间 first_purchase_df purchase_df.groupby(user_id, as_indexFalse)[timestamp].min() # 3. 重命名列以清晰表达 first_purchase_df first_purchase_df.rename(columns{timestamp: first_purchase_time}) print(first_purchase_df)输出:user_id first_purchase_time 0 1 2023-10-01 10:02:00 1 2 2023-10-01 10:06:00性能与逻辑分析速度过滤(log_df[log_df[action] purchase])和分组聚合(groupby.min())都是高度向量化的pandas操作其性能比Python循环高出几个数量级。正确性groupby确保了每个用户只出现一次并且min()函数准确地找到了最早的时间戳。即使一个用户有多次购买记录也能正确找到第一次。可读性与维护性向量化代码更简洁意图更明确——“过滤出购买行为然后按用户分组找最小时间”。而循环代码需要读者跟踪字典状态和条件判断。这个案例清晰地展示了如何将“按行遍历判断”的思维转化为“按列过滤 - 按组聚合”的向量化思维。绝大多数基于分组、筛选、排序的统计需求都可以用groupby、filter、sort_values、drop_duplicates等内置方法高效完成根本无需遍历。7. 总结与核心建议回顾整篇文章关于“pandas按行遍历DataFrame”我们可以提炼出以下核心建议这也是我多年实战中总结出的血泪经验第一原则竭尽全力避免循环遍历。这是写高效pandas代码的“金科玉律”。在动手写for循环或apply(axis1)之前花10分钟思考一下这个任务能不能用过滤、聚合、移位、映射等向量化操作完成查阅pandas和NumPy的文档看看有没有现成的函数。这10分钟的思考可能换来成百上千倍的性能提升。如果必须遍历选择正确的工具性能优先选itertuples()对于简单的数据提取和计算它是性能最好的循环方式。逻辑复杂可考虑apply(axis1)当每行的处理逻辑是一个独立的复杂函数时apply能提供更好的代码组织但要对它的性能有清醒认识比向量化慢比itertuples可能也慢。永远把iterrows()作为最后的选择除非你需要行索引和Series的元数据否则不要用它。修改数据时注意数据副本问题。牢记iterrows()和itertuples()返回的是数据的副本。修改数据要通过df.at、df.loc或更推荐的做法——在循环外构建结果列表最后一次性赋值。面对大数据改变处理范式。当数据量超出单机内存或处理时间过长时不要再纠结于优化单次循环。转而考虑分块处理、使用并行计算框架如dask或pyspark或者重新设计流程将计算下推到更底层的数据库中去完成。最后也是最重要的培养向量化思维。这需要练习和经验。每次遇到需要遍历的场景都强迫自己寻找向量化的可能性。久而久之你会发现自己对pandas API的理解更加深刻写出的代码不仅运行快而且更加简洁、优雅、易于维护。这才是从“pandas使用者”进阶为“数据分析师”的关键一步。我自己也是在经历了无数次“为什么这么慢”的煎熬后才真正将这种思维内化。现在看到for循环和DataFrame出现在一起我的第一反应不是怎么写而是“能不能删掉它”。
Pandas DataFrame遍历性能优化：从iterrows到向量化操作实战指南
发布时间：2026/8/2 5:23:11
1. 为什么“按行遍历DataFrame”是个值得深究的话题刚接触pandas做数据分析的朋友十有八九都干过这事儿拿到一个DataFrame想对每一行数据做点处理比如计算、判断或者转换然后第一反应就是用for循环配合df.iterrows()。这看起来天经地义对吧毕竟我们学Python遍历列表、字典都是这么干的。但如果你真这么干了尤其是在数据量稍微大点比如超过几万行的时候很快就会发现程序慢得像蜗牛内存占用也可能悄悄飙升。这时候你可能会困惑我明明用的是号称“数据分析利器”的pandas怎么效率还不如纯Python列表这就是我们今天要彻底掰扯清楚的问题。pandas的DataFrame本质上是一个基于NumPy的二维标签化数据结构它的设计核心是列式操作和向量化计算以求达到C语言级别的执行效率。而按行遍历恰恰是在跟这个设计哲学“唱反调”将数据从高效的连续内存块中一行行提取成Python对象自然会引入巨大的开销。所以这个话题的关键不在于“会不会”而在于“什么时候该用”以及“有没有更好的替代方案”。网上搜“pandas遍历”iterrows和itertuples绝对是高频词但很多人只知其然不知其所以然更不清楚在它们之外还有更强大、更地道的“pandas式”解决方案。这篇文章我就结合自己多年在数据处理上踩过的坑带你从最基础的循环遍历讲起深入原理对比性能并给出不同场景下的最佳实践。目标很明确让你不仅知道怎么遍历更能深刻理解背后的代价并学会如何优雅地避免不必要的遍历写出既高效又地道的pandas代码。2. 初学者的常见起点iterrows() 与 itertuples()当我们从Excel或SQL的思维切换到pandas时按行处理数据是一种很自然的想法。pandas提供了两个直接用于行遍历的方法这也是大多数人最先接触到的。2.1 iterrows(): 最直观但性能堪忧的选择DataFrame.iterrows()会返回一个迭代器每次迭代产生一个(index, Series)对。这里的Series就是当前行的数据其索引是原DataFrame的列名。import pandas as pd df pd.DataFrame({A: [1, 2, 3], B: [a, b, c]}) print(df) for idx, row in df.iterrows(): print(f索引: {idx}, A列值: {row[A]}, B列值: {row[B]})输出:A B 0 1 a 1 2 b 2 3 c 索引: 0, A列值: 1, B列值: a 索引: 1, A列值: 2, B列值: b 索引: 2, A列值: 3, B列值: c为什么它慢对象创建开销iterrows()在每次迭代时都会在内存中新建一个pandas.Series对象。创建Python对象本身就有成本。类型推断与转换Series为了保持灵活性可能会改变原始数据的类型dtype。特别是当DataFrame各列数据类型不一致时Series需要找到一个能容纳所有列的通用类型可能导致数据被向上转换如整数变浮点数这个过程有损耗。索引对齐生成的Series保留了原始的列索引这带来了便利但也附加了额外的开销。注意iterrows()返回的Series是原始数据的一个视图view吗不它是一个拷贝copy。这意味着通过row[A] new_value修改row通常不会反映到原始的df中。你必须使用df.at[idx, A] new_value或df.loc[idx, A] new_value来修改原数据。这是一个非常常见的坑。2.2 itertuples(): 更快的替代方案但仍有局限DataFrame.itertuples()是更高效的行迭代方式。它返回一个迭代器每次迭代产生一个namedtuple默认或普通的tuple。namedtuple是Python标准库collections中的一种轻量级数据结构可以像对象一样通过属性访问也可以像元组一样通过下标访问。for row in df.itertuples(): # row是一个namedtuple例如 Pandas(Index0, A1, Ba) print(f索引: {row.Index}, A列值: {row.A}, B列值: {row.B}) # 也可以通过下标访问row[1] 对应 A列row[2] 对应 B列为什么它比iterrows()快更低级的对象namedtuple是Python内置的、用C实现的轻量级数据结构其创建和访问开销远小于功能完整的pandas.Series对象。避免类型混淆itertuples()直接返回每一行数据的Python原生类型int, float, str等省去了Series内部的类型管理和索引开销。内存布局更紧凑tuple的内存布局是连续且固定的访问速度更快。它的局限性是什么列名限制如果DataFrame的列名不是有效的Python标识符例如包含空格my column或以数字开头123colitertuples()在生成namedtuple时会自动将其重命名如空格变下划线这可能导致访问时的不一致。此时可以使用nameNone参数使其返回普通元组。修改原数据不便和iterrows()一样通过itertuples()迭代得到的行数据是原始数据的副本无法直接修改原DataFrame。依然是Python层面的循环尽管itertuples()本身很快但它依然是在Python解释器层面进行循环。当行数巨大百万级以上时即使是C语言级别的namedtuple数百万次的Python循环开销也会变得非常显著。实操心得如果业务逻辑必须要按行处理且行数在几千到小几万这个量级itertuples()通常是比iterrows()好得多的选择。你可以把它看作是一个性能优化后的“行提取器”。但在决定使用它之前一定要先问自己真的没有向量化的方法吗3. 性能对比实测向量化操作对循环的降维打击说一千道一万不如跑个分。我们通过一个简单的任务来直观感受不同方法的性能差异计算DataFrame中两列数值的乘积之和。假设我们有一个DataFramedf包含a和b两列随机数。import pandas as pd import numpy as np import time # 创建一个10万行数据的DataFrame np.random.seed(42) n_rows 100_000 df pd.DataFrame({ a: np.random.randn(n_rows), b: np.random.randn(n_rows) })方法1使用iterrows() (最慢)def sum_product_iterrows(df): total 0.0 for idx, row in df.iterrows(): total row[a] * row[b] return total start time.time() result sum_product_iterrows(df) elapsed time.time() - start print(fiterrows() 耗时: {elapsed:.4f} 秒 结果: {result:.6f})方法2使用itertuples() (较快)def sum_product_itertuples(df): total 0.0 for row in df.itertuples(indexFalse): # indexFalse 不包含索引字段更快 total row.a * row.b return total start time.time() result sum_product_itertuples(df) elapsed time.time() - start print(fitertuples() 耗时: {elapsed:.4f} 秒 结果: {result:.6f})方法3使用apply(axis1) (谨慎使用)apply方法可以将一个函数应用到DataFrame的每一行或每一列。当axis1时就是按行应用。def sum_product_apply(row): return row[a] * row[b] start time.time() # 先计算每行的乘积再求和 result df.apply(sum_product_apply, axis1).sum() elapsed time.time() - start print(fapply(axis1) 耗时: {elapsed:.4f} 秒 结果: {result:.6f})apply比纯Python循环快因为它内部进行了一些优化但它依然是在行级别进行串行操作并非真正的向量化。方法4向量化操作 (最快)这才是pandas的正确打开方式。我们直接对整列进行操作。start time.time() result (df[a] * df[b]).sum() elapsed time.time() - start print(f向量化 (df[a] * df[b]).sum() 耗时: {elapsed:.6f} 秒 结果: {result:.6f})实测结果对比10万行数据环境不同结果有差异但量级关系不变:iterrows(): ~2.5 秒itertuples(): ~0.05 秒apply(axis1): ~1.8 秒向量化: ~0.001 秒差距有多大向量化方法比itertuples()快了约50倍比iterrows()快了超过2000倍这个差距随着数据量的增加会呈线性甚至更快的增长。核心原理向量化操作之所以快是因为它将整个计算任务推给了底层用C或Fortran编写的NumPy库。df[a] * df[b]这个操作并不是在Python中循环10万次而是由NumPy在连续的、类型统一的内存块数组上执行一次高度优化的、并行潜力高的批量乘法运算。这完全绕过了Python解释器的循环开销和每次迭代的对象创建开销。重要提示apply并不是“银弹”。很多人误以为用了apply就是向量化了其实不然。apply(axis1)仍然是按行调用Python函数只是比手写for循环稍快。它的性能介于循环和真正的向量化之间。对于复杂的、无法向量化的行逻辑apply是一个可读性较好的折中选择但性能绝非最优。4. 思维转变从“行遍历”到“列向量化”理解了性能差异后我们的目标就应该从“如何更快地遍历”转变为“如何避免遍历”。这需要一次思维模式的升级。4.1 识别可向量化的常见模式很多看似需要遍历的操作都可以用pandas内置的向量化函数或NumPy函数重写。场景一基于多个条件的复杂赋值遍历思维遍历每一行用if-elif-else判断然后给新列赋值。向量化思维使用np.select()或pd.cut()。# 假设根据分数score划分等级 df[score] np.random.randint(0, 101, sizen_rows) # 遍历方法 (慢) def assign_grade_loop(df): grades [] for idx, row in df.iterrows(): s row[score] if s 90: grades.append(A) elif s 80: grades.append(B) elif s 60: grades.append(C) else: grades.append(D) df[grade_loop] grades # 向量化方法 (快) conditions [ df[score] 90, df[score] 80, df[score] 60 ] choices [A, B, C] df[grade_vec] np.select(conditions, choices, defaultD)场景二行内跨列计算遍历思维遍历每一行计算该行几个列的最大值、平均值等。向量化思维使用DataFrame的axis1参数注意这个axis1是向量化操作和apply(axis1)不同。# 计算每行a, b, c三列的平均值 df[c] np.random.randn(n_rows) df[row_mean_loop] df.apply(lambda row: row[[a, b, c]].mean(), axis1) # 这是apply仍较慢 df[row_mean_vec] df[[a, b, c]].mean(axis1) # 这才是向量化极快场景三基于上一行值的计算遍历思维用循环记录上一行的值来计算当前行如计算差值、累积和。向量化思维使用shift()、diff()、cumsum()、pct_change()等pandas内置的窗口函数或移位函数。# 计算每日收益率今日价格/昨日价格 - 1 df[price] np.random.randn(n_rows).cumsum() 100 # 模拟价格序列 df[return_loop] 0.0 prev_price df.loc[0, price] for i in range(1, len(df)): df.loc[i, return_loop] df.loc[i, price] / prev_price - 1 prev_price df.loc[i, price] df[return_vec] df[price].pct_change() # 一行代码向量化完成4.2 处理真正无法向量化的行逻辑确实存在一些业务逻辑必须按行顺序处理且每行的处理结果依赖于复杂的、无法用向量化函数表达的规则或者依赖于外部API调用、文件读取等IO操作。对于这种情况首选itertuples()如果逻辑简单只是从每行提取数据做计算itertuples()是最佳循环选择。考虑apply(axis1)如果行处理逻辑是一个复杂的函数但仍是纯计算apply可以提供更好的代码可读性和封装性性能虽不如向量化但通常优于iterrows。终极方案使用swifter或numba(高级)swifter库可以自动判断apply函数能否向量化不能则尝试使用dask进行并行计算对于复杂函数有时能获得加速。numba是一个JIT即时编译库可以将你的Python函数编译成机器码。如果你能将自己的行处理函数用numba装饰并满足其类型约束可以获得接近C语言的性能。但这需要额外的学习成本。反思数据与流程设计有时候无法向量化可能意味着数据模型或业务流程可以优化。例如是否可以将一些预处理步骤提前是否可以用不同的数据结构如字典、集合进行预查询来加速行逻辑5. 高级技巧与实战中的避坑指南掌握了基本法则后我们来看看一些更具体、实战中必然会遇到的问题和技巧。5.1 遍历时修改原DataFrame的正确姿势如前所述通过iterrows()或itertuples()得到的行对象是副本直接修改无效。你必须通过索引来修改原数据。错误示范for idx, row in df.iterrows(): if row[score] 90: row[grade] 优秀 # 这只会修改row这个临时Series不会影响df正确方法# 方法A使用 .at 或 .loc (针对标量修改最快) for idx, row in df.iterrows(): if row[score] 90: df.at[idx, grade] 优秀 # .at 用于快速标量访问和赋值 # 方法B先收集结果再批量赋值 (更推荐) grades [] for row in df.itertuples(): if row.score 90: grades.append(优秀) else: grades.append(及格) df[grade] grades # 一次性赋值效率更高方法B通常优于方法A因为它减少了在循环内频繁索引DataFrame的次数而DataFrame的索引操作是有成本的。5.2 处理大数据集时的内存与性能考量当DataFrame大到无法一次性读入内存或者遍历耗时无法接受时你需要新的策略。分块处理 (Chunking)pandas的read_csv等IO函数支持chunksize参数可以迭代读取数据块。chunk_size 10000 result_list [] for chunk in pd.read_csv(huge_file.csv, chunksizechunk_size): # 对每个chunk进行处理可以是向量化操作也可以是必要的循环 processed_chunk chunk[chunk[value] 0] # 例如过滤 result_list.append(processed_chunk) # 最后将所有处理好的块合并 final_df pd.concat(result_list, ignore_indexTrue)这种方法将内存压力分散到每个数据块上。使用dask.dataframeDask是一个用于并行计算的库其dask.dataframe模块提供了一个类似于pandas的API但可以操作大于内存的数据集并自动在多核CPU上进行并行计算。它非常适合将已有的pandas代码进行分布式改造。import dask.dataframe as dd ddf dd.read_csv(huge_file.csv) # 后续操作语法和pandas非常相似但计算是惰性的、并行的 result_ddf ddf[ddf[value] 0].groupby(category).mean() result_ddf.compute() # 触发实际计算考虑其他工具对于超大规模数据可能需要用到PySpark基于Spark的Python API或专门的数据库进行预处理。5.3 避免在遍历中调用昂贵操作这是一个容易被忽略但影响巨大的点。例如在遍历每一行时去查询一个外部数据库、读取一个文件、或者调用一个复杂的网络API。# 极其低效的做法 def process_row(row): # 假设这是一个很耗时的操作比如调用API time.sleep(0.01) return row[a] * 2 for idx, row in df.iterrows(): df.at[idx, processed_a] process_row(row)优化思路批量操作如果外部服务支持尽可能将数据批量发送出去批量取回结果。并发/并行使用concurrent.futures.ThreadPoolExecutor或multiprocessing池来并行处理行数据充分利用I/O等待时间或CPU多核。缓存如果多次遍历中会重复查询相同数据使用缓存如functools.lru_cache可以避免重复的昂贵操作。6. 性能优化案例一个真实的数据清洗场景假设我们有一个用户行为日志DataFramelog_df包含user_id,action,timestamp。我们需要清洗数据并计算每个用户首次完成“购买”动作的时间。原始数据示例:user_id action timestamp 0 1 view 2023-10-01 10:00:00 1 1 click 2023-10-01 10:01:00 2 1 purchase 2023-10-01 10:02:00 3 2 view 2023-10-01 10:05:00 4 2 purchase 2023-10-01 10:06:00 5 1 view 2023-10-01 11:00:00 ...任务找出每个用户第一次发生purchase动作的时间。新手容易写的遍历代码result {} for idx, row in log_df.iterrows(): uid row[user_id] if row[action] purchase: if uid not in result: result[uid] row[timestamp] # 如果只想找第一次这里可以加 else: continue # 再将result字典转成DataFrame这段代码逻辑正确但如果数据有百万行速度会非常慢。向量化分组优化方案# 1. 首先过滤出所有购买记录 purchase_df log_df[log_df[action] purchase].copy() # 2. 按user_id分组并取每组时间戳的最小值即第一次购买时间 first_purchase_df purchase_df.groupby(user_id, as_indexFalse)[timestamp].min() # 3. 重命名列以清晰表达 first_purchase_df first_purchase_df.rename(columns{timestamp: first_purchase_time}) print(first_purchase_df)输出:user_id first_purchase_time 0 1 2023-10-01 10:02:00 1 2 2023-10-01 10:06:00性能与逻辑分析速度过滤(log_df[log_df[action] purchase])和分组聚合(groupby.min())都是高度向量化的pandas操作其性能比Python循环高出几个数量级。正确性groupby确保了每个用户只出现一次并且min()函数准确地找到了最早的时间戳。即使一个用户有多次购买记录也能正确找到第一次。可读性与维护性向量化代码更简洁意图更明确——“过滤出购买行为然后按用户分组找最小时间”。而循环代码需要读者跟踪字典状态和条件判断。这个案例清晰地展示了如何将“按行遍历判断”的思维转化为“按列过滤 - 按组聚合”的向量化思维。绝大多数基于分组、筛选、排序的统计需求都可以用groupby、filter、sort_values、drop_duplicates等内置方法高效完成根本无需遍历。7. 总结与核心建议回顾整篇文章关于“pandas按行遍历DataFrame”我们可以提炼出以下核心建议这也是我多年实战中总结出的血泪经验第一原则竭尽全力避免循环遍历。这是写高效pandas代码的“金科玉律”。在动手写for循环或apply(axis1)之前花10分钟思考一下这个任务能不能用过滤、聚合、移位、映射等向量化操作完成查阅pandas和NumPy的文档看看有没有现成的函数。这10分钟的思考可能换来成百上千倍的性能提升。如果必须遍历选择正确的工具性能优先选itertuples()对于简单的数据提取和计算它是性能最好的循环方式。逻辑复杂可考虑apply(axis1)当每行的处理逻辑是一个独立的复杂函数时apply能提供更好的代码组织但要对它的性能有清醒认识比向量化慢比itertuples可能也慢。永远把iterrows()作为最后的选择除非你需要行索引和Series的元数据否则不要用它。修改数据时注意数据副本问题。牢记iterrows()和itertuples()返回的是数据的副本。修改数据要通过df.at、df.loc或更推荐的做法——在循环外构建结果列表最后一次性赋值。面对大数据改变处理范式。当数据量超出单机内存或处理时间过长时不要再纠结于优化单次循环。转而考虑分块处理、使用并行计算框架如dask或pyspark或者重新设计流程将计算下推到更底层的数据库中去完成。最后也是最重要的培养向量化思维。这需要练习和经验。每次遇到需要遍历的场景都强迫自己寻找向量化的可能性。久而久之你会发现自己对pandas API的理解更加深刻写出的代码不仅运行快而且更加简洁、优雅、易于维护。这才是从“pandas使用者”进阶为“数据分析师”的关键一步。我自己也是在经历了无数次“为什么这么慢”的煎熬后才真正将这种思维内化。现在看到for循环和DataFrame出现在一起我的第一反应不是怎么写而是“能不能删掉它”。
)
