Pandas isin()函数详解：高效多值筛选与数据过滤实战

1. 项目概述为什么isin()值得你花时间深究在数据分析的日常里筛选数据是最高频的操作没有之一。你可能已经习惯了用df[df[‘column’] ‘value’]或者df.query(‘column “value”’)这样的方式。但当你面对的条件不是单一的“等于”而是一个长长的候选值列表时比如“筛选出北京、上海、广州、深圳这四个城市的数据”或者“找出属于某几个特定产品ID的所有订单”你会怎么写用or连一连写个循环还是嵌套一堆判断这些方法要么冗长要么低效。这时候pandas.Series.isin()和pandas.DataFrame.isin()就该登场了。这个函数的名字直白得可爱——“是否在……里面”。它的核心功能就是检查序列或数据框中的每个元素是否存在于你给定的一个可迭代对象列表、元组、集合、Series等中并返回一个布尔值的序列或数据框。这个布尔结果就是进行数据筛选最直接的“钥匙”。我之所以觉得有必要专门聊聊isin()是因为它看似简单但用好了能极大提升代码的简洁性和执行效率。很多新手朋友只是把它当作一个“多值匹配”的替代品却忽略了它在处理复杂条件、结合其他函数、以及性能优化上的潜力。尤其是在处理大规模数据时一个优雅的isin()用法可能比写好几行循环判断要快得多。接下来我们就把它掰开揉碎了讲清楚。2. isin() 的核心机制与基础用法拆解2.1 函数原型与返回值本质我们先从最根本的地方说起。isin()方法作用于一个Series或DataFrame。对于Series它的基本调用形式是Series.isin(values)。这里的values可以是一个列表list、元组tuple、集合set、或者另一个Series。函数会拿Series里的每一个元素去和values里的每一个值进行比对。注意这里的比对默认是精确匹配并且对数据类型敏感。一个整数1和一个字符串’1’是不同的。它返回的是一个与原始Series长度相同的布尔型Seriesdtype: bool。对应位置为True表示原始Series中该位置的元素存在于values中为False则表示不存在。import pandas as pd # 创建一个示例Series s pd.Series([‘cat’, ‘dog’, ‘rabbit’, ‘cat’, ‘bird’]) # 检查元素是否在给定的列表中 mask s.isin([‘cat’, ‘dog’]) print(mask) # 输出 # 0 True # 1 True # 2 False # 3 True # 4 False # dtype: bool拿到这个布尔序列mask后最常用的就是用它来索引原Series实现筛选filtered_s s[mask] print(filtered_s) # 输出 # 0 cat # 1 dog # 3 cat # dtype: object对于DataFramedf.isin(values)的行为是逐元素检查。values同样可以是一个列表等可迭代对象或者一个字典dict。它返回的是一个与原始DataFrame形状相同的布尔型DataFrame。df pd.DataFrame({‘A’: [1, 2, 3], ‘B’: [‘a’, ‘b’, ‘c’], ‘C’: [4.0, 5.0, 6.0]}) print(df.isin([1, ‘b’, 5.0])) # 输出 # A B C # 0 True False False # 1 False True False # 2 False False False可以看到它遍历了df的每一个单元格检查其值是否在列表[1, ‘b’, 5.0]里。第0行A列的1、第1行B列的’b’匹配成功返回True。注意DataFrame.isin()的这种“全域扫描”特性在使用时需要留意。如果你只想针对特定列进行匹配更常见的做法是先选取该列再使用Series.isin()或者使用字典参数这在下文会讲到。2.2 参数values的多种形态与选择策略values参数是isin()的灵魂它的形态决定了匹配的规则。理解不同形态的差异是高效使用isin()的关键。列表List/元组Tuple最常用的形式适用于静态的、已知的候选值集合。列表是可变的元组是不可变的在isin()的上下文中两者功能几乎无差可以根据你的数据是否需要修改来选择。cities [‘北京’, ‘上海’, ‘广州’, ‘深圳’] df[‘city’].isin(cities)集合Set强烈推荐在性能敏感的场景下使用集合。因为集合set在Python底层是基于哈希表实现的其in操作的平均时间复杂度是O(1)而列表是O(n)。当你的候选值列表很长时比如成千上万个使用集合可以显著提升isin()的速度。# 假设product_ids是一个很长的列表 product_id_list [‘P1001’, ‘P1002’, …] # 很长 # 转换为集合再传入 product_id_set set(product_id_list) df[‘product_id’].isin(product_id_set) # 更快Series这是非常强大的一种用法意味着你可以用另一个Series作为筛选标准。这在需要动态匹配或关联查询时极其有用。例如从订单表里筛选出用户表里“VIP用户”的所有订单。vip_users user_df[user_df[‘is_vip’] True][‘user_id’] # 这是一个Series vip_orders order_df[order_df[‘user_id’].isin(vip_users)]这里order_df[‘user_id’]中的每个值会与vip_users这个Series中的每个值进行匹配。注意用作values的Series其索引index在匹配中不参与比较只有它的值values被用来构建内部查找表。字典Dict仅适用于DataFrame.isin()。字典允许你为不同的列指定不同的候选值列表实现精准的、按列定义的匹配规则。字典的键key是列名值value是对应列的候选列表。df pd.DataFrame({‘A’: [1, 2, 3, 4], ‘B’: [2, 3, 4, 5]}) # 对A列检查值是否在[1, 3]中对B列检查值是否在[3, 5]中 mask_df df.isin({‘A’: [1, 3], ‘B’: [3, 5]}) print(mask_df) # 输出 # A B # 0 True False # 1 False False # 2 True False # 3 False True如果某列不在字典中则该列所有位置的结果都是False。这个功能在需要同时对多列应用不同过滤条件时非常方便避免了分别对每列操作再合并的繁琐。3. 高级应用场景与组合技巧掌握了基础我们就可以玩些花样了。isin()的真正威力在于和其他Pandas操作、Python语法的结合。3.1 实现“非”逻辑筛选不在列表中的数据isin()返回的是“在列表中”那如何筛选“不在列表中”的数据呢利用布尔取反操作符~。s pd.Series([‘cat’, ‘dog’, ‘rabbit’, ‘cat’, ‘bird’]) # 筛选出既不是cat也不是dog的动物 not_cat_dog s[~s.isin([‘cat’, ‘dog’])] print(not_cat_dog) # 输出 # 2 rabbit # 4 bird # dtype: object这里的~会对布尔序列进行逐元素取反True变FalseFalse变True从而实现了逻辑的翻转。3.2 多列联合条件筛选业务需求很少只基于一列筛选。常需要结合多列条件例如“城市在[‘北京’’上海’]且订单状态为’已完成’”。这时需要将isin()产生的布尔序列与其他条件用逻辑运算符组合。# 假设df有‘city’和‘status’两列 target_cities [‘北京’, ‘上海’] df_filtered df[df[‘city’].isin(target_cities) (df[‘status’] ‘已完成’)]注意每个条件都要用括号()括起来因为(与)、|(或) 等位运算符的优先级高于比较运算符。不加括号可能会导致逻辑错误。更复杂的你可能需要“城市在列表A且产品类型在列表B或销售额大于阈值”。只要理清逻辑用括号组织好布尔序列isin()可以无缝嵌入其中。condition (df[‘city’].isin(city_list_A)) ((df[‘product_type’].isin(type_list_B)) | (df[‘sales’] 1000)) df_complex df[condition]3.3 与groupby、apply等操作的联动isin()也常用于分组或应用函数前的预处理。例如我们只想对某几个特定类别的数据做分组聚合# 只分析‘电子产品’和‘家居用品’这两个大类的销售情况 categories_to_analyze [‘电子产品’, ‘家居用品’] df_subset df[df[‘category’].isin(categories_to_analyze)] summary df_subset.groupby(‘category’)[‘sales’].sum()或者在apply函数中结合isin()进行行级别的复杂判断def tag_row(row): if row[‘department’].isin([‘研发部’, ‘设计部’]).any() and row[‘budget’] 100000: return ‘重点高预算项目’ else: return ‘常规项目’ # 注意这里假设row是一个Series如果df.isin返回的是DataFrame则需要按列处理 # 更常见的做法是在apply的axis1方向对每一行单独判断 df[‘project_tag’] df.apply(lambda row: ‘重点高预算项目’ if (row[‘department’] in [‘研发部’, ‘设计部’] and row[‘budget’] 100000) else ‘常规项目’, axis1) # 上面的例子更清晰地展示了行内判断isin用于单值row[‘department’]时其实就是‘in’操作。3.4 处理缺失值NaN的注意事项这是一个极易踩坑的点。在Pandas中NaNNot a Number代表缺失值它有一个重要特性NaN ! NaN。也就是说两个NaN在比较时是不相等的。这个特性也延续到了isin()中。s_with_nan pd.Series([1.0, 2.0, None, 3.0, np.nan]) print(s_with_nan.isin([2.0, np.nan])) # 输出 # 0 False # 1 True # 2 False # 注意这里的None在浮点序列中也是NaN没有被匹配到 # 3 False # 4 False # 注意这里的np.nan也没有被匹配到你会发现无论是None还是np.nan都没有被isin([…, np.nan])匹配成功。因为np.nan in [np.nan]这个判断在Python底层就是False。如何筛选出缺失值正确的做法是使用pd.isna()或isnull()函数。# 筛选出缺失值 nan_mask s_with_nan.isna() # 或 pd.isnull(s_with_nan) print(s_with_nan[nan_mask]) # 输出 # 2 NaN # 4 NaN # dtype: float64 # 筛选出非缺失值 not_nan_mask s_with_nan.notna() # 或 ~s_with_nan.isna()如果你确实想用isin()来匹配一个包含NaN的列表并期望它能匹配到数据中的NaN目前需要一些变通方法比如先填充一个唯一标识符。但在绝大多数情况下直接使用isna()是更清晰、更高效的选择。4. 性能优化与避坑指南4.1 性能对比列表 vs. 集合前面提到过集合的性能优势我们来直观感受一下。创建一个包含10万个随机字符串的Series和一个包含1万个候选值的列表/集合。import pandas as pd import numpy as np import time # 生成测试数据 n_data 100000 n_values 10000 data_series pd.Series(np.random.choice([f’str_{i}’ for i in range(n_data*2)], n_data)) values_list [f’str_{i*2}’ for i in range(n_values)] # 取一部分作为候选值 values_set set(values_list) # 测试列表 start time.time() mask_list data_series.isin(values_list) time_list time.time() - start # 测试集合 start time.time() mask_set data_series.isin(values_set) time_set time.time() - start print(f“使用列表耗时: {time_list:.4f} 秒”) print(f“使用集合耗时: {time_set:.4f} 秒”) print(f“集合比列表快: {time_list/time_set:.2f} 倍”)在我的测试环境中使用集合通常比使用列表快2到5倍甚至更多具体倍数取决于数据规模和候选值数量。当候选值列表很长时这个优势会非常明显。所以养成习惯如果候选值是静态的、不需要保持顺序的优先转换成set再传入isin()。4.2 避免在循环中重复调用另一个常见的性能陷阱是在循环内部反复调用isin()进行小规模筛选。例如# 低效做法 results [] for city in city_list: subset df[df[‘city’].isin([city])] # 每次只匹配一个城市 # … 对subset进行处理 results.append(…)这里每次循环都调用一次isin()如果city_list很大且df也很大开销会非常大。高效做法将循环逻辑向量化。如果可能一次性用所有城市进行筛选或者利用分组groupby。# 高效做法1一次性筛选然后分组处理 filtered_df df[df[‘city’].isin(city_list)] grouped filtered_df.groupby(‘city’) for city, group in grouped: # 直接处理每个城市组 group … # 高效做法2如果后续处理逻辑复杂可以结合字典映射 city_data_dict {city: df[df[‘city’] city] for city in city_list} # 但注意这种字典推导式如果city_list很大也会创建很多子DataFrame视图内存开销需考虑。核心思想是尽量减少对大型DataFrame的重复扫描和布尔索引创建。4.3 数据类型一致性陷阱isin()进行的是精确匹配数据类型必须一致。s_int pd.Series([1, 2, 3, 4, 5]) print(s_int.isin([‘1’, ‘2’])) # 全部是False因为整数1不等于字符串‘1’ print(s_int.isin([1, 2])) # 前两个为True如果你的数据中某列看起来是数字但实际是字符串类型比如从CSV读取未指定类型而你的候选列表是整数就会匹配失败。在调用isin()前务必使用df.dtypes检查列的数据类型必要时用astype()进行转换。df[‘id’] df[‘id’].astype(int) # 确保类型一致 df_filtered df[df[‘id’].isin(target_id_list)]4.4 大数据下的内存考虑当对一个非常大的DataFrame使用isin()且候选值列表也非常大时会产生一个巨大的布尔矩阵对于DataFrame.isin或布尔序列。虽然布尔类型只占1个字节但在数据量极大时数十亿单元格这个中间结果也会消耗可观的内存。对于DataFrame.isin()如果只是想基于某几列筛选更推荐分别对这些列使用Series.isin()生成布尔序列再用逻辑运算合并而不是直接用df.isin(dict)生成整个布尔DataFrame。后者会为所有列计算可能产生不必要的内存开销。# 假设我们只想根据A列和B列筛选 mask_a df[‘A’].isin(list_a) mask_b df[‘B’].isin(list_b) combined_mask mask_a mask_b # 或其他逻辑 df_filtered df[combined_mask]5. 实战案例从数据清洗到复杂查询让我们通过一个模拟的电商订单数据分析场景串联isin()的各种用法。假设我们有一个订单DataFrameorders_dfimport pandas as pd import numpy as np np.random.seed(42) # 固定随机种子确保结果可复现 n_orders 10000 orders_df pd.DataFrame({ ‘order_id’: range(1000, 1000 n_orders), ‘user_id’: np.random.choice([‘U1001’, ‘U1002’, ‘U1003’, ‘U1004’, ‘U1005’, ‘U1006’], n_orders), ‘product_id’: np.random.choice([‘P001’, ‘P002’, ‘P003’, ‘P004’, ‘P005’, ‘P006’, ‘P007’], n_orders), ‘city’: np.random.choice([‘北京’, ‘上海’, ‘广州’, ‘深圳’, ‘杭州’, ‘成都’, ‘西安’, np.nan], n_orders), ‘category’: np.random.choice([‘电子产品’, ‘服装’, ‘家居’, ‘图书’, ‘食品’], n_orders), ‘amount’: np.round(np.random.uniform(50, 500, n_orders), 2), ‘status’: np.random.choice([‘已完成’, ‘已发货’, ‘待付款’, ‘已取消’], n_orders) }) print(orders_df.head())场景1基础筛选——找出特定城市的所有订单市场部想要分析一线城市的订单表现。first_tier_cities [‘北京’, ‘上海’, ‘广州’, ‘深圳’] first_tier_orders orders_df[orders_df[‘city’].isin(first_tier_cities)] print(f“一线城市订单数: {len(first_tier_orders)}”)场景2组合条件——找出特定城市中已完成的高金额订单300元high_value_orders orders_df[ orders_df[‘city’].isin(first_tier_cities) (orders_df[‘status’] ‘已完成’) (orders_df[‘amount’] 300) ] print(f“一线城市已完成的高金额订单数: {len(high_value_orders)}”)场景3反向筛选——找出非一线城市且非“已取消”状态的订单valid_orders orders_df[ ~orders_df[‘city’].isin(first_tier_cities) (orders_df[‘status’] ! ‘已取消’) ] # 注意这里 city 列有 NaN~isin 也会把 NaN 选进来因为 NaN not in list 的结果是 True。 # 如果不想包含城市为NaN的订单需要额外条件 valid_orders_clean orders_df[ ~orders_df[‘city’].isin(first_tier_cities) (orders_df[‘status’] ! ‘已取消’) orders_df[‘city’].notna() ]场景4动态匹配——找出VIP用户来自另一张表的所有订单假设我们有用户表users_df其中标记了VIP用户。users_df pd.DataFrame({ ‘user_id’: [‘U1001’, ‘U1002’, ‘U1003’, ‘U1004’, ‘U1005’, ‘U1006’], ‘is_vip’: [True, False, True, False, False, True] }) vip_user_ids users_df[users_df[‘is_vip’]][‘user_id’] # 得到一个Series vip_orders orders_df[orders_df[‘user_id’].isin(vip_user_ids)] print(f“VIP用户订单数: {len(vip_orders)}”)场景5多列字典匹配——同时筛选特定产品和特定类别的订单运营需要查看产品 ‘P001’, ‘P002’ 在 ‘电子产品’ 和 ‘家居’ 类别下的情况。# 使用字典指定不同列的筛选列表 condition_dict { ‘product_id’: [‘P001’, ‘P002’], ‘category’: [‘电子产品’, ‘家居’] } # 注意DataFrame.isin 是逐元素检查这里要求同一行必须同时满足两列都在各自列表里是‘且’的关系。 mask_complex orders_df.isin(condition_dict) # mask_complex 是一个布尔DataFrame我们需要的是两列都为True的行 final_mask mask_complex[‘product_id’] mask_complex[‘category’] target_orders orders_df[final_mask] print(f“目标订单数: {len(target_orders)}”)场景6处理缺失值——找出城市信息缺失的订单并进行填充# 找出城市为NaN的订单 null_city_orders orders_df[orders_df[‘city’].isna()] print(f“城市信息缺失的订单数: {len(null_city_orders)}”) # 假设我们根据用户ID的规律推断部分缺失城市此处仅为示例逻辑 def infer_city(user_id): # 一个虚构的规则用户ID末尾数字奇偶对应不同城市 if user_id[-1] in [‘1’, ‘3’, ‘5’]: return ‘北京’ else: return ‘上海’ # 填充缺失值 (使用loc避免SettingWithCopyWarning) orders_df.loc[orders_df[‘city’].isna(), ‘city’] orders_df.loc[orders_df[‘city’].isna(), ‘user_id’].apply(infer_city) # 验证是否还有缺失 print(f“填充后城市缺失的订单数: {orders_df[‘city’].isna().sum()}”)通过这些连贯的场景你应该能感受到isin()如何从一个简单的成员检查函数演变成数据处理流水线中一个灵活而强大的筛选组件。它的价值不在于多复杂的算法而在于用声明式的方式清晰、高效地表达了“属于某个集合”这个非常普遍的业务逻辑。