尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

影刀RPA实操指南:闲鱼商品信息采集与价格监控方案

影刀RPA实操指南:闲鱼商品信息采集与价格监控方案 影刀RPA实操指南闲鱼商品信息采集与价格监控方案在闲鱼做二手生意的人都有这个痛点盯着几个关键词的行情手动搜一遍记一遍价格同行降价了你半天才知道等发现的时候好货早被别人拍走了。这篇教你用影刀RPA搭一套闲鱼商品采集加价格监控的方案自动搜索关键词、批量提取商品标题价格卖家信息写入Excel再和上一次的价格做对比低于你的心理价位自动发通知。我非技术出身用影刀RPA做了两年多电商采集这套监控方案帮我在二手数码上捡过不止一次漏思路和踩坑全在这篇里。闲鱼PC网页端的搜索列表是滚动加载的商品卡片结构带指纹class采集逻辑和主流电商接近但有两个特殊点一是搜索结果会混插推荐商品要靠字段判断过滤二是价格监控的核心不在采集而在「对比」和「告警」这两块的流程设计后面单独展开。认识与安装环境与登录态先就位影刀RPA官网下载客户端注册登录后第一件事装浏览器扩展客户端里点「浏览器扩展」选Chrome或Edge安装装好浏览器右上角出现影刀图标。闲鱼网页端需要登录才能看完整搜索结果先把账号在浏览器里登录好登录态会保存在浏览器配置里流程跑的时候直接复用。新建应用客户端点「新建应用」→「桌面应用」命名「闲鱼价格监控」。编辑器三区域左侧指令面板、中间流程画布、右侧详情面板。搜索框输入用「输入内容(网页)」指令时注意把「模拟人工输入」勾上闲鱼对输入行为比较敏感直接塞文本偶尔会触发验证。社区版每天运行时长有限制监控类任务单次十几分钟够用关键词多的话再升级创业版。元素定位四合一指纹class与商品卡片定位闲鱼商品卡片的class带构建指纹今天捕获明天失效是常态。四种定位手段的配合顺序捕获打底、改写XPath、CSS对照、正则清洗价格文本。捕获操作点顶部「捕获元素」按钮鼠标移到商品卡片出现橙色边框点击确认进元素编辑器逐级检查凡是class带长随机串的节点删掉class条件改用父容器加位置约束校验数量为1才收工。# 捕获元素闲鱼搜索结果单个商品卡片class前缀匹配绕开指纹 //div[starts-with(class,item)] # 模糊匹配卡片内的价格元素 //div[starts-with(class,item)]//*[contains(class,price)] # 参照物定位通过想要文本定位它前面的想要人数 //*[contains(text(),人想要)]/preceding-sibling::*[1] # 层级定位卡片内取卖家昵称防止抓到别的区域 //div[starts-with(class,item)]//*[contains(class,nick)]CSS选择器并列对照[class^item]前缀匹配等效XPath的starts-withdiv[class*price]匹配class含price的元素。选型一句话同层筛选两者皆可跨层级找父级兄弟只能XPath。价格文本抓回来形如「1,299」用正则把非数字字符剔掉再转数字逗号不处理转数字必报错。变量与数据类型监控数据的三张表结构流程维护的核心变量商品列表列表、当前商品字典、历史价格表字典商品标题做键、降价名单列表。商品字典固定键标题、价格、卖家、想要人数、发布时间、链接键名全小写统一。三个数据类型坑。一是价格含千分位逗号先「替换文本」删逗号再「转换为数字类型」我第一次做就栽在这个逗号上流程跑一半报类型错误。二是「想要人数」可能是空字符串转数字前判断非空空就默认0。三是历史价格表用标题做键有风险——同款商品不同卖家标题可能一样建议标题加卖家昵称组合做键字典取值前判断键是否存在不存在说明是新商品没有对比基线跳过对比只记录。流程控制滚动采集与对比告警两段式整体流程分两段第一段采集第二段对比告警中间用历史价格表连接。「打开网页」进闲鱼搜索页关键词从配置列表读取While循环「滚动网页」到底部每轮「获取相似元素列表」抓商品卡片列表长度不增长就跳出否则For遍历新增卡片提取字段采集完用「字符串是否包含」过滤标题含「回收」「换购」的插播条目第二段遍历商品和历史价格对比价差超阈值就进降价名单循环上限必须装。While条件除了「列表有增长」再加一个「滚动轮次小于30轮」的硬上限任何一条不满足就退出。滚动加载一旦页面异常没有上限的流程会滚到天荒地老这是采集流程的保命设置。Try-Catch的标准姿势每个商品的提取动作包在Try块里Catch块「输出日志」记录标题和报错后继续下一个最后Finally里统一关标签页。个别卡片结构异常不该打断整轮采集一条鱼的异常废掉一池塘不划算。网页自动化滚动加载与登录态检测闲鱼搜索列表的懒加载处理滚动到底、等1秒、重新抓列表、对比长度长度不变即到底。「滚动网页」指令location选「bottom」behavior选「instant」偶发漏加载就补一次平滑滚动。等待用「等待元素出现」指定商品容器超时10秒别用固定秒数干等。登录态检测放在流程第一步用「判断元素是否存在」检查页面上有没有登录引导按钮存在说明登录态失效直接「输出日志」告警退出或配自动重登别让流程对着未登录页面空转采集采回来的全是要登录的提示页数据。还有一种坑是搜索结果里的插播推荐和顶部广告结构上和普通商品卡片相似靠标题关键词和「人想要」字段有无来过滤。窗口管理点进商品详情页开新标签页用「获取已打开的网页对象」重新获取对象抓完「关闭标签页」回列表。监控方案里其实可以不进详情页列表卡片上的字段就够做价格对比少一层跳转少一分出错概率我的建议是详情页只对降价名单里的商品开放按需进入。数据处理Excel历史表与降价告警落表结构「打开Excel工作簿」建监控文件两个工作表——「当日快照」存当天全部商品「降价记录」只存触发阈值的。循环内「写入行数据到表格」逐条追加结束时「关闭工作簿」。历史基线也可以存SQLite商品键建UNIQUE索引量大之后查询对比比Excel快得多。价格对比的核心逻辑用Python节点封装输入输出写清楚defmain(args):# 输入items_list今日商品字典列表price_map昨日价格字典标题_卖家做键# 输出dropped_list降幅超阈值的商品列表THRESHOLD0.1# 降幅阈值10%可改成参数传入dropped_list[]foritinitems_list:keyit[标题]_it[卖家]# 组合键防止同款不同卖家误判oldprice_map.get(key)ifoldandit[价格]old*(1-THRESHOLD):# 有基线且降幅达标it[昨日价格]old dropped_list.append(it)returndropped_list降价名单出来后接通知飞书群机器人Webhook发一条「商品X从Y降到Z链接在Excel第N行」或者「发送邮件」投到邮箱。我自己的习惯是阈值设10%设5%的话一天十几条通知看不过来的通知等于没有通知。鼠标键盘图像搜索输入与验证兜底搜索框输入用「输入内容(网页)」加模拟人工模式逐字符输入比直接塞文本稳。个别场景要点击「筛选」按钮按价格排序排序后的列表更好做对比筛选面板里个别控件定位异常就用图像识别兜底截图按钮、图像点击、锚点middleCenter图像识别对分辨率敏感固定电脑跑没问题。真碰到滑块验证别硬刚降速是根本解法每次滚动之间加1到3秒随机等待关键词轮询之间间隔拉长一天采三轮比一小时采十轮安全得多。验证码识别指令虽有但那是最后手段频率控制才是监控类流程的生存之道。进阶技能与系统联动进阶方向「HTTP 请求」调闲鱼的数据接口做无界面采集效率高但参数会变页面路线保底pandas做多日趋势——把每天的快照按日期合并算出每个商品的价格曲线哪些是真降价哪些是先涨后降的套路一目了然。系统联动把监控变成服务计划任务每天早中晚各跑一次「计划任务」配置里错峰设置避免多任务打架跑完「发送飞书消息」报「本次监控N个商品降价M个」降价名单同步写飞书多维表格手机上直接看好货出现十分钟内就能响应这就是监控方案相对人工盯盘的全部价值。工程化规范配置分离与调试流程拆成五个子流程「01_登录态检测」「02_关键词搜索采集」「03_数据清洗过滤」「04_价格对比」「05_写入与通知」关键词列表和降价阈值做成流程参数改监控对象不用动流程。命名编号前缀子流程右键可单独调试。调试重点盯三处相似元素列表长度归零定位失效或登录态丢失、价格转数字是否成功逗号和空值、对比键是否有基线新商品跳过。日志三层开始打「关键词X个阈值Y%」中间每个关键词打「采集N条命中M条」结束打「降价K个已通知」。出问题翻日志定位到关键词和轮次不用重跑全流程。易错速查表现象原因解决价格转数字报错千分位逗号未清先替换逗号再转换采到一堆登录页登录态失效开头检测登录引导并告警同款商品误报降价对比键只用标题标题加卖家昵称组合键数据越采越少被风控跳转加随机延迟降低频率滚动停不下来无轮次上限While加30轮硬上限混入插播推荐卡片结构相似标题关键词与字段过滤通知太多看不过来阈值设太低降幅阈值提到10%指令执行没反应作用在旧标签页重新获取网页对象学习资源与延伸阅读懒加载滚动、相似元素循环、计划任务配置这些知识点官方指令文档都有专门帮助页参数细节以文档为准。这套闲鱼商品采集与价格监控的完整流程源码我放在代码仓库 home.linyan.cloud可以直接参考改造关键词列表、降价阈值、执行时间表都是暴露的参数改成你的监控品类只需要动配置。#影刀RPA #RPA自动化 #闲鱼采集 #价格监控 #电商自动化作者林焱
返回列表