1. 项目缘起与核心挑战最近在做一个关于社交媒体用户画像分析的小项目需要获取一批抖音用户的粉丝数据。一开始我理所当然地想到了传统的网络爬虫用Python的requests库去模拟请求。但实际操作下来发现抖音的防护措施比想象中严密得多。核心接口都做了强加密和风控直接抓包拿到的数据要么是乱码要么请求几次就被封IP、封设备甚至账号都收到风险提示。这让我意识到在移动互联网时代针对App的数据采集尤其是像抖音这样体量的超级App传统的HTTP爬虫路径已经越来越窄。这时一个思路浮现出来既然从网络协议层突破困难重重何不“退回”到用户操作的层面我们每天不都是通过手指在手机屏幕上滑动、点击来使用抖音的吗如果我能用程序模拟这套操作不就能像真人一样自然地浏览页面并获取屏幕上显示的信息了吗这个技术就是Appium。它本质上是一个移动端自动化测试框架但用在数据采集上就成了一个“物理外挂”——通过代码控制手机执行点击、滑动等操作然后从App的UI界面上解析出我们需要的数据比如粉丝数、粉丝列表等。这个项目的核心价值在于绕过复杂的接口加密。我不需要去逆向抖音的签名算法也不需要去维护一堆代理IP池来对抗封禁。我只需要关心如何用代码找到“粉丝”那个按钮并点击如何滑动列表以及如何从每一行用户信息中提取出昵称、ID等文本。这听起来很“笨”但实则非常稳健因为它模拟的是最原始、最合规的用户交互行为。当然这带来了新的挑战执行效率比直接调用API慢、环境稳定性依赖真机或模拟器以及UI布局变化抖音App一更新元素定位可能就失效了。接下来我就把这次用Appium抓取抖音粉丝信息的完整过程、踩过的坑以及一些优化心得分享出来。2. 环境搭建与核心工具选型工欲善其事必先利其器。用Appium做自动化环境配置是第一步也是劝退很多新手的门槛。这里我详细拆解每一步并提供避坑指南。2.1 Appium Server与客户端的部署Appium架构是C/S模式。Server端负责接收我们编写的测试脚本客户端发来的指令并将其转化为手机系统Android/iOS能识别的自动化命令通过UIAutomator2/XCUITest等驱动。所以我们需要两部分Appium Server推荐直接使用官方提供的桌面版Appium Desktop。它集成了图形界面和Server对于新手来说可以直观地启动服务、录制元素定位信息非常友好。从官网下载安装即可。当然如果你追求轻量和命令行控制也可以用npm安装npm install -g appium。但桌面版自带Inspector工具初期强烈推荐。客户端库我们的Python脚本需要调用Appium的接口。这就是客户端库。最常用的是Appium-Python-Client。pip install Appium-Python-Client同时确保你已安装selenium因为Appium扩展了Selenium的WebDriver协议。注意Appium Desktop版本和Appium-Python-Client库版本可能存在兼容性问题。如果遇到连接失败或奇怪的错误可以尝试指定较稳定的版本组合例如appium2.0.0配合Appium-Python-Client2.11.1。2.2 安卓开发环境与设备准备Appium控制安卓设备依赖Android SDK。你需要安装并配置好以下两项Android SDK Command-line Tools不需要完整的Android Studio下载命令行工具包即可。关键是配置环境变量ANDROID_HOME指向你的SDK根目录。将%ANDROID_HOME%\platform-tools和%ANDROID_HOME%\tools添加到系统的PATH变量中。 配置完成后在命令行输入adb version能显示版本号即表示成功。设备连接可以是真机也可以是模拟器如Android Studio自带的AVD或更轻量的Genymotion。真机开启手机的“开发者选项”和“USB调试”。用USB线连接电脑在命令行执行adb devices看到设备序列号即为连接成功。模拟器启动模拟器后同样用adb devices确认连接。2.3 抖音App的准备与关键设置直接从应用商店安装抖音即可。但有几个设置对自动化运行至关重要必须在开始脚本前手动完成登录账号用一个稳定的、不重要的账号登录。自动化操作可能会被系统判定为异常存在一定风险。关闭青少年模式青少年模式会限制很多功能并可能弹出干扰窗口。处理弹窗首次启动或更新后抖音可能会有“隐私协议确认”、“通知权限询问”等弹窗。我们需要在脚本中编写处理这些弹窗的逻辑但事先手动点掉它们可以让第一次运行更顺利。进入目标用户主页我们的目标是抓取某个用户的粉丝列表。你需要知道该用户的抖音号或昵称并手动搜索进入其个人主页。因为从“首页”自动搜索并进入指定用户主页的流程涉及的元素定位和步骤更复杂初期我们可以简化流程直接从已知主页开始。环境搭建的核心是耐心和细心尤其环境变量和ADB连接一个问题卡半天是常事。建议每完成一步都用一个简单命令如adb devices验证一下。3. 脚本核心设计从手动操作到代码逻辑自动化脚本的本质是将人的操作流程翻译成代码。我们先梳理手动查看粉丝列表的步骤再将其转化为Appium脚本逻辑。3.1 操作流程拆解与元素定位策略假设我们已经停留在目标用户的抖音个人主页。手动获取粉丝信息的流程是点击主页上“粉丝”数量旁边的文字通常是“粉丝”二字。等待粉丝列表页面加载。在粉丝列表页面不断向上滑动加载更多粉丝。对于列表中的每一个粉丝条目眼睛看到并识别出“昵称”和“抖音号”如果有。对应到Appium脚本我们需要解决两个核心问题找到元素和操作元素。元素定位是Appium自动化的基石。抖音的界面元素可以通过多种属性定位resource-id最理想的选择类似于Web中的ID通常唯一。例如粉丝按钮的id可能是com.ss.android.ugc.aweme:id/xx。可以通过Appium Inspector工具查看。text通过元素的文本内容定位如点击文本为“粉丝”的按钮。但要注意同一文本可能出现在多处。xpath最强大也最灵活的定位方式可以通过元素的层级关系精准定位。但缺点是如果UI结构微调xpath就容易失效。对于抖音粉丝列表每个粉丝项通常是一个复杂的布局。通过Inspector查看它可能是一个LinearLayout或RelativeLayout内部包含头像ImageView、昵称TextView、抖音号TextView和一个“关注”按钮。我们的目标是提取昵称和抖音号这两个文本字段。定位策略心得优先使用resource-id因为它最稳定。对于列表中的相似项如每个粉丝条目通常它们的resource-id是相同的例如com.ss.android.ugc.aweme:id/user_item_container。这时我们可以用find_elements注意是复数来获取当前页面所有粉丝条目的元素对象列表然后遍历这个列表在每个元素内部再使用相对定位如find_element_by_id来查找昵称和ID。绝对不要依赖具体的屏幕坐标进行定位App一更新或屏幕尺寸一变就全完了。3.2 代码结构设计与关键参数解析一个健壮的脚本应该有清晰的结构。下面是一个Python脚本的核心框架和关键代码段from appium import webdriver from appium.webdriver.common.appiumby import AppiumBy from selenium.common.exceptions import NoSuchElementException, TimeoutException from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # 1. 定义设备连接能力Desired Capabilities desired_caps { platformName: Android, # 平台 platformVersion: 13, # 安卓版本根据你的设备填写 deviceName: your_device_serial, # 通过 adb devices 获取的设备名 appPackage: com.ss.android.ugc.aweme, # 抖音的包名 appActivity: .main.MainActivity, # 抖音的主活动通常这个就行 noReset: True, # 非常重要不重置App数据保持登录状态 unicodeKeyboard: True, # 启用Unicode键盘方便输入 resetKeyboard: True, # 重置键盘避免冲突 automationName: UiAutomator2 # 安卓自动化引擎 } # 2. 连接Appium Server driver webdriver.Remote(http://localhost:4723/wd/hub, desired_caps) wait WebDriverWait(driver, 10) # 设置显式等待最多等10秒 try: # 3. 处理可能的初始弹窗例如权限申请 # 这里需要根据实际弹窗元素来定位并点击“允许”或“拒绝” # 例如wait.until(EC.presence_of_element_located((AppiumBy.ID, “permission_allow_button”))).click() # 4. 假设当前已在目标用户主页点击“粉丝”按钮 # 定位“粉丝”按钮。这里用文本定位举例实际请用Inspector查看更稳定的ID。 fans_button wait.until(EC.element_to_be_clickable((AppiumBy.XPATH, //*[text粉丝]))) fans_button.click() print(已进入粉丝列表页面) time.sleep(2) # 等待页面加载可以用更智能的等待代替 # 5. 滚动抓取粉丝列表 collected_fans [] last_fans_count 0 max_scroll_attempts 50 # 防止无限滚动 for i in range(max_scroll_attempts): # 5.1 定位当前屏幕上的所有粉丝条目 # 假设每个粉丝条目的容器ID是 ‘user_item_container’ fan_items driver.find_elements(AppiumBy.ID, com.ss.android.ugc.aweme:id/user_item_container) current_count len(fan_items) if current_count last_fans_count: print(f滚动{i1}次后粉丝数未增加({current_count})可能已到底部或加载失败。) # 可以尝试再滑动一次或结束循环 break # 5.2 遍历新加载的粉丝条目提取信息 for index in range(last_fans_count, current_count): try: item fan_items[index] # 在条目元素内部查找昵称和ID的TextView # 昵称的ID可能是 ‘nickname’ 需要实际查看 nickname_element item.find_element(AppiumBy.ID, com.ss.android.ugc.aweme:id/nickname) nickname nickname_element.text # 抖音号可能不是每个条目都有或者ID不同 douyin_id N/A try: id_element item.find_element(AppiumBy.ID, com.ss.android.ugc.aweme:id/unique_id) douyin_id id_element.text except NoSuchElementException: pass if nickname: # 避免空数据 collected_fans.append({nickname: nickname, douyin_id: douyin_id}) print(f已抓取: {nickname} | {douyin_id}) except Exception as e: print(f处理第{index}个条目时出错: {e}) continue last_fans_count current_count # 5.3 执行滑动加载更多 # 获取屏幕尺寸 window_size driver.get_window_size() start_x window_size[width] * 0.5 start_y window_size[height] * 0.8 end_y window_size[height] * 0.2 driver.swipe(start_x, start_y, start_x, end_y, duration800) # 缓慢滑动模拟真人 print(f第{i1}次滑动完成等待加载...) time.sleep(3) # 等待新内容加载这个时间需要根据网络调整 # 6. 输出结果 print(f\n抓取结束共获取{len(collected_fans)}个粉丝信息。) # 可以将collected_fans保存为JSON或CSV文件 import json with open(fans_data.json, w, encodingutf-8) as f: json.dump(collected_fans, f, ensure_asciiFalse, indent2) except Exception as e: print(f脚本运行过程中发生错误: {e}) finally: # 7. 关闭会话 input(按回车键结束会话并关闭连接...) driver.quit()关键参数解析noReset: True这是保持登录状态的关键。如果设为False每次脚本启动都会清除App数据你就需要重新登录流程会复杂很多。appActivity抖音的主界面Activity。如果发现启动后不是主页可能需要更具体的Activity可以通过adb shell dumpsys activity | findstr mResumedActivity命令在手动打开抖音后查看。显式等待WebDriverWait比固定的time.sleep更高效、更稳定。它会在指定时间内持续查找元素一旦找到就立即返回避免了不必要的等待。滑动操作driver.swipe参数是起始坐标和结束坐标。duration表示滑动动作的持续时间毫秒设置长一点如800ms更像真人操作太快可能被风控。4. 实战避坑与稳定性优化指南按照上面的脚本跑起来你可能很快会遇到问题。下面是我在实战中总结的几个核心“坑点”和优化方案。4.1 元素定位失效与动态ID处理抖音作为频繁更新的App其UI元素的resource-id有时会变化或者本身就带有随机后缀。这是自动化脚本最大的敌人。应对策略多用相对定位和模糊匹配如果ID是动态的比如com.ss.android.ugc.aweme:id/a3c可以尝试用XPath的contains函数进行部分匹配。# 例如定位可能包含“nickname”关键词的ID nickname driver.find_element(AppiumBy.XPATH, //*[contains(resource-id, nickname)])依赖文本和兄弟节点如果元素没有稳定ID但其相邻的兄弟元素或父容器有稳定特征可以通过XPath轴如following-sibling::,parent::进行定位。建立元素定位器备选池对一个关键元素如“粉丝”按钮准备2-3种不同的定位策略如 by ID, by text, by XPath在第一种失败时尝试下一种。定期使用Appium Inspector复查在抖音版本更新后务必重新用Inspector查看目标页面的元素结构及时更新定位器。4.2 网络加载与异步等待的智慧移动App的列表加载是异步的滑动后需要时间请求数据并渲染。简单的time.sleep很难适应多变的网络环境。优化方案使用更智能的等待条件在滑动后可以等待某个“加载中”的动画消失或者等待新的粉丝条目出现。# 滑动后等待新条目出现假设列表容器ID是 ‘list_container’ old_count len(driver.find_elements(AppiumBy.ID, ‘user_item_container’)) driver.swipe(...) try: wait.until(lambda driver: len(driver.find_elements(AppiumBy.ID, ‘user_item_container’)) old_count) except TimeoutException: print(“本次滑动未加载出新内容”)设置合理的超时与重试机制对于网络请求可以捕获TimeoutException并重试滑动操作几次。模拟人的浏览节奏在滑动和点击操作之间加入随机延迟避免过于机械化的高频操作。import random time.sleep(1 random.random() * 2) # 随机等待1~3秒4.3 应对抖音的风控与验证码模拟操作虽然比直接爬接口隐蔽但并非无迹可寻。Appium自动化仍然可能触发抖音的风控导致出现滑动验证码或行为验证。缓解措施降低操作频率这是最重要的。不要连续无间隔地快速滑动和点击。在每个主要操作如点击进入主页、点击粉丝按钮、每次滑动后加入足够长的、随机的等待时间。使用真人操作过的账号和设备新注册的账号、全新的模拟器环境风险等级更高。使用一个有过正常浏览、点赞、评论历史的“养过”的账号并在日常使用的真机上运行脚本成功率会提升。避免长时间、大批量操作不要试图一次抓取几十万粉丝。将任务拆分成多次每次运行一段时间后暂停几小时甚至隔天再继续。准备好人工干预在脚本中加入对验证码弹窗元素的检测逻辑。一旦检测到就暂停脚本发出提醒等待人工处理完验证码后再继续运行。# 简单示例检测是否有验证码相关文本出现 if “验证码” in driver.page_source: print(“检测到验证码请手动处理”) input(“处理完成后按回车键继续...”)5. 数据提取后的处理与扩展思路成功抓取到粉丝列表的原始数据昵称、抖音号只是第一步。这些数据可以进一步清洗和分析并以此为基础扩展更多功能。5.1 数据清洗与结构化存储从UI上抓取的文本可能包含多余的空格、换行符或特殊表情符号。需要进行清洗def clean_text(text): if not text: return # 去除首尾空白字符 text text.strip() # 可以进一步移除多余的空格、不可见字符等 # ... return text for fan in collected_fans: fan[‘nickname’] clean_text(fan[‘nickname’]) fan[‘douyin_id’] clean_text(fan[‘douyin_id’])清洗后将数据存储到结构化的文件中推荐使用CSV或JSON。import pandas as pd df pd.DataFrame(collected_fans) df.to_csv(‘douyin_fans.csv’, indexFalse, encoding‘utf-8-sig’) # 用-sig避免Excel打开乱码5.2 从粉丝列表到更深层数据抓取有了粉丝的抖音号或主页链接可以进一步自动化访问这些粉丝的主页抓取他们的公开信息如基础信息性别、地区、简介、生日、学校/公司如果公开。内容数据作品数、获赞数、动态如果允许查看。社交关系他们的关注列表和粉丝列表这需要递归操作需格外谨慎易触发风控。这相当于构建一个简单的“爬虫网络”但每一步都要比抓取单一列表更慢、更谨慎。务必遵循“单账号、低频率、小批量”的原则。5.3 项目扩展自动化运营与监控脚本这个技术框架稍加改造就可以用于其他自动化场景而不仅仅是数据抓取粉丝互动模拟自动给新粉丝回关、发送预设的欢迎私信需注意平台规则慎用。内容监控定时监控竞争对手或特定账号的新作品发布自动抓取视频标题、描述、音乐、点赞评论数。数据面板自动化每天定时启动脚本抓取自己账号的粉丝数、播放量等核心数据并自动生成日报发送到邮箱或钉钉群。这些扩展的核心逻辑是相通的定位元素 - 操作元素点击/输入/滑动- 获取元素信息。区别在于业务流程和需要定位的UI元素不同。最后我想说使用Appium进行移动端数据采集是一项“重操作”的技术。它牺牲了效率换来了更高的稳定性和对复杂加密的绕过能力。在项目启动前一定要明确你的需求如果只需要少量公开数据手动复制或许更快如果需要的是大规模、持续的数据那么直接逆向协议仍是终极方案但技术门槛和风险极高。Appium方案正好处于中间地带适合那些需要自动化、数据量中等、且希望绕过前端加密的中级需求。在整个开发过程中保持耐心准备好应对UI变化并把风控意识刻在脑子里你的自动化脚本才能跑得又稳又久。 Appium自动化实战：绕过加密抓取抖音粉丝数据
1. 项目缘起与核心挑战最近在做一个关于社交媒体用户画像分析的小项目需要获取一批抖音用户的粉丝数据。一开始我理所当然地想到了传统的网络爬虫用Python的requests库去模拟请求。但实际操作下来发现抖音的防护措施比想象中严密得多。核心接口都做了强加密和风控直接抓包拿到的数据要么是乱码要么请求几次就被封IP、封设备甚至账号都收到风险提示。这让我意识到在移动互联网时代针对App的数据采集尤其是像抖音这样体量的超级App传统的HTTP爬虫路径已经越来越窄。这时一个思路浮现出来既然从网络协议层突破困难重重何不“退回”到用户操作的层面我们每天不都是通过手指在手机屏幕上滑动、点击来使用抖音的吗如果我能用程序模拟这套操作不就能像真人一样自然地浏览页面并获取屏幕上显示的信息了吗这个技术就是Appium。它本质上是一个移动端自动化测试框架但用在数据采集上就成了一个“物理外挂”——通过代码控制手机执行点击、滑动等操作然后从App的UI界面上解析出我们需要的数据比如粉丝数、粉丝列表等。这个项目的核心价值在于绕过复杂的接口加密。我不需要去逆向抖音的签名算法也不需要去维护一堆代理IP池来对抗封禁。我只需要关心如何用代码找到“粉丝”那个按钮并点击如何滑动列表以及如何从每一行用户信息中提取出昵称、ID等文本。这听起来很“笨”但实则非常稳健因为它模拟的是最原始、最合规的用户交互行为。当然这带来了新的挑战执行效率比直接调用API慢、环境稳定性依赖真机或模拟器以及UI布局变化抖音App一更新元素定位可能就失效了。接下来我就把这次用Appium抓取抖音粉丝信息的完整过程、踩过的坑以及一些优化心得分享出来。2. 环境搭建与核心工具选型工欲善其事必先利其器。用Appium做自动化环境配置是第一步也是劝退很多新手的门槛。这里我详细拆解每一步并提供避坑指南。2.1 Appium Server与客户端的部署Appium架构是C/S模式。Server端负责接收我们编写的测试脚本客户端发来的指令并将其转化为手机系统Android/iOS能识别的自动化命令通过UIAutomator2/XCUITest等驱动。所以我们需要两部分Appium Server推荐直接使用官方提供的桌面版Appium Desktop。它集成了图形界面和Server对于新手来说可以直观地启动服务、录制元素定位信息非常友好。从官网下载安装即可。当然如果你追求轻量和命令行控制也可以用npm安装npm install -g appium。但桌面版自带Inspector工具初期强烈推荐。客户端库我们的Python脚本需要调用Appium的接口。这就是客户端库。最常用的是Appium-Python-Client。pip install Appium-Python-Client同时确保你已安装selenium因为Appium扩展了Selenium的WebDriver协议。注意Appium Desktop版本和Appium-Python-Client库版本可能存在兼容性问题。如果遇到连接失败或奇怪的错误可以尝试指定较稳定的版本组合例如appium2.0.0配合Appium-Python-Client2.11.1。2.2 安卓开发环境与设备准备Appium控制安卓设备依赖Android SDK。你需要安装并配置好以下两项Android SDK Command-line Tools不需要完整的Android Studio下载命令行工具包即可。关键是配置环境变量ANDROID_HOME指向你的SDK根目录。将%ANDROID_HOME%\platform-tools和%ANDROID_HOME%\tools添加到系统的PATH变量中。 配置完成后在命令行输入adb version能显示版本号即表示成功。设备连接可以是真机也可以是模拟器如Android Studio自带的AVD或更轻量的Genymotion。真机开启手机的“开发者选项”和“USB调试”。用USB线连接电脑在命令行执行adb devices看到设备序列号即为连接成功。模拟器启动模拟器后同样用adb devices确认连接。2.3 抖音App的准备与关键设置直接从应用商店安装抖音即可。但有几个设置对自动化运行至关重要必须在开始脚本前手动完成登录账号用一个稳定的、不重要的账号登录。自动化操作可能会被系统判定为异常存在一定风险。关闭青少年模式青少年模式会限制很多功能并可能弹出干扰窗口。处理弹窗首次启动或更新后抖音可能会有“隐私协议确认”、“通知权限询问”等弹窗。我们需要在脚本中编写处理这些弹窗的逻辑但事先手动点掉它们可以让第一次运行更顺利。进入目标用户主页我们的目标是抓取某个用户的粉丝列表。你需要知道该用户的抖音号或昵称并手动搜索进入其个人主页。因为从“首页”自动搜索并进入指定用户主页的流程涉及的元素定位和步骤更复杂初期我们可以简化流程直接从已知主页开始。环境搭建的核心是耐心和细心尤其环境变量和ADB连接一个问题卡半天是常事。建议每完成一步都用一个简单命令如adb devices验证一下。3. 脚本核心设计从手动操作到代码逻辑自动化脚本的本质是将人的操作流程翻译成代码。我们先梳理手动查看粉丝列表的步骤再将其转化为Appium脚本逻辑。3.1 操作流程拆解与元素定位策略假设我们已经停留在目标用户的抖音个人主页。手动获取粉丝信息的流程是点击主页上“粉丝”数量旁边的文字通常是“粉丝”二字。等待粉丝列表页面加载。在粉丝列表页面不断向上滑动加载更多粉丝。对于列表中的每一个粉丝条目眼睛看到并识别出“昵称”和“抖音号”如果有。对应到Appium脚本我们需要解决两个核心问题找到元素和操作元素。元素定位是Appium自动化的基石。抖音的界面元素可以通过多种属性定位resource-id最理想的选择类似于Web中的ID通常唯一。例如粉丝按钮的id可能是com.ss.android.ugc.aweme:id/xx。可以通过Appium Inspector工具查看。text通过元素的文本内容定位如点击文本为“粉丝”的按钮。但要注意同一文本可能出现在多处。xpath最强大也最灵活的定位方式可以通过元素的层级关系精准定位。但缺点是如果UI结构微调xpath就容易失效。对于抖音粉丝列表每个粉丝项通常是一个复杂的布局。通过Inspector查看它可能是一个LinearLayout或RelativeLayout内部包含头像ImageView、昵称TextView、抖音号TextView和一个“关注”按钮。我们的目标是提取昵称和抖音号这两个文本字段。定位策略心得优先使用resource-id因为它最稳定。对于列表中的相似项如每个粉丝条目通常它们的resource-id是相同的例如com.ss.android.ugc.aweme:id/user_item_container。这时我们可以用find_elements注意是复数来获取当前页面所有粉丝条目的元素对象列表然后遍历这个列表在每个元素内部再使用相对定位如find_element_by_id来查找昵称和ID。绝对不要依赖具体的屏幕坐标进行定位App一更新或屏幕尺寸一变就全完了。3.2 代码结构设计与关键参数解析一个健壮的脚本应该有清晰的结构。下面是一个Python脚本的核心框架和关键代码段from appium import webdriver from appium.webdriver.common.appiumby import AppiumBy from selenium.common.exceptions import NoSuchElementException, TimeoutException from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # 1. 定义设备连接能力Desired Capabilities desired_caps { platformName: Android, # 平台 platformVersion: 13, # 安卓版本根据你的设备填写 deviceName: your_device_serial, # 通过 adb devices 获取的设备名 appPackage: com.ss.android.ugc.aweme, # 抖音的包名 appActivity: .main.MainActivity, # 抖音的主活动通常这个就行 noReset: True, # 非常重要不重置App数据保持登录状态 unicodeKeyboard: True, # 启用Unicode键盘方便输入 resetKeyboard: True, # 重置键盘避免冲突 automationName: UiAutomator2 # 安卓自动化引擎 } # 2. 连接Appium Server driver webdriver.Remote(http://localhost:4723/wd/hub, desired_caps) wait WebDriverWait(driver, 10) # 设置显式等待最多等10秒 try: # 3. 处理可能的初始弹窗例如权限申请 # 这里需要根据实际弹窗元素来定位并点击“允许”或“拒绝” # 例如wait.until(EC.presence_of_element_located((AppiumBy.ID, “permission_allow_button”))).click() # 4. 假设当前已在目标用户主页点击“粉丝”按钮 # 定位“粉丝”按钮。这里用文本定位举例实际请用Inspector查看更稳定的ID。 fans_button wait.until(EC.element_to_be_clickable((AppiumBy.XPATH, //*[text粉丝]))) fans_button.click() print(已进入粉丝列表页面) time.sleep(2) # 等待页面加载可以用更智能的等待代替 # 5. 滚动抓取粉丝列表 collected_fans [] last_fans_count 0 max_scroll_attempts 50 # 防止无限滚动 for i in range(max_scroll_attempts): # 5.1 定位当前屏幕上的所有粉丝条目 # 假设每个粉丝条目的容器ID是 ‘user_item_container’ fan_items driver.find_elements(AppiumBy.ID, com.ss.android.ugc.aweme:id/user_item_container) current_count len(fan_items) if current_count last_fans_count: print(f滚动{i1}次后粉丝数未增加({current_count})可能已到底部或加载失败。) # 可以尝试再滑动一次或结束循环 break # 5.2 遍历新加载的粉丝条目提取信息 for index in range(last_fans_count, current_count): try: item fan_items[index] # 在条目元素内部查找昵称和ID的TextView # 昵称的ID可能是 ‘nickname’ 需要实际查看 nickname_element item.find_element(AppiumBy.ID, com.ss.android.ugc.aweme:id/nickname) nickname nickname_element.text # 抖音号可能不是每个条目都有或者ID不同 douyin_id N/A try: id_element item.find_element(AppiumBy.ID, com.ss.android.ugc.aweme:id/unique_id) douyin_id id_element.text except NoSuchElementException: pass if nickname: # 避免空数据 collected_fans.append({nickname: nickname, douyin_id: douyin_id}) print(f已抓取: {nickname} | {douyin_id}) except Exception as e: print(f处理第{index}个条目时出错: {e}) continue last_fans_count current_count # 5.3 执行滑动加载更多 # 获取屏幕尺寸 window_size driver.get_window_size() start_x window_size[width] * 0.5 start_y window_size[height] * 0.8 end_y window_size[height] * 0.2 driver.swipe(start_x, start_y, start_x, end_y, duration800) # 缓慢滑动模拟真人 print(f第{i1}次滑动完成等待加载...) time.sleep(3) # 等待新内容加载这个时间需要根据网络调整 # 6. 输出结果 print(f\n抓取结束共获取{len(collected_fans)}个粉丝信息。) # 可以将collected_fans保存为JSON或CSV文件 import json with open(fans_data.json, w, encodingutf-8) as f: json.dump(collected_fans, f, ensure_asciiFalse, indent2) except Exception as e: print(f脚本运行过程中发生错误: {e}) finally: # 7. 关闭会话 input(按回车键结束会话并关闭连接...) driver.quit()关键参数解析noReset: True这是保持登录状态的关键。如果设为False每次脚本启动都会清除App数据你就需要重新登录流程会复杂很多。appActivity抖音的主界面Activity。如果发现启动后不是主页可能需要更具体的Activity可以通过adb shell dumpsys activity | findstr mResumedActivity命令在手动打开抖音后查看。显式等待WebDriverWait比固定的time.sleep更高效、更稳定。它会在指定时间内持续查找元素一旦找到就立即返回避免了不必要的等待。滑动操作driver.swipe参数是起始坐标和结束坐标。duration表示滑动动作的持续时间毫秒设置长一点如800ms更像真人操作太快可能被风控。4. 实战避坑与稳定性优化指南按照上面的脚本跑起来你可能很快会遇到问题。下面是我在实战中总结的几个核心“坑点”和优化方案。4.1 元素定位失效与动态ID处理抖音作为频繁更新的App其UI元素的resource-id有时会变化或者本身就带有随机后缀。这是自动化脚本最大的敌人。应对策略多用相对定位和模糊匹配如果ID是动态的比如com.ss.android.ugc.aweme:id/a3c可以尝试用XPath的contains函数进行部分匹配。# 例如定位可能包含“nickname”关键词的ID nickname driver.find_element(AppiumBy.XPATH, //*[contains(resource-id, nickname)])依赖文本和兄弟节点如果元素没有稳定ID但其相邻的兄弟元素或父容器有稳定特征可以通过XPath轴如following-sibling::,parent::进行定位。建立元素定位器备选池对一个关键元素如“粉丝”按钮准备2-3种不同的定位策略如 by ID, by text, by XPath在第一种失败时尝试下一种。定期使用Appium Inspector复查在抖音版本更新后务必重新用Inspector查看目标页面的元素结构及时更新定位器。4.2 网络加载与异步等待的智慧移动App的列表加载是异步的滑动后需要时间请求数据并渲染。简单的time.sleep很难适应多变的网络环境。优化方案使用更智能的等待条件在滑动后可以等待某个“加载中”的动画消失或者等待新的粉丝条目出现。# 滑动后等待新条目出现假设列表容器ID是 ‘list_container’ old_count len(driver.find_elements(AppiumBy.ID, ‘user_item_container’)) driver.swipe(...) try: wait.until(lambda driver: len(driver.find_elements(AppiumBy.ID, ‘user_item_container’)) old_count) except TimeoutException: print(“本次滑动未加载出新内容”)设置合理的超时与重试机制对于网络请求可以捕获TimeoutException并重试滑动操作几次。模拟人的浏览节奏在滑动和点击操作之间加入随机延迟避免过于机械化的高频操作。import random time.sleep(1 random.random() * 2) # 随机等待1~3秒4.3 应对抖音的风控与验证码模拟操作虽然比直接爬接口隐蔽但并非无迹可寻。Appium自动化仍然可能触发抖音的风控导致出现滑动验证码或行为验证。缓解措施降低操作频率这是最重要的。不要连续无间隔地快速滑动和点击。在每个主要操作如点击进入主页、点击粉丝按钮、每次滑动后加入足够长的、随机的等待时间。使用真人操作过的账号和设备新注册的账号、全新的模拟器环境风险等级更高。使用一个有过正常浏览、点赞、评论历史的“养过”的账号并在日常使用的真机上运行脚本成功率会提升。避免长时间、大批量操作不要试图一次抓取几十万粉丝。将任务拆分成多次每次运行一段时间后暂停几小时甚至隔天再继续。准备好人工干预在脚本中加入对验证码弹窗元素的检测逻辑。一旦检测到就暂停脚本发出提醒等待人工处理完验证码后再继续运行。# 简单示例检测是否有验证码相关文本出现 if “验证码” in driver.page_source: print(“检测到验证码请手动处理”) input(“处理完成后按回车键继续...”)5. 数据提取后的处理与扩展思路成功抓取到粉丝列表的原始数据昵称、抖音号只是第一步。这些数据可以进一步清洗和分析并以此为基础扩展更多功能。5.1 数据清洗与结构化存储从UI上抓取的文本可能包含多余的空格、换行符或特殊表情符号。需要进行清洗def clean_text(text): if not text: return # 去除首尾空白字符 text text.strip() # 可以进一步移除多余的空格、不可见字符等 # ... return text for fan in collected_fans: fan[‘nickname’] clean_text(fan[‘nickname’]) fan[‘douyin_id’] clean_text(fan[‘douyin_id’])清洗后将数据存储到结构化的文件中推荐使用CSV或JSON。import pandas as pd df pd.DataFrame(collected_fans) df.to_csv(‘douyin_fans.csv’, indexFalse, encoding‘utf-8-sig’) # 用-sig避免Excel打开乱码5.2 从粉丝列表到更深层数据抓取有了粉丝的抖音号或主页链接可以进一步自动化访问这些粉丝的主页抓取他们的公开信息如基础信息性别、地区、简介、生日、学校/公司如果公开。内容数据作品数、获赞数、动态如果允许查看。社交关系他们的关注列表和粉丝列表这需要递归操作需格外谨慎易触发风控。这相当于构建一个简单的“爬虫网络”但每一步都要比抓取单一列表更慢、更谨慎。务必遵循“单账号、低频率、小批量”的原则。5.3 项目扩展自动化运营与监控脚本这个技术框架稍加改造就可以用于其他自动化场景而不仅仅是数据抓取粉丝互动模拟自动给新粉丝回关、发送预设的欢迎私信需注意平台规则慎用。内容监控定时监控竞争对手或特定账号的新作品发布自动抓取视频标题、描述、音乐、点赞评论数。数据面板自动化每天定时启动脚本抓取自己账号的粉丝数、播放量等核心数据并自动生成日报发送到邮箱或钉钉群。这些扩展的核心逻辑是相通的定位元素 - 操作元素点击/输入/滑动- 获取元素信息。区别在于业务流程和需要定位的UI元素不同。最后我想说使用Appium进行移动端数据采集是一项“重操作”的技术。它牺牲了效率换来了更高的稳定性和对复杂加密的绕过能力。在项目启动前一定要明确你的需求如果只需要少量公开数据手动复制或许更快如果需要的是大规模、持续的数据那么直接逆向协议仍是终极方案但技术门槛和风险极高。Appium方案正好处于中间地带适合那些需要自动化、数据量中等、且希望绕过前端加密的中级需求。在整个开发过程中保持耐心准备好应对UI变化并把风控意识刻在脑子里你的自动化脚本才能跑得又稳又久。