1. 项目概述当自动化遇上“反自动化”做自动化测试或者网页数据抓取的朋友估计都遇到过同一个让人头疼的问题目标网站好像长了眼睛总能精准识别出你的脚本然后毫不留情地给你一个验证码或者干脆把你的IP给封了。这感觉就像你刚潜入一个戒备森严的仓库警报就响了所有努力瞬间白费。无论是用Selenium还是Playwright这类优秀的浏览器自动化工具它们模拟的浏览器环境总会留下一些“非人类”的痕迹比如特定的WebDriver属性、不常见的浏览器指纹或者过于“完美”的鼠标移动轨迹。这些痕迹在普通用户看来无关紧要但在那些部署了高级反爬虫或反自动化检测机制的网站面前无异于举着牌子大喊“我是机器人”。这就是Undetected-Playwright这个项目诞生的背景。简单来说它不是一个全新的自动化框架而是给强大的Playwright套上了一件“隐形斗篷”。它的核心目标只有一个让由Playwright驱动的浏览器实例在目标网站看来与一个真实人类用户通过Chrome或Edge访问时毫无二致。它通过一系列底层修改和策略抹去自动化工具的典型特征从而大幅提升自动化脚本的隐蔽性和成功率。对于需要处理大量数据采集、进行长期稳定性测试或者与那些对自动化极其敏感的应用如社交媒体、电商平台、金融数据网站打交道的开发者而言这无疑是一个游戏规则改变者。2. 核心原理深度拆解它如何实现“隐身”要理解Undetected-Playwright如何工作我们得先看看常规的Playwright或Selenium为什么会被检测到。检测手段五花八门但归根结底是寻找“非人类”的证据。2.1 常规自动化工具的“破绽”WebDriver属性这是最经典的检测点。浏览器在通过WebDriver协议被控制时会在navigator.webdriver、window.chrome等对象下暴露特定的属性。一个真实的Chrome浏览器navigator.webdriver的值是undefined或false而自动化控制下它可能是true。浏览器指纹异常包括但不限于User-Agent中的线索虽然可以自定义但某些自动化驱动会留下特定标记。插件列表自动化浏览器通常插件列表为空或非常规而真实用户浏览器往往装有广告拦截器、密码管理器等。屏幕分辨率与色彩深度虚拟机或无头模式下的设置可能与常规用户不同。语言和时区未正确配置可能导致与IP地址地理位置不匹配。Canvas/WebGL指纹通过渲染特定图像或图形可以生成近乎唯一的设备指纹。自动化环境下的渲染结果可能存在细微差异。行为模式脚本的操作过于“机械”。例如鼠标瞬间从A点直线移动到B点点击间隔毫秒不差滚动页面匀速平滑这些都是人类难以复制的精准度。协议层特征自动化工具与浏览器通信使用的CDPChrome DevTools Protocol或WebDriver协议流量可能被服务器端的流量分析工具识别出模式。2.2 Undetected-Playwright的“隐身术”Undetected-Playwright从多个层面入手系统地解决上述问题核心属性修补它会在浏览器页面加载之初通过注入脚本或修改浏览器启动参数直接覆盖或删除navigator.webdriver、window.chrome等关键属性使其返回值与普通浏览器一致。这是最基础也是最关键的一步。浏览器上下文伪装真实的用户代理它不仅仅替换User-Agent字符串还可能配合使用真实的浏览器配置文件确保整个浏览器上下文看起来像一个完整的、有历史记录、有缓存、有本地存储的“真人”环境。插件模拟可以配置模拟常见的浏览器插件让navigator.plugins看起来更丰富、更真实。媒体设备与屏幕模拟正确模拟屏幕尺寸、色彩深度、可用媒体设备如摄像头、麦克风尽管可能禁用避免因这些信息缺失或异常而被标记。行为模式拟人化这是高级隐身的关键。Undetected-Playwright可能会集成或提供接口支持对人类操作行为进行模拟鼠标移动轨迹将直线的、瞬时的移动改为带有随机弧度、速度变化的贝塞尔曲线轨迹。点击与输入在点击前加入微小的随机延迟输入文本时模拟人类的打字速度和可能的错误纠正删除再输入。滚动行为采用非匀速滚动先快后慢或带有轻微的随机抖动。对抗指纹识别对于Canvas、WebGL、AudioContext等高级指纹处理起来更为复杂。Undetected-Playwright可能需要依赖更底层的浏览器修改例如使用特定补丁的Chromium版本或者通过代理层对返回的指纹数据进行“标准化”处理以匹配主流设备的特征降低独特性。CDP协议伪装通过拦截和修改CDP通信中的某些消息隐藏自动化控制痕迹使其流量特征更接近普通浏览器与开发者工具的通信。注意需要清醒认识到“完全隐身”是一个不断攻防的动态过程。Undetected-Playwright极大地提高了门槛但并非银弹。面对极端复杂的检测系统如大型社交平台或安全公司的方案可能需要结合住宅代理IP、更复杂的行为模型、甚至机器学习来模拟真人才能保证高成功率。3. 环境搭建与基础使用指南理论讲完我们来看看如何把它用起来。假设你已经有Python和Playwright的基础。3.1 安装与初始化首先通过pip安装。请注意undetected-playwright并不是Playwright的官方包你需要从社区获取。pip install undetected-playwright # 同时你仍然需要安装playwright浏览器驱动 playwright install chromium接下来我们对比一下普通Playwright和Undetected-Playwright的启动代码差异一目了然。普通Playwright启动方式from playwright.sync_api import sync_playwright with sync_playwright() as p: # 启动一个可被检测的浏览器 browser p.chromium.launch(headlessFalse) page browser.new_page() page.goto(https://bot.sannysoft.com/) # 一个著名的自动化检测测试页 page.screenshot(pathdetected.png) browser.close()用这个脚本访问测试页页面很可能会高亮显示“WebDriver detected”等信息。Undetected-Playwright启动方式import undetected_playwright as up async def main(): # 使用undetected_playwright的异步API启动 async with up.async_playwright() as p: # 启动一个经过伪装的浏览器 browser await p.chromium.launch(headlessFalse, args[--start-maximized]) # 创建上下文时可以传入更多伪装参数 context await browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ... # 建议使用真实常见的UA ) page await context.new_page() # 访问检测页 await page.goto(https://bot.sannysoft.com/) await page.screenshot(pathundetected.png) # 进行其他自动化操作... # await page.click(button#submit) # await page.fill(input#search, query) await browser.close() # 运行 import asyncio asyncio.run(main())运行这个脚本截图显示的结果很可能全部是绿色通过的“Not detected”状态。这就是最直观的效果。3.2 关键配置参数解析launch和new_context方法支持许多增强隐蔽性的参数理解它们至关重要headless: 尽管无头模式更高效但headlessFalse显示浏览器通常更不易被检测。一些网站会检测navigator.plugins长度等在无头模式下这些值可能不同。对于生产环境爬虫可以考虑使用headlessnewPlaywright提供的更隐蔽的无头模式或结合--disable-blink-featuresAutomationControlled等启动参数。args(启动参数): 这是对抗检测的主战场之一。常用的有--disable-blink-featuresAutomationControlled: 禁用自动化控制特征这是Chromium自带的反检测标志。--disable-dev-shm-usage: 避免在容器环境中使用/dev/shm可能解决一些崩溃问题。--no-sandbox: 沙箱模式有时会引发问题但会降低安全性请权衡使用。--start-maximized: 启动即最大化模拟用户常见行为。user_agent: 务必使用一个更新、且与你的浏览器引擎Chromium版本匹配的UA。可以从自己真实的浏览器中复制。viewport: 设置一个常见的桌面分辨率如1920x1080。避免使用奇怪的尺寸。locale,timezone_id: 设置与你的代理IP地理位置一致的语言和时区保持环境一致性。4. 高级隐身策略与实战技巧仅仅启动一个伪装浏览器只是开始。要在高强度的对抗环境中生存还需要一系列组合拳。4.1 浏览器指纹管理与一致性一个真实的浏览器环境是自洽的。你的User-Agent说你是Windows上的Chrome 120那么你的屏幕分辨率、语言、插件、Canvas指纹都应该与之匹配。Undetected-Playwright允许你通过context进行一定程度的配置但对于高级指纹可能需要更专业的解决方案。实战技巧使用浏览器配置文件最彻底的方法是复用或克隆一个真实用户的浏览器配置文件。这包含了所有的历史记录、Cookie、本地存储、扩展程序需谨慎处理和浏览器设置。# 假设你有一个干净的Chrome用户数据目录路径 user_data_dir /path/to/your/chrome/profile async with up.async_playwright() as p: browser await p.chromium.launch_persistent_context( user_data_diruser_data_dir, headlessFalse, args[--disable-blink-featuresAutomationControlled] ) page await browser.new_page()这种方式创建的浏览器环境指纹极其真实。但切记要遵守法律法规和网站的服务条款不要盗用他人数据。4.2 拟人化操作模拟这是绕过行为检测的核心。Undetected-Playwright本身可能不包含完整的拟人化操作库但你可以轻松集成其他库如pyautogui的算法或自定义函数。示例拟人化鼠标移动与点击import random import asyncio from math import sqrt def human_like_move(start_x, start_y, end_x, end_y, steps30): 生成拟人化的鼠标移动轨迹点简化版贝塞尔曲线 points [] for i in range(steps 1): t i / steps # 加入一些随机控制点偏移模拟非直线 ctrl1_x start_x (end_x - start_x) * 0.3 random.uniform(-20, 20) ctrl1_y start_y (end_y - start_y) * 0.7 random.uniform(-20, 20) ctrl2_x start_x (end_x - start_x) * 0.7 random.uniform(-20, 20) ctrl2_y start_y (end_y - start_y) * 0.3 random.uniform(-20, 20) # 三次贝塞尔曲线公式 x (1-t)**3 * start_x 3*(1-t)**2*t * ctrl1_x 3*(1-t)*t**2 * ctrl2_x t**3 * end_x y (1-t)**3 * start_y 3*(1-t)**2*t * ctrl1_y 3*(1-t)*t**2 * ctrl2_y t**3 * end_y points.append((x, y)) return points async def human_click(page, selector): element await page.wait_for_selector(selector) box await element.bounding_box() if box: center_x, center_y box[x] box[width]/2, box[y] box[height]/2 # 1. 先随机移动一下鼠标模拟注意力转移 await page.mouse.move(random.randint(0, 100), random.randint(0, 100)) await asyncio.sleep(random.uniform(0.1, 0.3)) # 2. 拟人化移动到目标 start_x, start_y await page.evaluate(() [window.screenX 10, window.screenY 10]) # 简单获取当前鼠标附近位置 trajectory human_like_move(start_x, start_y, center_x, center_y) for point in trajectory: await page.mouse.move(point[0], point[1]) await asyncio.sleep(random.uniform(0.001, 0.005)) # 每步微小延迟 # 3. 在点击前可能有一个短暂的停顿瞄准 await asyncio.sleep(random.uniform(0.05, 0.15)) # 4. 执行点击 await page.mouse.down() await asyncio.sleep(random.uniform(0.01, 0.05)) # 按下持续时间 await page.mouse.up() # 5. 点击后可能轻微移动开 await asyncio.sleep(random.uniform(0.1, 0.2)) await page.mouse.move(center_x random.randint(-5, 5), center_y random.randint(-5, 5))示例拟人化文本输入async def human_type(page, selector, text): await page.click(selector) # 先聚焦输入框 for char in text: await page.keyboard.type(char, delayrandom.uniform(50, 150)) # 每个字符输入延迟50-150毫秒 # 偶尔模拟打错字并删除增加随机性 if random.random() 0.02: # 2%的概率打错 await asyncio.sleep(random.uniform(0.1, 0.3)) await page.keyboard.press(Backspace, delayrandom.uniform(50, 100)) await page.keyboard.type(char, delayrandom.uniform(50, 150))将这些函数封装起来在你的自动化脚本中替代标准的page.click()和page.fill()能显著提升行为的“人性化”程度。4.3 代理IP池与会话管理即使浏览器伪装得再好一个IP地址在短时间内发出过多请求也必然会被限制。因此Undetected-Playwright必须与代理IP池结合使用。住宅代理 vs. 数据中心代理对于抗检测要求极高的网站住宅代理来自真实家庭网络的IP质量远高于数据中心代理。但成本也更高。会话隔离每个browser.new_context()或browser.new_page()最好搭配一个独立的代理IP并携带独立的Cookie会话。避免不同任务间的Cookie污染和IP关联。自动更换策略根据请求频率、失败率如遇到验证码等指标动态更换代理IP和浏览器上下文。import aiohttp from your_proxy_pool_module import get_proxy # 假设你有自己的代理池模块 async def create_stealth_page(p): proxy get_proxy() # 获取一个代理格式如 http://user:passhost:port proxy_arg f--proxy-server{proxy} if proxy else None args [--disable-blink-featuresAutomationControlled] if proxy_arg: args.append(proxy_arg) browser await p.chromium.launch(headlessFalse, argsargs) context await browser.new_context( user_agent你的UA, viewport{width: 1920, height: 1080}, # 可以设置忽略HTTPS错误如果代理证书有问题 ignore_https_errorsTrue ) page await context.new_page() return browser, page # 使用方式 async with up.async_playwright() as p: browser, page await create_stealth_page(p) try: await page.goto(https://target-site.com) # ... 你的操作 finally: await browser.close()5. 在自动化测试与爬虫中的具体应用场景5.1 自动化测试绕过反机器人验证的UI测试许多现代Web应用特别是涉及金融、社交、电商的应用会在登录、关键操作前加入人机验证如Geetest、reCAPTCHA v3。这给自动化UI测试带来了巨大挑战。场景你需要对一个购物网站的结账流程进行回归测试但该网站在添加购物车后会自动触发一个隐蔽的reCAPTCHA v3评分分数低的请求会被拦截。传统测试的困境普通Playwright脚本会被识别reCAPTCHA给出极低分数导致测试流程中断。Undetected-Playwright的解决方案使用Undetected-Playwright启动一个高度伪装的浏览器实例。在测试执行前可能先以“人类”模式浏览几个其他页面如商品列表、详情页积累一些“良好”的浏览器行为数据潜在提升验证分数。执行结账流程测试。由于浏览器环境更真实reCAPTCHA v3的评分可能更高从而允许测试流程继续。对于无法绕过的验证码测试脚本应包含降级处理逻辑检测到验证码元素出现时触发人工干预通知或记录失败而不是无限期卡住。重要提示在测试中使用此类工具的主要目的不是破解验证码这违反服务条款且不道德而是确保那些本应不对正常用户显示的验证码不会因为误判你的自动化脚本为机器人而弹出从而保证核心业务流程测试的连贯性。它让测试环境更贴近真实用户。5.2 网页爬虫数据采集的“特种作战”这是Undetected-Playwright更主要的应用领域。场景一动态内容加载的网站很多网站使用JavaScript渲染数据简单的HTTP请求无法获取。Playwright本身就能完美处理结合undetected特性可以稳定抓取。async def scrape_dynamic_content(url): async with up.async_playwright() as p: browser await p.chromium.launch(headlessTrue) # 生产环境可用headless page await browser.new_page() await page.goto(url) # 等待特定元素或网络空闲 await page.wait_for_selector(.product-list, timeout10000) # 获取渲染后的HTML或直接提取数据 data await page.evaluate(() { const items []; document.querySelectorAll(.product-item).forEach(el { items.push({ name: el.querySelector(.name).innerText, price: el.querySelector(.price).innerText }); }); return items; }) await browser.close() return data场景二需要登录态的复杂网站模拟完整的登录流程并维持会话Cookie。async def login_and_scrape(username, password, target_url): async with up.async_playwright() as p: browser await p.chromium.launch(headlessFalse) # 登录过程建议可视化 context await browser.new_context() page await context.new_page() # 1. 访问登录页 await page.goto(https://example.com/login) # 2. 拟人化输入和点击 await human_type(page, #username, username) await asyncio.sleep(random.uniform(0.5, 1.5)) await human_type(page, #password, password) await asyncio.sleep(random.uniform(0.5, 1.0)) await human_click(page, #submit-btn) # 3. 等待登录成功检查跳转或特定元素 await page.wait_for_url(**/dashboard**, timeout15000) # 4. 登录成功后的context包含了认证cookie可用于后续请求 await page.goto(target_url) # ... 执行数据抓取 ... # 5. 保存cookies供后续使用可选 cookies await context.cookies() # 可以将cookies保存到文件 await browser.close() return data场景三应对“无限滚动”或“点击加载更多”使用Playwright的API轻松处理。async def scrape_infinite_scroll(page, scroll_selectorbody, max_scrolls20): scroll_count 0 last_height await page.evaluate(document.body.scrollHeight) while scroll_count max_scrolls: # 拟人化滚动先快速滚动一段再慢速滚动一段 await page.evaluate(fwindow.scrollBy(0, {random.randint(500, 800)})) await asyncio.sleep(random.uniform(1.0, 2.0)) # 等待新内容加载 await page.evaluate(fwindow.scrollBy(0, {random.randint(100, 300)})) await asyncio.sleep(random.uniform(0.5, 1.0)) new_height await page.evaluate(document.body.scrollHeight) if new_height last_height: # 可能已到底部或需要点击“加载更多” load_more_btn await page.query_selector(button.load-more) if load_more_btn: await human_click(page, button.load-more) await asyncio.sleep(random.uniform(1.5, 2.5)) else: break # 没有更多内容了 last_height new_height scroll_count 16. 常见问题、排查技巧与伦理边界即使使用了Undetected-Playwright你仍然可能遇到问题。以下是一些常见场景和排查思路。6.1 问题排查速查表问题现象可能原因排查步骤与解决方案仍然被检测到1. 浏览器指纹不一致。2. 行为模式过于规律。3. IP地址被标记。4. 目标网站更新了检测算法。1. 访问https://bot.sannysoft.com或https://antoinevastel.com/bots等检测页查看具体哪项失败。2. 检查并统一User-Agent、Viewport、时区、语言等。3. 启用更完整的启动参数args。4. 集成拟人化操作函数。5. 更换质量更高的住宅代理IP。6. 考虑使用playwright-stealth等更专门的插件进行补充。页面加载失败或空白1. 代理IP不稳定或不可用。2. 网站依赖的某些资源被拦截。3. 浏览器启动参数冲突。1. 禁用代理或更换代理测试。2. 打开开发者工具headlessFalse查看网络请求报错。3. 简化启动参数逐一排查。4. 尝试禁用ignore_https_errors或调整--ignore-certificate-errors。运行速度非常慢1. 使用了拟人化延迟函数。2. 代理IP延迟高。3. 浏览器以非无头模式运行。1. 平衡隐蔽性与效率在关键步骤如登录使用拟人化在数据遍历时可适当加快。2. 测试代理IP的响应速度。3. 在稳定后尝试切换到headlessTrue或headlessnew模式。内存或CPU占用过高1. 同时打开的浏览器实例或页面过多。2. 页面内有内存泄漏的JS。1. 严格控制并发数及时关闭不再使用的browser和context。2. 使用browser.contexts()和browser.pages()检查泄漏。3. 定期重启浏览器实例。特定网站操作无效1. 网站前端框架特殊如ExtJS GWT。2. 元素定位方式不稳定。1. 使用Playwright的page.frame_locator()处理iframe。2. 优先使用>
Undetected-Playwright：对抗网站反爬与自动化检测的终极隐身指南
发布时间：2026/7/17 18:57:39
1. 项目概述当自动化遇上“反自动化”做自动化测试或者网页数据抓取的朋友估计都遇到过同一个让人头疼的问题目标网站好像长了眼睛总能精准识别出你的脚本然后毫不留情地给你一个验证码或者干脆把你的IP给封了。这感觉就像你刚潜入一个戒备森严的仓库警报就响了所有努力瞬间白费。无论是用Selenium还是Playwright这类优秀的浏览器自动化工具它们模拟的浏览器环境总会留下一些“非人类”的痕迹比如特定的WebDriver属性、不常见的浏览器指纹或者过于“完美”的鼠标移动轨迹。这些痕迹在普通用户看来无关紧要但在那些部署了高级反爬虫或反自动化检测机制的网站面前无异于举着牌子大喊“我是机器人”。这就是Undetected-Playwright这个项目诞生的背景。简单来说它不是一个全新的自动化框架而是给强大的Playwright套上了一件“隐形斗篷”。它的核心目标只有一个让由Playwright驱动的浏览器实例在目标网站看来与一个真实人类用户通过Chrome或Edge访问时毫无二致。它通过一系列底层修改和策略抹去自动化工具的典型特征从而大幅提升自动化脚本的隐蔽性和成功率。对于需要处理大量数据采集、进行长期稳定性测试或者与那些对自动化极其敏感的应用如社交媒体、电商平台、金融数据网站打交道的开发者而言这无疑是一个游戏规则改变者。2. 核心原理深度拆解它如何实现“隐身”要理解Undetected-Playwright如何工作我们得先看看常规的Playwright或Selenium为什么会被检测到。检测手段五花八门但归根结底是寻找“非人类”的证据。2.1 常规自动化工具的“破绽”WebDriver属性这是最经典的检测点。浏览器在通过WebDriver协议被控制时会在navigator.webdriver、window.chrome等对象下暴露特定的属性。一个真实的Chrome浏览器navigator.webdriver的值是undefined或false而自动化控制下它可能是true。浏览器指纹异常包括但不限于User-Agent中的线索虽然可以自定义但某些自动化驱动会留下特定标记。插件列表自动化浏览器通常插件列表为空或非常规而真实用户浏览器往往装有广告拦截器、密码管理器等。屏幕分辨率与色彩深度虚拟机或无头模式下的设置可能与常规用户不同。语言和时区未正确配置可能导致与IP地址地理位置不匹配。Canvas/WebGL指纹通过渲染特定图像或图形可以生成近乎唯一的设备指纹。自动化环境下的渲染结果可能存在细微差异。行为模式脚本的操作过于“机械”。例如鼠标瞬间从A点直线移动到B点点击间隔毫秒不差滚动页面匀速平滑这些都是人类难以复制的精准度。协议层特征自动化工具与浏览器通信使用的CDPChrome DevTools Protocol或WebDriver协议流量可能被服务器端的流量分析工具识别出模式。2.2 Undetected-Playwright的“隐身术”Undetected-Playwright从多个层面入手系统地解决上述问题核心属性修补它会在浏览器页面加载之初通过注入脚本或修改浏览器启动参数直接覆盖或删除navigator.webdriver、window.chrome等关键属性使其返回值与普通浏览器一致。这是最基础也是最关键的一步。浏览器上下文伪装真实的用户代理它不仅仅替换User-Agent字符串还可能配合使用真实的浏览器配置文件确保整个浏览器上下文看起来像一个完整的、有历史记录、有缓存、有本地存储的“真人”环境。插件模拟可以配置模拟常见的浏览器插件让navigator.plugins看起来更丰富、更真实。媒体设备与屏幕模拟正确模拟屏幕尺寸、色彩深度、可用媒体设备如摄像头、麦克风尽管可能禁用避免因这些信息缺失或异常而被标记。行为模式拟人化这是高级隐身的关键。Undetected-Playwright可能会集成或提供接口支持对人类操作行为进行模拟鼠标移动轨迹将直线的、瞬时的移动改为带有随机弧度、速度变化的贝塞尔曲线轨迹。点击与输入在点击前加入微小的随机延迟输入文本时模拟人类的打字速度和可能的错误纠正删除再输入。滚动行为采用非匀速滚动先快后慢或带有轻微的随机抖动。对抗指纹识别对于Canvas、WebGL、AudioContext等高级指纹处理起来更为复杂。Undetected-Playwright可能需要依赖更底层的浏览器修改例如使用特定补丁的Chromium版本或者通过代理层对返回的指纹数据进行“标准化”处理以匹配主流设备的特征降低独特性。CDP协议伪装通过拦截和修改CDP通信中的某些消息隐藏自动化控制痕迹使其流量特征更接近普通浏览器与开发者工具的通信。注意需要清醒认识到“完全隐身”是一个不断攻防的动态过程。Undetected-Playwright极大地提高了门槛但并非银弹。面对极端复杂的检测系统如大型社交平台或安全公司的方案可能需要结合住宅代理IP、更复杂的行为模型、甚至机器学习来模拟真人才能保证高成功率。3. 环境搭建与基础使用指南理论讲完我们来看看如何把它用起来。假设你已经有Python和Playwright的基础。3.1 安装与初始化首先通过pip安装。请注意undetected-playwright并不是Playwright的官方包你需要从社区获取。pip install undetected-playwright # 同时你仍然需要安装playwright浏览器驱动 playwright install chromium接下来我们对比一下普通Playwright和Undetected-Playwright的启动代码差异一目了然。普通Playwright启动方式from playwright.sync_api import sync_playwright with sync_playwright() as p: # 启动一个可被检测的浏览器 browser p.chromium.launch(headlessFalse) page browser.new_page() page.goto(https://bot.sannysoft.com/) # 一个著名的自动化检测测试页 page.screenshot(pathdetected.png) browser.close()用这个脚本访问测试页页面很可能会高亮显示“WebDriver detected”等信息。Undetected-Playwright启动方式import undetected_playwright as up async def main(): # 使用undetected_playwright的异步API启动 async with up.async_playwright() as p: # 启动一个经过伪装的浏览器 browser await p.chromium.launch(headlessFalse, args[--start-maximized]) # 创建上下文时可以传入更多伪装参数 context await browser.new_context( viewport{width: 1920, height: 1080}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ... # 建议使用真实常见的UA ) page await context.new_page() # 访问检测页 await page.goto(https://bot.sannysoft.com/) await page.screenshot(pathundetected.png) # 进行其他自动化操作... # await page.click(button#submit) # await page.fill(input#search, query) await browser.close() # 运行 import asyncio asyncio.run(main())运行这个脚本截图显示的结果很可能全部是绿色通过的“Not detected”状态。这就是最直观的效果。3.2 关键配置参数解析launch和new_context方法支持许多增强隐蔽性的参数理解它们至关重要headless: 尽管无头模式更高效但headlessFalse显示浏览器通常更不易被检测。一些网站会检测navigator.plugins长度等在无头模式下这些值可能不同。对于生产环境爬虫可以考虑使用headlessnewPlaywright提供的更隐蔽的无头模式或结合--disable-blink-featuresAutomationControlled等启动参数。args(启动参数): 这是对抗检测的主战场之一。常用的有--disable-blink-featuresAutomationControlled: 禁用自动化控制特征这是Chromium自带的反检测标志。--disable-dev-shm-usage: 避免在容器环境中使用/dev/shm可能解决一些崩溃问题。--no-sandbox: 沙箱模式有时会引发问题但会降低安全性请权衡使用。--start-maximized: 启动即最大化模拟用户常见行为。user_agent: 务必使用一个更新、且与你的浏览器引擎Chromium版本匹配的UA。可以从自己真实的浏览器中复制。viewport: 设置一个常见的桌面分辨率如1920x1080。避免使用奇怪的尺寸。locale,timezone_id: 设置与你的代理IP地理位置一致的语言和时区保持环境一致性。4. 高级隐身策略与实战技巧仅仅启动一个伪装浏览器只是开始。要在高强度的对抗环境中生存还需要一系列组合拳。4.1 浏览器指纹管理与一致性一个真实的浏览器环境是自洽的。你的User-Agent说你是Windows上的Chrome 120那么你的屏幕分辨率、语言、插件、Canvas指纹都应该与之匹配。Undetected-Playwright允许你通过context进行一定程度的配置但对于高级指纹可能需要更专业的解决方案。实战技巧使用浏览器配置文件最彻底的方法是复用或克隆一个真实用户的浏览器配置文件。这包含了所有的历史记录、Cookie、本地存储、扩展程序需谨慎处理和浏览器设置。# 假设你有一个干净的Chrome用户数据目录路径 user_data_dir /path/to/your/chrome/profile async with up.async_playwright() as p: browser await p.chromium.launch_persistent_context( user_data_diruser_data_dir, headlessFalse, args[--disable-blink-featuresAutomationControlled] ) page await browser.new_page()这种方式创建的浏览器环境指纹极其真实。但切记要遵守法律法规和网站的服务条款不要盗用他人数据。4.2 拟人化操作模拟这是绕过行为检测的核心。Undetected-Playwright本身可能不包含完整的拟人化操作库但你可以轻松集成其他库如pyautogui的算法或自定义函数。示例拟人化鼠标移动与点击import random import asyncio from math import sqrt def human_like_move(start_x, start_y, end_x, end_y, steps30): 生成拟人化的鼠标移动轨迹点简化版贝塞尔曲线 points [] for i in range(steps 1): t i / steps # 加入一些随机控制点偏移模拟非直线 ctrl1_x start_x (end_x - start_x) * 0.3 random.uniform(-20, 20) ctrl1_y start_y (end_y - start_y) * 0.7 random.uniform(-20, 20) ctrl2_x start_x (end_x - start_x) * 0.7 random.uniform(-20, 20) ctrl2_y start_y (end_y - start_y) * 0.3 random.uniform(-20, 20) # 三次贝塞尔曲线公式 x (1-t)**3 * start_x 3*(1-t)**2*t * ctrl1_x 3*(1-t)*t**2 * ctrl2_x t**3 * end_x y (1-t)**3 * start_y 3*(1-t)**2*t * ctrl1_y 3*(1-t)*t**2 * ctrl2_y t**3 * end_y points.append((x, y)) return points async def human_click(page, selector): element await page.wait_for_selector(selector) box await element.bounding_box() if box: center_x, center_y box[x] box[width]/2, box[y] box[height]/2 # 1. 先随机移动一下鼠标模拟注意力转移 await page.mouse.move(random.randint(0, 100), random.randint(0, 100)) await asyncio.sleep(random.uniform(0.1, 0.3)) # 2. 拟人化移动到目标 start_x, start_y await page.evaluate(() [window.screenX 10, window.screenY 10]) # 简单获取当前鼠标附近位置 trajectory human_like_move(start_x, start_y, center_x, center_y) for point in trajectory: await page.mouse.move(point[0], point[1]) await asyncio.sleep(random.uniform(0.001, 0.005)) # 每步微小延迟 # 3. 在点击前可能有一个短暂的停顿瞄准 await asyncio.sleep(random.uniform(0.05, 0.15)) # 4. 执行点击 await page.mouse.down() await asyncio.sleep(random.uniform(0.01, 0.05)) # 按下持续时间 await page.mouse.up() # 5. 点击后可能轻微移动开 await asyncio.sleep(random.uniform(0.1, 0.2)) await page.mouse.move(center_x random.randint(-5, 5), center_y random.randint(-5, 5))示例拟人化文本输入async def human_type(page, selector, text): await page.click(selector) # 先聚焦输入框 for char in text: await page.keyboard.type(char, delayrandom.uniform(50, 150)) # 每个字符输入延迟50-150毫秒 # 偶尔模拟打错字并删除增加随机性 if random.random() 0.02: # 2%的概率打错 await asyncio.sleep(random.uniform(0.1, 0.3)) await page.keyboard.press(Backspace, delayrandom.uniform(50, 100)) await page.keyboard.type(char, delayrandom.uniform(50, 150))将这些函数封装起来在你的自动化脚本中替代标准的page.click()和page.fill()能显著提升行为的“人性化”程度。4.3 代理IP池与会话管理即使浏览器伪装得再好一个IP地址在短时间内发出过多请求也必然会被限制。因此Undetected-Playwright必须与代理IP池结合使用。住宅代理 vs. 数据中心代理对于抗检测要求极高的网站住宅代理来自真实家庭网络的IP质量远高于数据中心代理。但成本也更高。会话隔离每个browser.new_context()或browser.new_page()最好搭配一个独立的代理IP并携带独立的Cookie会话。避免不同任务间的Cookie污染和IP关联。自动更换策略根据请求频率、失败率如遇到验证码等指标动态更换代理IP和浏览器上下文。import aiohttp from your_proxy_pool_module import get_proxy # 假设你有自己的代理池模块 async def create_stealth_page(p): proxy get_proxy() # 获取一个代理格式如 http://user:passhost:port proxy_arg f--proxy-server{proxy} if proxy else None args [--disable-blink-featuresAutomationControlled] if proxy_arg: args.append(proxy_arg) browser await p.chromium.launch(headlessFalse, argsargs) context await browser.new_context( user_agent你的UA, viewport{width: 1920, height: 1080}, # 可以设置忽略HTTPS错误如果代理证书有问题 ignore_https_errorsTrue ) page await context.new_page() return browser, page # 使用方式 async with up.async_playwright() as p: browser, page await create_stealth_page(p) try: await page.goto(https://target-site.com) # ... 你的操作 finally: await browser.close()5. 在自动化测试与爬虫中的具体应用场景5.1 自动化测试绕过反机器人验证的UI测试许多现代Web应用特别是涉及金融、社交、电商的应用会在登录、关键操作前加入人机验证如Geetest、reCAPTCHA v3。这给自动化UI测试带来了巨大挑战。场景你需要对一个购物网站的结账流程进行回归测试但该网站在添加购物车后会自动触发一个隐蔽的reCAPTCHA v3评分分数低的请求会被拦截。传统测试的困境普通Playwright脚本会被识别reCAPTCHA给出极低分数导致测试流程中断。Undetected-Playwright的解决方案使用Undetected-Playwright启动一个高度伪装的浏览器实例。在测试执行前可能先以“人类”模式浏览几个其他页面如商品列表、详情页积累一些“良好”的浏览器行为数据潜在提升验证分数。执行结账流程测试。由于浏览器环境更真实reCAPTCHA v3的评分可能更高从而允许测试流程继续。对于无法绕过的验证码测试脚本应包含降级处理逻辑检测到验证码元素出现时触发人工干预通知或记录失败而不是无限期卡住。重要提示在测试中使用此类工具的主要目的不是破解验证码这违反服务条款且不道德而是确保那些本应不对正常用户显示的验证码不会因为误判你的自动化脚本为机器人而弹出从而保证核心业务流程测试的连贯性。它让测试环境更贴近真实用户。5.2 网页爬虫数据采集的“特种作战”这是Undetected-Playwright更主要的应用领域。场景一动态内容加载的网站很多网站使用JavaScript渲染数据简单的HTTP请求无法获取。Playwright本身就能完美处理结合undetected特性可以稳定抓取。async def scrape_dynamic_content(url): async with up.async_playwright() as p: browser await p.chromium.launch(headlessTrue) # 生产环境可用headless page await browser.new_page() await page.goto(url) # 等待特定元素或网络空闲 await page.wait_for_selector(.product-list, timeout10000) # 获取渲染后的HTML或直接提取数据 data await page.evaluate(() { const items []; document.querySelectorAll(.product-item).forEach(el { items.push({ name: el.querySelector(.name).innerText, price: el.querySelector(.price).innerText }); }); return items; }) await browser.close() return data场景二需要登录态的复杂网站模拟完整的登录流程并维持会话Cookie。async def login_and_scrape(username, password, target_url): async with up.async_playwright() as p: browser await p.chromium.launch(headlessFalse) # 登录过程建议可视化 context await browser.new_context() page await context.new_page() # 1. 访问登录页 await page.goto(https://example.com/login) # 2. 拟人化输入和点击 await human_type(page, #username, username) await asyncio.sleep(random.uniform(0.5, 1.5)) await human_type(page, #password, password) await asyncio.sleep(random.uniform(0.5, 1.0)) await human_click(page, #submit-btn) # 3. 等待登录成功检查跳转或特定元素 await page.wait_for_url(**/dashboard**, timeout15000) # 4. 登录成功后的context包含了认证cookie可用于后续请求 await page.goto(target_url) # ... 执行数据抓取 ... # 5. 保存cookies供后续使用可选 cookies await context.cookies() # 可以将cookies保存到文件 await browser.close() return data场景三应对“无限滚动”或“点击加载更多”使用Playwright的API轻松处理。async def scrape_infinite_scroll(page, scroll_selectorbody, max_scrolls20): scroll_count 0 last_height await page.evaluate(document.body.scrollHeight) while scroll_count max_scrolls: # 拟人化滚动先快速滚动一段再慢速滚动一段 await page.evaluate(fwindow.scrollBy(0, {random.randint(500, 800)})) await asyncio.sleep(random.uniform(1.0, 2.0)) # 等待新内容加载 await page.evaluate(fwindow.scrollBy(0, {random.randint(100, 300)})) await asyncio.sleep(random.uniform(0.5, 1.0)) new_height await page.evaluate(document.body.scrollHeight) if new_height last_height: # 可能已到底部或需要点击“加载更多” load_more_btn await page.query_selector(button.load-more) if load_more_btn: await human_click(page, button.load-more) await asyncio.sleep(random.uniform(1.5, 2.5)) else: break # 没有更多内容了 last_height new_height scroll_count 16. 常见问题、排查技巧与伦理边界即使使用了Undetected-Playwright你仍然可能遇到问题。以下是一些常见场景和排查思路。6.1 问题排查速查表问题现象可能原因排查步骤与解决方案仍然被检测到1. 浏览器指纹不一致。2. 行为模式过于规律。3. IP地址被标记。4. 目标网站更新了检测算法。1. 访问https://bot.sannysoft.com或https://antoinevastel.com/bots等检测页查看具体哪项失败。2. 检查并统一User-Agent、Viewport、时区、语言等。3. 启用更完整的启动参数args。4. 集成拟人化操作函数。5. 更换质量更高的住宅代理IP。6. 考虑使用playwright-stealth等更专门的插件进行补充。页面加载失败或空白1. 代理IP不稳定或不可用。2. 网站依赖的某些资源被拦截。3. 浏览器启动参数冲突。1. 禁用代理或更换代理测试。2. 打开开发者工具headlessFalse查看网络请求报错。3. 简化启动参数逐一排查。4. 尝试禁用ignore_https_errors或调整--ignore-certificate-errors。运行速度非常慢1. 使用了拟人化延迟函数。2. 代理IP延迟高。3. 浏览器以非无头模式运行。1. 平衡隐蔽性与效率在关键步骤如登录使用拟人化在数据遍历时可适当加快。2. 测试代理IP的响应速度。3. 在稳定后尝试切换到headlessTrue或headlessnew模式。内存或CPU占用过高1. 同时打开的浏览器实例或页面过多。2. 页面内有内存泄漏的JS。1. 严格控制并发数及时关闭不再使用的browser和context。2. 使用browser.contexts()和browser.pages()检查泄漏。3. 定期重启浏览器实例。特定网站操作无效1. 网站前端框架特殊如ExtJS GWT。2. 元素定位方式不稳定。1. 使用Playwright的page.frame_locator()处理iframe。2. 优先使用>
