1. 项目概述与核心价值最近在做一个社区应急服务的小项目需要实时获取停电信息来优化资源调度。本以为这是个简单的爬虫活儿结果一上手就发现现在的停电公告网站防护手段已经升级到了“地狱难度”。标题里提到的“26年最新混淆版”指的就是当前主流公共服务网站普遍采用的一套前端代码混淆与动态反爬机制这套东西在2025到2026年间变得尤为普遍和复杂。如果你还在用几年前的requestsBeautifulSoup直接抓大概率会收获一堆乱码或者直接看到“请启用JavaScript”的提示。这个项目的核心就是绕过这套最新的前端混淆稳定、准确地从目标网站抓取结构化的停电公告信息包括停电区域、计划停电时间、预计恢复时间、影响范围等关键字段。它解决的不仅仅是“拿到数据”的问题更是“如何在对方主动设置障碍的情况下依然能优雅、合规地获取公开信息”的实战挑战。这套方法不仅适用于电力系统对于其他采用类似技术如Webpack打包、动态加密参数、Canvas指纹等的政务公开、招投标、新闻资讯类网站都有很高的参考价值。适合谁来参考呢如果你是一名数据分析师需要这些数据做民生趋势分析或者是一名开发者在为你的应用寻找稳定的公共服务数据接口亦或是一名安全研究员想了解当前Web反爬技术的前沿动态。这个项目从环境搭建、逆向分析到代码实现会完整走一遍我会把踩过的坑和最终验证有效的方案都摊开来讲。2. 逆向工程解开前端混淆的面纱2.1 目标网站分析与反爬机制初探首先我们得知道对手用了什么招。以国内某典型省级电力公司停电公告页面为例打开浏览器开发者工具F12切换到“网络”(Network)标签页然后刷新页面。你会发现首次加载的HTML文档内容非常“干净”几乎看不到任何公告数据。真正的数据是通过后续的XHRFetch请求异步加载的。关键点来了这个请求的URL看起来可能很正常但它的请求头Headers里通常携带了几个“可疑”的参数比如一个名为sign、timestamp或encryptData的字段。这些参数的值是一长串毫无规律的字符每次请求都会变化。这就是第一道防线动态令牌。服务器会校验这个令牌如果校验失败直接返回错误或空数据。接着看响应数据。即使请求成功了返回的往往也不是清晰的JSON。你可能看到的是AES加密后的密文响应体是一串Base64编码的字符串需要解密。嵌套的冗余结构数据被包裹在多层无意义的键值对中。关键字段混淆本该是address的字段名变成了a1、b2这样的短变量名。这些手段都源于前端代码的混淆。我们切换到“源代码”(Sources)标签页找到主要的JavaScript文件通常是app.xxxxxx.js这种形式。打开一看变量名都是a, b, c, d函数名也是_0x1a2b3c这种十六进制字符串可读性为零。这就是利用Webpack等打包工具配合Terser、JavaScript Obfuscator等工具进行的代码压缩与混淆。2.2 核心加密/签名逻辑的定位与还原我们的主攻方向就是找到生成那个动态sign参数以及解密响应数据的JavaScript代码段。这就像在乱码里找规律。第一步搜索关键线索。在开发者工具的“搜索”(Search)面板里或者直接在你下载的混淆JS文件里搜索关键词。比如搜索sign、encrypt、encode、param、timestamp等。由于代码被混淆直接搜可能找不到。更有效的方法是搜索一些常量字符串比如请求URL的一部分或者固定返回的错误信息。第二步使用“XHR/ Fetch 断点”功能。这是一个杀手锏。在开发者工具的“源代码”(Sources)标签页右侧有一个“XHR/ Fetch 断点”(XHR/Fetch Breakpoints)面板。点击“”号添加一个包含你目标请求URL部分关键词的断点例如*api/power/outage*。然后刷新页面或触发数据加载。当浏览器发起这个请求时代码执行会自动暂停。此时调用堆栈(Call Stack)会显示当前暂停位置的所有函数调用链。你沿着堆栈一层层往上点就能找到负责组装请求参数、生成签名的那段核心混淆代码。虽然变量名看不懂但逻辑是清晰的它一定在某个函数里接收了原始参数如页码page、时间戳timestamp然后经过一系列运算生成了sign。第三步逻辑分析与代码提取。找到关键函数后假设它叫_0xabcde我们需要分析它。在Console里你可以尝试手动调用这个函数传入简单参数看输出是否符合预期。但更实际的做法是将这一整段函数代码包括它依赖的其他工具函数提取出来。注意直接复制粘贴混淆代码到Node.js环境可能无法运行因为它可能依赖浏览器环境特有的对象如window、document或者使用了Webpack的模块加载器。这时我们需要进行环境补全。最简单的办法是在代码开头模拟这些对象// 在Node.js中模拟浏览器环境 global.window global; global.document {}; // 如果代码使用了atob/btoaNode.js原生不支持需要polyfill global.btoa (str) Buffer.from(str, binary).toString(base64); global.atob (b64Encoded) Buffer.from(b64Encoded, base64).toString(binary);第四步解密响应数据。响应数据的解密逻辑通常也在同一个JS文件里。寻找解密函数的方法类似在收到加密响应后在代码中搜索decrypt、decode、JSON.parse或者查看负责处理响应的Promise链或回调函数。找到后同样将其提取并做环境适配。经过以上步骤我们就能在本地Node.js环境中复现出完整的“请求参数构造 - 发送请求 - 响应解密”流程。这是整个项目的基石。3. 技术选型与工具链搭建面对混淆纯Python生态的requests/httpxBeautifulSoup组合已经力不从心。我们需要一个能执行JavaScript的环境来还原核心逻辑。3.1 核心方案Node.js Puppeteer/Playwright 的混合模式经过多种方案对比我最终选择了“Node.js本地执行加密逻辑 Python协调调度与数据处理”的混合架构。为什么不直接用Python的execjs调用JS因为混淆代码的环境依赖复杂execjs尤其是PyExecJS在处理复杂的、依赖浏览器特定API的混淆代码时容易出错且性能不佳。Node.js侧 (负责攻坚)作用纯本地执行我们从网站逆向出来的、包含加密/签名/解密逻辑的JavaScript代码。它不打开浏览器只是一个JS执行引擎。优点执行效率高环境与浏览器最接近完美兼容逆向出来的代码。输出对外提供一个简单的HTTP服务或命令行接口接收原始参数如查询条件返回处理好的、明文的请求参数如带签名的URL或直接返回解密后的数据。Python侧 (负责调度与后处理)作用作为主控程序。它调用Node.js服务获取“合法”的请求参数然后用httpx或aiohttp发起高效的网络请求。收到响应后如果还需要解密再传给Node.js服务处理。最后用pandas进行数据清洗和存储。优点Python在数据处理、任务调度、异常重试等方面生态丰富编写起来更高效。这个架构解耦了复杂的JS执行和高效的数据处理稳定性更高。3.2 具体工具清单与配置要点Node.js环境建议使用最新的LTS版本如18.x。关键npm包axios用于在Node.js侧模拟请求如果需要。crypto-js很多网站的加密会用到标准的AES、MD5、SHA256虽然混淆了但算法是标准的这个库很有用。# 项目初始化 mkdir outage-crawler cd outage-crawler npm init -y npm install axios crypto-jsPython环境建议3.8。关键库httpx支持HTTP/2和异步比requests更快对抗反爬时设置代理、Header更灵活。pandas数据清洗、分析的利器。schedule或apscheduler如果需要定时抓取。pip install httpx pandas schedule浏览器开发者工具Chrome或Edge的DevTools是我们的主要战场。熟练使用“网络”、“源代码”、“控制台”面板以及“重写”(Overrides)功能允许本地保存并修改网站JS文件进行调试是逆向工程师的基本功。辅助工具curl或Postman用于手动测试请求验证签名是否正确。代码格式化工具如Prettier对混淆JS进行初步格式化虽然帮助有限但能让代码结构稍微清晰。全局搜索工具如VS Code的全项目搜索用于在下载的多个JS文件中快速定位关键词。4. 实战构建抗混淆爬虫系统4.1 步骤一逆向并封装核心JS模块假设我们已将关键的签名函数generateSign(params)和解密函数decryptData(encryptedStr)逆向出来保存为signature.js。// signature.js const CryptoJS require(crypto-js); // 模拟可能依赖的浏览器全局变量根据逆向代码调整 global.window global; // 假设网站使用了一个自定义的全局对象 _global global._global { config: { secretKey: 这是一个从源码中固定提取或动态分析出的密钥 } }; // 逆向得到的签名函数极度简化版实际非常复杂 function generateSign(params) { // 1. 参数排序并拼接成字符串 const sortedStr Object.keys(params).sort().map(key ${key}${params[key]}).join(); // 2. 拼接一个固定盐值salt这个salt可能藏在JS代码的某个角落 const secretSalt a1b2c3d4e5f6; const strToSign sortedStr secretSalt; // 3. 使用MD5或SHA256生成签名具体算法看逆向结果 const sign CryptoJS.MD5(strToSign).toString(); return sign; } // 逆向得到的解密函数 function decryptData(encryptedBase64Str) { // 1. Base64解码 const encryptedData CryptoJS.enc.Base64.parse(encryptedBase64Str); // 2. AES解密密钥和IV需要从逆向代码中获取 const key CryptoJS.enc.Utf8.parse(16/24/32字节的密钥); const iv CryptoJS.enc.Utf8.parse(16字节的初始向量); const decrypted CryptoJS.AES.decrypt( { ciphertext: encryptedData }, key, { iv: iv, mode: CryptoJS.mode.CBC, padding: CryptoJS.pad.Pkcs7 } ); // 3. 转为UTF-8字符串并解析为JSON const decryptedStr decrypted.toString(CryptoJS.enc.Utf8); return JSON.parse(decryptedStr); } module.exports { generateSign, decryptData };然后我们创建一个Node.js服务server.js对外提供接口// server.js const http require(http); const url require(url); const { generateSign, decryptData } require(./signature.js); const server http.createServer((req, res) { const parsedUrl url.parse(req.url, true); res.setHeader(Content-Type, application/json); if (parsedUrl.pathname /generate_sign req.method POST) { let body ; req.on(data, chunk body chunk); req.on(end, () { try { const params JSON.parse(body); const timestamp Date.now(); params.timestamp timestamp; // 可能需要在请求前添加时间戳 const sign generateSign(params); res.end(JSON.stringify({ sign, timestamp, fullParams: { ...params, sign } })); } catch (e) { res.end(JSON.stringify({ error: e.message })); } }); } else if (parsedUrl.pathname /decrypt req.method POST) { let body ; req.on(data, chunk body chunk); req.on(end, () { try { const { encryptedData } JSON.parse(body); const decrypted decryptData(encryptedData); res.end(JSON.stringify({ data: decrypted })); } catch (e) { res.end(JSON.stringify({ error: e.message })); } }); } else { res.end(JSON.stringify({ message: Service is running. })); } }); server.listen(3000, () console.log(Node.js signature server running on port 3000));启动它node server.js。现在我们就有了一个本地签名/解密服务。4.2 步骤二Python主控程序编写接下来用Python编写主程序它负责与Node.js服务通信并发起真正的请求。# main_crawler.py import httpx import pandas as pd import time import json from typing import Dict, Any class OutageCrawler: def __init__(self, node_server_urlhttp://localhost:3000): self.node_server node_server_url # 使用httpx客户端支持连接池性能更好 self.client httpx.AsyncClient(timeout30.0) # 目标API的基础URL示例 self.base_api_url https://www.example-power.com/api/v1/outage/announcement/list async def get_signed_params(self, page: int, size: int 20) - Dict[str, Any]: 调用Node.js服务获取带签名的请求参数 raw_params { pageNum: page, pageSize: size, regionCode: 0101, # 区域代码根据实际情况调整 # 可能还有其他固定参数 } try: resp await self.client.post( f{self.node_server}/generate_sign, jsonraw_params ) result resp.json() if error in result: raise Exception(fSign generation failed: {result[error]}) # 返回Node.js服务生成的完整参数字典 return result[fullParams] except Exception as e: print(f获取签名参数失败: {e}) return {} async def fetch_page(self, page: int) - Dict[str, Any]: 抓取单页数据 signed_params await self.get_signed_params(page) if not signed_params: return {} try: # 发起请求携带必要的请求头User-Agent, Referer等需要从浏览器复制 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..., Referer: https://www.example-power.com/outage.html, Accept: application/json, text/plain, */*, Content-Type: application/json;charsetUTF-8, } # 注意有些API是GET带参数有些是POST JSON body需要根据实际情况调整 resp await self.client.post(self.base_api_url, jsonsigned_params, headersheaders) resp.raise_for_status() api_result resp.json() # 情况1响应直接是明文JSON if api_result.get(code) 200 and data in api_result: return api_result[data] # 情况2响应中的data字段是加密字符串 elif api_result.get(encryptedData): decrypt_resp await self.client.post( f{self.node_server}/decrypt, json{encryptedData: api_result[encryptedData]} ) decrypt_result decrypt_resp.json() return decrypt_result.get(data, {}) else: print(f第{page}页响应格式异常: {api_result}) return {} except httpx.RequestError as e: print(f网络请求失败 (第{page}页): {e}) return {} except Exception as e: print(f处理第{page}页数据时出错: {e}) return {} async def crawl(self, max_pages: int 10): 主抓取函数 all_outages [] for page in range(1, max_pages 1): print(f正在抓取第 {page} 页...) page_data await self.fetch_page(page) # 解析数据假设列表在 list 字段下 outage_list page_data.get(list, []) if not outage_list: print(f第{page}页无数据可能已到末页。) break for item in outage_list: # 清洗和提取字段这里字段名是混淆后的需要根据逆向结果映射 cleaned_item { plan_start_time: item.get(a1), # 计划开始时间 plan_end_time: item.get(a2), # 计划结束时间 address: item.get(b1), # 停电地址 reason: item.get(c1), # 停电原因 scope: item.get(d1), # 影响范围 source_page: page, } all_outages.append(cleaned_item) # 礼貌性延迟避免请求过快 await asyncio.sleep(2) # 转换为DataFrame并保存 if all_outages: df pd.DataFrame(all_outages) df.to_csv(power_outage_announcements.csv, indexFalse, encodingutf-8-sig) print(f抓取完成共 {len(all_outages)} 条记录已保存至 CSV 文件。) print(df.head()) else: print(未抓取到任何数据。) async def close(self): await self.client.aclose() # 运行脚本 import asyncio async def main(): crawler OutageCrawler() try: await crawler.crawl(max_pages5) # 先试抓5页 finally: await crawler.close() if __name__ __main__: asyncio.run(main())4.3 步骤三数据解析与存储优化抓取到的数据往往是混乱的。我们需要一个健壮的解析层。字段映射表创建一个字典将混淆的字段名映射到有意义的名称。这个映射关系需要从逆向出的解密后的数据结构或者通过大量样本观察总结得出。FIELD_MAPPING { a1: plan_start_time, a2: plan_end_time, b1: address, c1: reason, d1: scope, e1: voltage_level, # ... 更多映射 }时间格式统一原始时间可能是时间戳毫秒/秒、或2025-12-01 08:00:00这样的字符串。用pandas.to_datetime统一处理。df[plan_start_time] pd.to_datetime(df[plan_start_time], unitms, errorscoerce) # 假设是毫秒时间戳 df[plan_end_time] pd.to_datetime(df[plan_end_time], unitms, errorscoerce)数据去重与校验根据公告ID或“时间地址”生成唯一标识进行去重。检查必填字段是否为空。存储选择CSV简单快捷适合中小数据量和一次性分析。SQLite轻量级数据库方便查询和增量更新。可以使用sqlite3库或SQLAlchemy。MySQL/PostgreSQL如果数据量很大或需要多进程/多机器协同抓取。MongoDB如果数据结构变化频繁或者嵌套结构复杂。5. 高级对抗与稳定性保障5.1 动态密钥与算法轮换的应对有些高级的反爬系统会定期如每天更换加密密钥甚至改变签名算法的一部分。应对策略定期复盘设定一个监控机制。当爬虫连续多次请求失败或返回“签名错误”时触发预警。自动化更新如果密钥是硬编码在JS文件里的可以写一个辅助脚本定期如每天凌晨去重新下载并解析关键JS文件提取最新的密钥然后更新到signature.js中。这需要更稳定的特征定位方法比如通过固定的函数名模式或代码结构来定位密钥字符串。降级方案如果自动化更新失败准备一个手动更新接口快速替换密钥。5.2 IP封锁与请求频率管理即使签名正确过于频繁的请求也会触发IP封锁。设置合理的延迟在每批次请求之间加入随机延迟如time.sleep(random.uniform(2, 5))模拟人类操作。使用代理IP池这是应对IP封锁最有效的方法。可以使用付费代理服务或者自建代理池。在httpx中设置代理很简单proxies { http://: http://your-proxy-ip:port, https://: http://your-proxy-ip:port, } async with httpx.AsyncClient(proxiesproxies) as client: # ... 发起请求请求头伪装务必从浏览器中复制完整的请求头特别是User-Agent、Referer、Accept-Language、Cookie如果需要等。Cookie可能会过期需要处理会话维持或重新获取。5.3 验证码与行为检测的绕过如果网站升级到验证码或更复杂的行为检测如鼠标轨迹、点击频率单纯的请求模拟就失效了。验证码识别对于简单的图形验证码可以考虑使用OCR服务如ddddocr、tesseract或云服务商提供的API。对于复杂的滑动、点选验证码破解成本极高通常意味着需要重新评估项目可行性。无头浏览器方案作为保底手段当所有API逆向路径都走不通时可以考虑使用Playwright或Puppeteer直接控制浏览器进行渲染和操作。这能绕过绝大多数前端检测但代价是速度极慢、资源消耗大。仅在必要时使用。# 使用playwright的python版本作为最后手段 from playwright.sync_api import sync_playwright def crawl_with_browser(): with sync_playwright() as p: browser p.chromium.launch(headlessFalse) # 调试时可设为False page browser.new_page() page.goto(目标网址) # ... 模拟点击、等待、获取页面内容 content page.content() browser.close() return content6. 常见问题排查与实战心得6.1 问题速查表问题现象可能原因排查步骤与解决方案请求返回{“code”: 403, “msg”: “签名错误”}1. 签名算法还原有误。2. 请求参数顺序或格式与服务器要求不一致。3. 密钥(salt)已过期。1.核对参数用浏览器的“复制为cURL”功能抓取一次成功请求与你的程序生成的参数逐字段对比。2.调试JS在浏览器开发者工具中对签名函数打上断点单步执行记录每一步的中间变量值与你本地Node.js代码的输出进行比对。3.检查时间戳服务器时间可能有校验确保你生成的时间戳与服务器时间差在可接受范围内如60秒内。返回数据是乱码或加密字符串但解密函数失效1. 解密算法或密钥/IV错误。2. 响应数据在解密前可能需要先进行其他处理如URL解码、去除特定前缀。3. 加密模式或填充方式不对。1.抓包对比用浏览器正常访问在Network面板查看原始响应体。与你爬虫收到的响应体进行二进制或十六进制对比看是否完全一致。2.分析解密流程在浏览器中找到解密响应数据的那段JS代码打上断点查看解密前的输入和解密后的输出确保你的本地函数输入与之一致。3.尝试标准算法先用CryptoJS的标准AES解密方法尝试如果不行说明可能有自定义的魔改。程序运行几次后突然所有请求都失败1. IP地址被暂时或永久封禁。2. 网站维护或更新了API。3. 请求频率过高触发了风控。1.更换网络环境/IP测试。2.手动访问网站看功能是否正常。3.大幅降低请求频率加入更长的随机延迟并考虑使用代理IP池。Node.js执行逆向JS代码报错ReferenceError: window is not defined逆向的JS代码依赖浏览器环境对象。在Node.js代码执行前补全Polyfill缺失的全局变量。如global.window global;global.document {};等。具体缺什么根据错误信息来补。抓取到的数据字段全是null或错误字段映射关系错误或数据结构已更新。打印出1-2条完整的、解密后的原始数据样本与浏览器中看到的数据结构进行仔细比对更新字段映射字典。6.2 实操心得与避坑指南保持敬畏勤于备份逆向工程是与网站开发者的持续对抗。你今天跑通的代码明天可能就失效了。务必做好代码版本管理Git并对关键JS文件、密钥等进行备份。每次成功运行后可以保存一份当时的数据样本和对应的JS文件快照。从易到难逐个击破不要试图一次性理解整个混淆的、上万行的JS文件。先通过“XHR断点”定位到最核心的签名和加密函数。只提取和理解这一小部分代码及其直接依赖。其他无关的代码块即使看不懂只要不影响核心逻辑执行可以先忽略。善用控制台进行单元测试在浏览器的Console里可以手动调用你定位到的函数传入简单参数验证输出。这是验证逆向逻辑是否正确的最快方法。把浏览器当作一个动态的代码测试环境。尊重robots.txt与法律法规在开始任何爬取工作前务必检查目标网站的robots.txt文件通常在网站根目录如https://example.com/robots.txt。明确禁止爬取的目录应予以尊重。同时抓取的数据应仅用于个人学习、研究或符合网站服务条款的用途不得用于商业牟利或侵犯他人权益。效率与道德的平衡在请求中加入适当的延迟避免对目标服务器造成过大压力。如果你的抓取需求量大考虑联系数据提供方询问是否有官方API或数据合作渠道。公开数据抓取是技术活更应在法律和道德的框架内进行。这个“停电公告信息抓取”项目从技术上看是一场深入前端安全领域的攻防演练从实用角度看是获取关键公共服务数据的一种能力。整个过程充满了挑战但每解决一个混淆点、每成功解密一条数据带来的成就感也是实实在在的。希望这份超详细的拆解能帮你绕过那些看似坚固的壁垒稳稳地拿到你想要的数据。记住核心永远在于耐心地逆向分析和稳健的工程化实现。