㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐ (进阶)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写 ⚠️4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现URL 规范化与请求层Fetcher7️⃣ 核心实现解析与 BFS 调度Parser Crawler8️⃣ 核心黑魔法扁平数据重组为树Tree Builder9️⃣ 运行方式与结果展示必写 常见问题与排错Troubleshooting️1️⃣1️⃣ 进阶优化Optional1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface大家好你是否曾想把某个优秀的开源官方文档或教程站完整地下载到本地做成随时可搜索的离线索引今天我们将编写一个具备“自动寻路”能力的智能爬虫。它会从一个根节点出发顺藤摸瓜把整个网站的层级结构扒得干干净净。读完这篇你将获得掌握广度优先搜索BFS在网页遍历中的实际工程应用。学会完美解决爬虫中最让人头疼的“无限循环跳转死循环”问题。最终产出一份标准化的、包含父子层级关系的directory_tree_mirror.json本地知识树文件。1️⃣ 摘要Abstract本文旨在实现对公共资源站点的全景式递归抓取。我们采用基于队列的 BFS 算法结合requests与BeautifulSoup逐层深入提取网页的标题、摘要及子链接。通过“URL 规范化”与“全局访问哈希表Visited Set”精准拦截循环引用并通过扁平化的 JSON Lines 文件实现断点续抓最终在内存中将扁平数据重组为嵌套目录树。核心收获算法落地树的遍历与网状图的破圈逻辑。工程韧性引入 Checkpoint检查点机制爬虫随时可停可续。成果物结构分明、包含depth和children的离线导航树。2️⃣ 背景与需求Why为什么要建目录树镜像互联网上的资源随时可能 404链接失效。将有价值的站点导航树镜像到本地不仅能随时全局全文检索CtrlF 找不到的东西离线树能找更是喂给 AI 做垂直知识问答的最佳目录索引。目标字段清单树节点 Node 定义path(本地化层级路径 - 如/docs/v1/intro)title(页面标题)parent(父节点 URL - 用于溯源和建树)depth(当前节点所处深度根节点为 0)url(页面原始链接)summary(页面摘要 - 提取自 meta description 或正文首段)children(子节点列表 - 嵌套结构)3️⃣ 合规与注意事项必写 ⚠️防范爬虫陷阱Spider Traps某些动态生成的页面如无限翻页的日历组件/year/2023,/year/2024…会导致爬虫陷入死循环。必须设置最大抓取深度Max Depth和严格的域名白名单。URL 去重与规范化必须彻底清除 URL 里的锚点#section1和追踪参数?utm_source...否则同一个页面会被抓取无数次爬取礼仪递归爬虫非常容易在短时间内对目标站发起猛烈并发请务必设置合理的time.sleep。4️⃣ 技术选型与整体流程What/How技术选型✅广度优先 (BFS) vs 深度优先 (DFS)我们选择BFS队列机制。因为 BFS 是一层一层向下抓的一旦中断我们已经拿到了完整的顶层结构而 DFS 可能会在某一个很深的死胡同里出不来。整体流程架构[初始化 URL 队列 访问记录池] ➔ [弹出队列首个 URL] ↳ 规范化 URL ➔ 检查是否已访问 ↳ 发起请求 ➔ 提取 Title, Summary ➔ 存入本地 flat_checkpoint.json ↳ 提取页面所有 a 标签 ➔ 过滤外链 ➔ 作为 Children 加入队列 (Depth 1) [队列清空 / 达到最大深度] ➔ [读取 Flat 数据] ➔ [重组为多叉树嵌套 JSON]5️⃣ 环境准备与依赖安装可复现Python 版本3.9项目结构site_mirror/ ├── mirror_spider.py # 核心爬虫与建树逻辑 ├── flat_checkpoint.jsonl # 断点续抓日志 (JSON Lines) └── directory_tree_mirror.json # 最终生成的嵌套树结构依赖安装pipinstallrequests beautifulsoup4 matplotlib6️⃣ 核心实现URL 规范化与请求层Fetcher这一层是防止爬虫“走火入魔”的守门员。importrequestsimporttimefromurllib.parseimporturlparse,urljoin,urldefragfromrequests.adaptersimportHTTPAdapterdefcreate_robust_session():sessionrequests.Session()session.headers.update({User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64) AppleWebKit/537.36})session.mount(http://,HTTPAdapter(max_retries3))session.mount(https://,HTTPAdapter(max_retries3))returnsessiondefnormalize_url(base_url,href): URL 规范化拼接相对路径、移除锚点(#)、忽略外部协议 ifnothreforhref.startswith((mailto:,tel:,javascript:)):returnNone# 拼接完整的绝对路径full_urlurljoin(base_url,href)# 移除 URL 中的锚点 fragment (例如 #header-1)# 因为带有锚点的 URL 指向的其实是同一个物理页面clean_url,_urldefrag(full_url)# 移除末尾的斜杠以保持统一 (https://site.com/docs https://site.com/docs/)clean_urlclean_url.rstrip(/)returnclean_url7️⃣ 核心实现解析与 BFS 调度Parser Crawler这里是工程的核心我们使用一个flat_checkpoint.jsonl文件实时记录抓取结果。这样即使断电下次只需读取该文件就能恢复visited集合继续抓取。frombs4importBeautifulSoupimportjsonimportosfromcollectionsimportdequeclassDirectoryTreeMirror:def__init__(self,start_url,max_depth3,allowed_domainNone):self.start_urlnormalize_url(start_url,)self.max_depthmax_depth self.allowed_domainallowed_domainorurlparse(self.start_url).netloc self.sessioncreate_robust_session()self.checkpoint_fileflat_checkpoint.jsonlself.visited_urlsset()self.queuedeque()self._load_checkpoint()def_load_checkpoint(self):加载断点恢复 visited 集合和队列ifos.path.exists(self.checkpoint_file):print( Found checkpoint file, resuming crawl...)withopen(self.checkpoint_file,r,encodingutf-8)asf:forlineinf:nodejson.loads(line.strip())self.visited_urls.add(node[url])print(f └── Restored{len(self.visited_urls)}visited URLs.)else:# 首次运行加入根节点self.queue.append({url:self.start_url,parent:None,depth:0})def_save_node(self,node_data):扁平化实时落盘防止数据丢失withopen(self.checkpoint_file,a,encodingutf-8)asf:f.write(json.dumps(node_data,ensure_asciiFalse)\n)defextract_page_data(self,html):soupBeautifulSoup(html,html.parser)title_tagsoup.find(title)titletitle_tag.get_text(stripTrue)iftitle_tagelseUntitled# 提取摘要优先找 meta description否则取第一个 p 标签meta_descsoup.find(meta,attrs{name:description})ifmeta_descandmeta_desc.get(content):summarymeta_desc[content].strip()else:first_psoup.find(p)summaryfirst_p.get_text(stripTrue)[:150]...iffirst_pelseNo summary available.# 提取所有子链接linkssoup.find_all(a)returntitle,summary,linksdefrun_spider(self):print(f Mirror Spider Started. Target:{self.start_url})whileself.queue:current_taskself.queue.popleft()current_urlcurrent_task[url]depthcurrent_task[depth]parent_urlcurrent_task[parent]ifcurrent_urlinself.visited_urls:continueprint(f[{depth}/{self.max_depth}] 抓取:{current_url})try:respself.session.get(current_url,timeout10)ifresp.status_code!200:continueresp.encodingutf-8title,summary,a_tagsself.extract_page_data(resp.text)# 构造并保存当前节点pathurlparse(current_url).pathor/node_data{url:current_url,path:path,title:title,summary:summary,parent:parent_url,depth:depth}self._save_node(node_data)self.visited_urls.add(current_url)# 若未达最大深度将新链接加入队列ifdepthself.max_depth:fortagina_tags:next_urlnormalize_url(current_url,tag.get(href))ifnotnext_url:continue# 核心边界控制只抓同域名且未访问过的 URLifurlparse(next_url).netlocself.allowed_domainandnext_urlnotinself.visited_urls:self.queue.append({url:next_url,parent:current_url,depth:depth1})time.sleep(1)# 文明抓取延时exceptExceptionase:print(f ❌ Error fetching{current_url}:{e})8️⃣ 核心黑魔法扁平数据重组为树Tree Builder爬虫跑完后我们得到的是一个扁平的 JSONL 文件。我们需要根据parent和url的关系在内存中把它们拼装成嵌套字典。# ...接在 DirectoryTreeMirror 类内部...defbuild_nested_tree(self):将扁平的断点日志重组为嵌套的 JSON 树print(\n Building directory tree from flat checkpoint...)ifnotos.path.exists(self.checkpoint_file):returnNonenodes_lookup{}tree_roots[]# 1. 读取所有节点预先构建字典withopen(self.checkpoint_file,r,encodingutf-8)asf:forlineinf:nodejson.loads(line.strip())node[children][]# 初始化空子节点列表nodes_lookup[node[url]]node# 2. 建立父子关系forurl,nodeinnodes_lookup.items():parent_urlnode[parent]ifparent_urlandparent_urlinnodes_lookup:# 挂载到父节点的 children 列表中nodes_lookup[parent_url][children].append(node)else:# 如果没有 parent或者 parent 没被抓取到视作根节点tree_roots.append(node)# 3. 导出最终成果output_filedirectory_tree_mirror.jsonwithopen(output_file,w,encodingutf-8)asf:json.dump(tree_roots,f,ensure_asciiFalse,indent4)print(f Tree successfully saved to{output_file}!)returnoutput_file9️⃣ 运行方式与结果展示必写大功告成将模块组装起来启动。# mirror_spider.pydefmain():# 模拟抓取某开源项目的文档中心 (仅抓取到深度 2防止时间过长)TARGET_URLhttps://example-docs.com/intromirrorDirectoryTreeMirror(start_urlTARGET_URL,max_depth2)# 第一步启动广度优先遍历mirror.run_spider()# 第二步任务结束后将平铺数据生成树状 JSONmirror.build_nested_tree()if__name____main__:main() 示例结果展示 (directory_tree_mirror.json)[{url:https://example-docs.com/intro,path:/intro,title:Introduction to The Framework,summary:This is the official documentation for...,parent:null,depth:0,children:[{url:https://example-docs.com/intro/getting-started,path:/intro/getting-started,title:Getting Started,summary:Follow these 3 easy steps to install...,parent:https://example-docs.com/intro,depth:1,children:[]},{url:https://example-docs.com/intro/api,path:/intro/api,title:API Reference,summary:Complete list of API endpoints.,parent:https://example-docs.com/intro,depth:1,children:[]}]}] 常见问题与排错Troubleshooting️无限递归抓不完发现爬虫在同一层疯狂徘徊诊断网站有“日历”或“按月归档”的组件或者是像/tags/python,/tags/crawler这样的网状标签系统。破局方案严格限制max_depth一般设为 3 或 4 足够覆盖核心文档。增加正则表达式黑名单过滤例如if re.search(r/tag/|/date/, next_url): continue。树重组后发现断层有些子节点没挂上去诊断parent_url记录的 URL 和字典里存的 URL 不完全匹配比如少了个斜杠/。破局方案一切取决于我们在 Fetcher 层的normalize_url函数是否足够严谨一定要用rstrip(/)统一结尾规则。1️⃣1️⃣ 进阶优化Optional既然我们抓到了带depth的数据我们可以用matplotlib画一个非常直观的**“站点层级宽度分布图”**看看这个网站的架构是不是“头重脚轻”。( 注根据规范图表标签全英文)importmatplotlib.pyplotaspltimportjsonfromcollectionsimportCounterdefplot_tree_depth_distribution(checkpoint_fileflat_checkpoint.jsonl):depths[]withopen(checkpoint_file,r,encodingutf-8)asf:forlineinf:depths.append(json.loads(line)[depth])depth_countsCounter(depths)plt.figure(figsize(8,5))plt.bar(depth_counts.keys(),depth_counts.values(),color#00BCD4)plt.title(Directory Tree Breadth by Depth,fontsize14)plt.xlabel(Tree Node Depth Level,fontsize12)plt.ylabel(Number of Pages,fontsize12)plt.xticks(list(depth_counts.keys()))plt.grid(axisy,linestyle--,alpha0.7)chart_pathtree_depth_distribution.pngplt.savefig(chart_path)print(f Depth distribution chart saved to{chart_path})1️⃣2️⃣ 总结与延伸阅读恭喜你 你今天完成了一个非常宏大的工程实现了一个微型的“网页蜘蛛侠Web Crawler”。商业搜索引擎如 Googlebot的底层寻路逻辑本质上也是我们在本文实现的URL 发现 ➔ 去重规范化 ➔ BFS 队列调度的超级放大版。拿到了这份本地化的 JSON 树后你可以用前端框架如 Vue/React渲染出一个无限展开的折叠菜单或者将其作为LangChain的 Document Loader 输入源让大模型“熟读”整本官方手册。这套代码的鲁棒性极高如果你在实战中遇到了那种“用 JS 动态渲染导航栏”的网站记得把requests替换成我们之前用过的Playwright哦如果遇到具体问题随时带着目标网址来找我 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。
Python爬虫实战：构建公共目录树离线镜像系统！
发布时间：2026/7/19 11:17:09
㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐ (进阶)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写 ⚠️4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现URL 规范化与请求层Fetcher7️⃣ 核心实现解析与 BFS 调度Parser Crawler8️⃣ 核心黑魔法扁平数据重组为树Tree Builder9️⃣ 运行方式与结果展示必写 常见问题与排错Troubleshooting️1️⃣1️⃣ 进阶优化Optional1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface大家好你是否曾想把某个优秀的开源官方文档或教程站完整地下载到本地做成随时可搜索的离线索引今天我们将编写一个具备“自动寻路”能力的智能爬虫。它会从一个根节点出发顺藤摸瓜把整个网站的层级结构扒得干干净净。读完这篇你将获得掌握广度优先搜索BFS在网页遍历中的实际工程应用。学会完美解决爬虫中最让人头疼的“无限循环跳转死循环”问题。最终产出一份标准化的、包含父子层级关系的directory_tree_mirror.json本地知识树文件。1️⃣ 摘要Abstract本文旨在实现对公共资源站点的全景式递归抓取。我们采用基于队列的 BFS 算法结合requests与BeautifulSoup逐层深入提取网页的标题、摘要及子链接。通过“URL 规范化”与“全局访问哈希表Visited Set”精准拦截循环引用并通过扁平化的 JSON Lines 文件实现断点续抓最终在内存中将扁平数据重组为嵌套目录树。核心收获算法落地树的遍历与网状图的破圈逻辑。工程韧性引入 Checkpoint检查点机制爬虫随时可停可续。成果物结构分明、包含depth和children的离线导航树。2️⃣ 背景与需求Why为什么要建目录树镜像互联网上的资源随时可能 404链接失效。将有价值的站点导航树镜像到本地不仅能随时全局全文检索CtrlF 找不到的东西离线树能找更是喂给 AI 做垂直知识问答的最佳目录索引。目标字段清单树节点 Node 定义path(本地化层级路径 - 如/docs/v1/intro)title(页面标题)parent(父节点 URL - 用于溯源和建树)depth(当前节点所处深度根节点为 0)url(页面原始链接)summary(页面摘要 - 提取自 meta description 或正文首段)children(子节点列表 - 嵌套结构)3️⃣ 合规与注意事项必写 ⚠️防范爬虫陷阱Spider Traps某些动态生成的页面如无限翻页的日历组件/year/2023,/year/2024…会导致爬虫陷入死循环。必须设置最大抓取深度Max Depth和严格的域名白名单。URL 去重与规范化必须彻底清除 URL 里的锚点#section1和追踪参数?utm_source...否则同一个页面会被抓取无数次爬取礼仪递归爬虫非常容易在短时间内对目标站发起猛烈并发请务必设置合理的time.sleep。4️⃣ 技术选型与整体流程What/How技术选型✅广度优先 (BFS) vs 深度优先 (DFS)我们选择BFS队列机制。因为 BFS 是一层一层向下抓的一旦中断我们已经拿到了完整的顶层结构而 DFS 可能会在某一个很深的死胡同里出不来。整体流程架构[初始化 URL 队列 访问记录池] ➔ [弹出队列首个 URL] ↳ 规范化 URL ➔ 检查是否已访问 ↳ 发起请求 ➔ 提取 Title, Summary ➔ 存入本地 flat_checkpoint.json ↳ 提取页面所有 a 标签 ➔ 过滤外链 ➔ 作为 Children 加入队列 (Depth 1) [队列清空 / 达到最大深度] ➔ [读取 Flat 数据] ➔ [重组为多叉树嵌套 JSON]5️⃣ 环境准备与依赖安装可复现Python 版本3.9项目结构site_mirror/ ├── mirror_spider.py # 核心爬虫与建树逻辑 ├── flat_checkpoint.jsonl # 断点续抓日志 (JSON Lines) └── directory_tree_mirror.json # 最终生成的嵌套树结构依赖安装pipinstallrequests beautifulsoup4 matplotlib6️⃣ 核心实现URL 规范化与请求层Fetcher这一层是防止爬虫“走火入魔”的守门员。importrequestsimporttimefromurllib.parseimporturlparse,urljoin,urldefragfromrequests.adaptersimportHTTPAdapterdefcreate_robust_session():sessionrequests.Session()session.headers.update({User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64) AppleWebKit/537.36})session.mount(http://,HTTPAdapter(max_retries3))session.mount(https://,HTTPAdapter(max_retries3))returnsessiondefnormalize_url(base_url,href): URL 规范化拼接相对路径、移除锚点(#)、忽略外部协议 ifnothreforhref.startswith((mailto:,tel:,javascript:)):returnNone# 拼接完整的绝对路径full_urlurljoin(base_url,href)# 移除 URL 中的锚点 fragment (例如 #header-1)# 因为带有锚点的 URL 指向的其实是同一个物理页面clean_url,_urldefrag(full_url)# 移除末尾的斜杠以保持统一 (https://site.com/docs https://site.com/docs/)clean_urlclean_url.rstrip(/)returnclean_url7️⃣ 核心实现解析与 BFS 调度Parser Crawler这里是工程的核心我们使用一个flat_checkpoint.jsonl文件实时记录抓取结果。这样即使断电下次只需读取该文件就能恢复visited集合继续抓取。frombs4importBeautifulSoupimportjsonimportosfromcollectionsimportdequeclassDirectoryTreeMirror:def__init__(self,start_url,max_depth3,allowed_domainNone):self.start_urlnormalize_url(start_url,)self.max_depthmax_depth self.allowed_domainallowed_domainorurlparse(self.start_url).netloc self.sessioncreate_robust_session()self.checkpoint_fileflat_checkpoint.jsonlself.visited_urlsset()self.queuedeque()self._load_checkpoint()def_load_checkpoint(self):加载断点恢复 visited 集合和队列ifos.path.exists(self.checkpoint_file):print( Found checkpoint file, resuming crawl...)withopen(self.checkpoint_file,r,encodingutf-8)asf:forlineinf:nodejson.loads(line.strip())self.visited_urls.add(node[url])print(f └── Restored{len(self.visited_urls)}visited URLs.)else:# 首次运行加入根节点self.queue.append({url:self.start_url,parent:None,depth:0})def_save_node(self,node_data):扁平化实时落盘防止数据丢失withopen(self.checkpoint_file,a,encodingutf-8)asf:f.write(json.dumps(node_data,ensure_asciiFalse)\n)defextract_page_data(self,html):soupBeautifulSoup(html,html.parser)title_tagsoup.find(title)titletitle_tag.get_text(stripTrue)iftitle_tagelseUntitled# 提取摘要优先找 meta description否则取第一个 p 标签meta_descsoup.find(meta,attrs{name:description})ifmeta_descandmeta_desc.get(content):summarymeta_desc[content].strip()else:first_psoup.find(p)summaryfirst_p.get_text(stripTrue)[:150]...iffirst_pelseNo summary available.# 提取所有子链接linkssoup.find_all(a)returntitle,summary,linksdefrun_spider(self):print(f Mirror Spider Started. Target:{self.start_url})whileself.queue:current_taskself.queue.popleft()current_urlcurrent_task[url]depthcurrent_task[depth]parent_urlcurrent_task[parent]ifcurrent_urlinself.visited_urls:continueprint(f[{depth}/{self.max_depth}] 抓取:{current_url})try:respself.session.get(current_url,timeout10)ifresp.status_code!200:continueresp.encodingutf-8title,summary,a_tagsself.extract_page_data(resp.text)# 构造并保存当前节点pathurlparse(current_url).pathor/node_data{url:current_url,path:path,title:title,summary:summary,parent:parent_url,depth:depth}self._save_node(node_data)self.visited_urls.add(current_url)# 若未达最大深度将新链接加入队列ifdepthself.max_depth:fortagina_tags:next_urlnormalize_url(current_url,tag.get(href))ifnotnext_url:continue# 核心边界控制只抓同域名且未访问过的 URLifurlparse(next_url).netlocself.allowed_domainandnext_urlnotinself.visited_urls:self.queue.append({url:next_url,parent:current_url,depth:depth1})time.sleep(1)# 文明抓取延时exceptExceptionase:print(f ❌ Error fetching{current_url}:{e})8️⃣ 核心黑魔法扁平数据重组为树Tree Builder爬虫跑完后我们得到的是一个扁平的 JSONL 文件。我们需要根据parent和url的关系在内存中把它们拼装成嵌套字典。# ...接在 DirectoryTreeMirror 类内部...defbuild_nested_tree(self):将扁平的断点日志重组为嵌套的 JSON 树print(\n Building directory tree from flat checkpoint...)ifnotos.path.exists(self.checkpoint_file):returnNonenodes_lookup{}tree_roots[]# 1. 读取所有节点预先构建字典withopen(self.checkpoint_file,r,encodingutf-8)asf:forlineinf:nodejson.loads(line.strip())node[children][]# 初始化空子节点列表nodes_lookup[node[url]]node# 2. 建立父子关系forurl,nodeinnodes_lookup.items():parent_urlnode[parent]ifparent_urlandparent_urlinnodes_lookup:# 挂载到父节点的 children 列表中nodes_lookup[parent_url][children].append(node)else:# 如果没有 parent或者 parent 没被抓取到视作根节点tree_roots.append(node)# 3. 导出最终成果output_filedirectory_tree_mirror.jsonwithopen(output_file,w,encodingutf-8)asf:json.dump(tree_roots,f,ensure_asciiFalse,indent4)print(f Tree successfully saved to{output_file}!)returnoutput_file9️⃣ 运行方式与结果展示必写大功告成将模块组装起来启动。# mirror_spider.pydefmain():# 模拟抓取某开源项目的文档中心 (仅抓取到深度 2防止时间过长)TARGET_URLhttps://example-docs.com/intromirrorDirectoryTreeMirror(start_urlTARGET_URL,max_depth2)# 第一步启动广度优先遍历mirror.run_spider()# 第二步任务结束后将平铺数据生成树状 JSONmirror.build_nested_tree()if__name____main__:main() 示例结果展示 (directory_tree_mirror.json)[{url:https://example-docs.com/intro,path:/intro,title:Introduction to The Framework,summary:This is the official documentation for...,parent:null,depth:0,children:[{url:https://example-docs.com/intro/getting-started,path:/intro/getting-started,title:Getting Started,summary:Follow these 3 easy steps to install...,parent:https://example-docs.com/intro,depth:1,children:[]},{url:https://example-docs.com/intro/api,path:/intro/api,title:API Reference,summary:Complete list of API endpoints.,parent:https://example-docs.com/intro,depth:1,children:[]}]}] 常见问题与排错Troubleshooting️无限递归抓不完发现爬虫在同一层疯狂徘徊诊断网站有“日历”或“按月归档”的组件或者是像/tags/python,/tags/crawler这样的网状标签系统。破局方案严格限制max_depth一般设为 3 或 4 足够覆盖核心文档。增加正则表达式黑名单过滤例如if re.search(r/tag/|/date/, next_url): continue。树重组后发现断层有些子节点没挂上去诊断parent_url记录的 URL 和字典里存的 URL 不完全匹配比如少了个斜杠/。破局方案一切取决于我们在 Fetcher 层的normalize_url函数是否足够严谨一定要用rstrip(/)统一结尾规则。1️⃣1️⃣ 进阶优化Optional既然我们抓到了带depth的数据我们可以用matplotlib画一个非常直观的**“站点层级宽度分布图”**看看这个网站的架构是不是“头重脚轻”。( 注根据规范图表标签全英文)importmatplotlib.pyplotaspltimportjsonfromcollectionsimportCounterdefplot_tree_depth_distribution(checkpoint_fileflat_checkpoint.jsonl):depths[]withopen(checkpoint_file,r,encodingutf-8)asf:forlineinf:depths.append(json.loads(line)[depth])depth_countsCounter(depths)plt.figure(figsize(8,5))plt.bar(depth_counts.keys(),depth_counts.values(),color#00BCD4)plt.title(Directory Tree Breadth by Depth,fontsize14)plt.xlabel(Tree Node Depth Level,fontsize12)plt.ylabel(Number of Pages,fontsize12)plt.xticks(list(depth_counts.keys()))plt.grid(axisy,linestyle--,alpha0.7)chart_pathtree_depth_distribution.pngplt.savefig(chart_path)print(f Depth distribution chart saved to{chart_path})1️⃣2️⃣ 总结与延伸阅读恭喜你 你今天完成了一个非常宏大的工程实现了一个微型的“网页蜘蛛侠Web Crawler”。商业搜索引擎如 Googlebot的底层寻路逻辑本质上也是我们在本文实现的URL 发现 ➔ 去重规范化 ➔ BFS 队列调度的超级放大版。拿到了这份本地化的 JSON 树后你可以用前端框架如 Vue/React渲染出一个无限展开的折叠菜单或者将其作为LangChain的 Document Loader 输入源让大模型“熟读”整本官方手册。这套代码的鲁棒性极高如果你在实战中遇到了那种“用 JS 动态渲染导航栏”的网站记得把requests替换成我们之前用过的Playwright哦如果遇到具体问题随时带着目标网址来找我 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。
