㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐ (进阶)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层与清洗层Fetcher Cleaner7️⃣ 核心实现中文倒排索引层Indexer8️⃣ 检索与导出Search API9️⃣ 运行方式与可视化结果展示必写 常见问题与排错强烈建议写1️⃣1️⃣ 进阶优化可选但加分1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface不再仅仅是把数据塞进 CSV 或数据库今天我们要爬取网页正文对其进行中文分词并构建真正的倒排索引Inverted Index。读完本文你将获得一个能自动抓取、清洗网页正文并生成结构化语料的爬虫管道。掌握Whoosh搜索引擎库与Jieba分词的无缝结合技巧。拥有一个可通过 API 或终端直接搜索本地知识库的“产品雏形”并能根据相关度Score对结果排序1️⃣ 摘要Abstract本文以构建“本地垂直搜索引擎”为核心演示了如何通过 Python 的requestsbs4获取网页语料内容并创新性地引入Whoosh和jieba将清洗后的数据含标题、摘要、正文等字段构建为本地倒排索引文件最终提供高效的毫秒级检索能力及全英文的性能数据可视化图表。读完本文你将获得深刻理解“抓取 - 分词 - 倒排索引 - 检索”的工业级搜索产品链路。学会处理爬虫增量更新时的“索引去重与合并”难题。获得一套可开箱即用、带高亮显示的本地检索代码模板。2️⃣ 背景与需求Why为什么要建本地检索无论是做个人的稍后阅读库、垂类行业资讯监控还是为企业内部的 RAG检索增强生成大模型准备私有知识库我们都需要一种能快速根据关键词命中文章并能把高亮片段提取出来的能力。纯粹的数据库存取已经无法满足“模糊匹配权重排序”的需求了。目标场景抓取某技术博客或新闻资讯的连续多页内容。目标字段清单语料库 Schemaurl(唯一标识防重入)title(文章标题权重极高)summary(摘要清洗生成用于搜索结果展示)body(正文清洗掉 HTML 标签后的纯文本重点索引对象)source(来源站点)tags(标签精确匹配项)crawl_time(抓取时间)3️⃣ 合规与注意事项必写⚠️ 爬虫法则铭记于心robots.txt 基本说明规模化采集前必须查阅目标站点的爬虫协议。如果对方禁止抓取特定路径我们要利用urllib.robotparser予以规避。频率控制全量抓取建库是非常消耗网络 I/O 的行为。请务必加入time.sleep()甚至设置单 IP 每日访问上限不要进行攻击式并发。内容边界仅抓取公开合法的文本资讯。切勿触碰个人隐私、禁止抓取具有明确版权声明且谢绝转载的付费内容纯技术探讨与学习除外。4️⃣ 技术选型与整体流程What/How本项目属于**“静态爬取 NLP 处理 倒排索引构建”**。⚙️为什么选 Whoosh 而不是 ElasticsearchElasticsearch 是企业级标配但对于一个本地系统或产品雏形来说ES 太重了需要 Java 环境跑全家桶。Whoosh是纯 Python 实现的搜索引擎轻量、无需配置服务端跟SQLite的定位类似简直是做本地产品的神兵利器配合bs4剥离 HTML 噪音绝配整体流程设计【多页抓取】➡️【DOM 树清洗剥离杂质】➡️【Jieba 词库分词】➡️【Whoosh 倒排索引落盘】➡️【Search API 提供检索】5️⃣ 环境准备与依赖安装可复现确认你的电脑装有 Python 3.8。打开终端输入以下命令安装这套豪华套餐pipinstallrequests beautifulsoup4 whoosh jieba matplotlib推荐项目结构产品级目录mini_search_engine/ │ ├── core/ │ ├── spider.py # 抓取与清洗引擎 │ └── indexer.py # Whoosh 索引引擎 ├── app.py # 检索 API / 终端入口 ├── utils.py # 可视化图表生成 └── local_search_index/ # 倒排索引物理文件落盘区 (自动生成)6️⃣ 核心实现请求层与清洗层Fetcher Cleaner抓取并不是重点重点在于**“清洗Cleaning”**。如果把一堆包含script和style的源码直接塞进搜索引擎搜出来的全是一堆乱码标签。# core/spider.pyimportrequestsfrombs4importBeautifulSoupfromdatetimeimportdatetimeimportredeffetch_and_clean(url:str)-dict:抓取页面并深度清洗为结构化语料headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) SearchBot/1.0}try:resprequests.get(url,headersheaders,timeout10)resp.raise_for_status()resp.encodingresp.apparent_encoding# 解决乱码soupBeautifulSoup(resp.text,html.parser)# 【暴力清洗】移除所有脚本和样式forscriptinsoup([script,style,nav,footer]):script.decompose()# 1. 提取标题titlesoup.title.string.strip()ifsoup.titleelseUntitled# 2. 提取正文 (将所有段落拼合并用正则合并多余空格/换行)paragraphs[p.get_text(stripTrue)forpinsoup.find_all(p)]raw_body .join(paragraphs)clean_bodyre.sub(r\s, ,raw_body).strip()# 3. 生成摘要 (取正文前150个字符)summaryclean_body[:150]...iflen(clean_body)150elseclean_bodyreturn{url:url,title:title,summary:summary,body:clean_body,source:LocalTechBlog,tags:tech, python,# 这里可根据网页结构动态提取crawl_time:datetime.now().isoformat()}exceptExceptionase:print(f❌ Error fetching{url}:{e})return{}7️⃣ 核心实现中文倒排索引层Indexer这是本项目的灵魂我们通过 Jieba 定制中文分析器并告诉 Whoosh 怎么建立表结构Schema。# core/indexer.pyimportosfromwhoosh.indeximportcreate_in,open_dirfromwhoosh.fieldsimportSchema,TEXT,ID,DATETIME,KEYWORDfromwhoosh.qparserimportMultifieldParserfromjieba.analyseimportChineseAnalyzer# 配置结巴中文分词器chinese_analyzerChineseAnalyzer()# 定义语料库 Schema (表结构)# TEXT: 全文检索字段需分词 ID: 精确匹配不分词设为 unique 可去重 storedTrue 表示存入明文以便展示schemaSchema(urlID(storedTrue,uniqueTrue),titleTEXT(storedTrue,analyzerchinese_analyzer),summaryTEXT(storedTrue,analyzerchinese_analyzer),bodyTEXT(storedFalse,analyzerchinese_analyzer),# 正文太长为了省空间只索引不存明文sourceID(storedTrue),tagsKEYWORD(storedTrue,commasTrue),crawl_timeDATETIME(storedTrue))INDEX_DIRlocal_search_indexdefinit_index():初始化索引库ifnotos.path.exists(INDEX_DIR):os.mkdir(INDEX_DIR)returncreate_in(INDEX_DIR,schema)returnopen_dir(INDEX_DIR)defadd_document(doc:dict):【增量更新】写入文档到倒排索引ixinit_index()writerix.writer()# 使用 update_document基于 unique 字段(url)实现存在则更新不存在则插入writer.update_document(urldoc[url],titledoc[title],summarydoc[summary],bodydoc[body],sourcedoc[source],tagsdoc[tags],crawl_timedoc[crawl_time])writer.commit()# 必须 commit 才会落盘print(f✅ Indexed:{doc[title]})8️⃣ 检索与导出Search API不仅要存得进去还要搜得精准我们实现一个可以在title和summary联合查阅的接口。# core/indexer.py (追加检索逻辑)defsearch_query(keyword:str,limit:int5):全文检索带相关度打分ixopen_dir(INDEX_DIR)# 在标题和摘要两个字段中同时检索query_parserMultifieldParser([title,summary],ix.schema)queryquery_parser.parse(keyword)results_list[]withix.searcher()assearcher:resultssearcher.search(query,limitlimit)forhitinresults:results_list.append({score:hit.score,# BM25 打分title:hit.get(title),url:hit.get(url),summary:hit.highlights(summary)orhit.get(summary)# 返回高亮文本})returnresults_list9️⃣ 运行方式与可视化结果展示必写为了让项目具备浓浓的“极客风”我们在入口处做个交互式命令行并生成一份英文的索引构建性能图# app.pyfromcore.spiderimportfetch_and_cleanfromcore.indexerimportadd_document,search_queryimporttimedefbuild_corpus():模拟抓取一批URL建库urls_to_crawl[http://quotes.toscrape.com/,http://books.toscrape.com/]print(️ Starting crawler to build local knowledge base...)foruinurls_to_crawl:docfetch_and_clean(u)ifdoc:add_document(doc)time.sleep(1)# 柔和抓取defrun_search_engine():产品交互入口print(\n*40)print( Local Mini Search Engine Ready!)print(*40)whileTrue:kwinput(\n Enter keyword (or quit to exit): ).strip()ifkw.lower()quit:breakifnotkw:continuestart_ttime.time()hitssearch_query(kw)costtime.time()-start_tprint(f\nFound{len(hits)}results in{cost:.4f}seconds:)foridx,hinenumerate(hits,1):print(f[{idx}]{h[title]}(Score:{h[score]:.2f}))print(f Link:{h[url]})print(f Snippet:{h[summary]}\n)if__name____main__:build_corpus()# 第一步抓取并建索引run_search_engine()# 第二步启动交互式搜索附加可视化组件英文图表当数据量大了我们可以用它来画出检索耗时的表现。# utils.pyimportmatplotlib.pyplotaspltdefplot_performance():# Simulated data for index size vs query timedocs_count[100,500,1000,5000,10000]query_time_ms[2,5,8,15,25]plt.figure(figsize(8,5))plt.plot(docs_count,query_time_ms,markero,linestyle-,colorb)# All text elements MUST be in Englishplt.title(Search Query Performance Analysis,fontsize14,fontweightbold)plt.xlabel(Number of Indexed Documents,fontsize12)plt.ylabel(Query Time Response (ms),fontsize12)plt.grid(True,linestyle--,alpha0.6)filenamesearch_engine_metrics.pngplt.savefig(filename,dpi300)print(f Performance chart saved to{filename}) 常见问题与排错强烈建议写在爬虫向搜索引擎升级的路上这几个坑不踩简直是不可能的分词不准把“爬虫”切成了“爬”和“虫”解法使用jieba.add_word(爬虫)或加载自定义词典jieba.load_userdict(dict.txt)扩充专有词库。报错whoosh.index.LockError原因程序在写索引时异常崩溃导致文件锁没释放。解法确保使用try...finally来处理writer.commit()或者手动删除local_search_index文件夹下的.lock结尾的文件。提取的 HTML 摘要依然带标签解法不要直接用.text一定用 bs4 的.get_text(stripTrue, separator )这样无论多深层的 span/div都能被压平为纯文本。增量更新变慢磁盘 I/O 瓶颈解法不要抓一篇就commit()一次。采用批处理Batch Indexing每累积 100 篇语料再调用一次writer.commit()速度会提升数十倍1️⃣1️⃣ 进阶优化可选但加分产品雏形有了还能怎么飞Hash 签名过滤在每次抓取前对网页的内容计算Simhash或MD5。如果跟库里存的一致连 Whoosh 的更新逻辑都不用走极致节省算力。Web 化提供检索接口抛弃命令行用FastAPI写一个/search?qxxx的接口配合前端 Vue 写一个类似 Google 的极简搜索框页面拿去装杯绝对拉风向 Elasticsearch 迁移当你的抓取数据超过 100 万级单机的 Whoosh 查询可能会遇到瓶颈这时候将底层平滑替换为 Docker 部署的 ES IK 分词器就能支撑高并发了。1️⃣2️⃣ 总结与延伸阅读 恭喜你今天你不仅写了一个爬虫更是一个完整的数据流处理系统。我们从 HTML 乱码中淘出了纯净的正文通过Jieba切割了语言的颗粒并用Whoosh赋予了它毫秒级检索和 BM25 权重排序的能力。这就叫真正的**“全链路技术闭环”**下一步的魔法现在的搜索还是基于关键词Keyword-based。如果你想更潮一点可以在现在的架构上引入HuggingFace的模型将文章正文转化为向量Embeddings存入Milvus或ChromaDB那样你就能实现根据语义去搜索比如搜“如何赚钱”哪怕文章里没这两个字也能命中理财知识。这就是目前爆火的 RAG 大模型知识库的核心基石 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。
Python爬虫实战：本地搜索引擎前置采集：抓取 → 清洗 → 建索引！
发布时间：2026/5/29 4:14:13
㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐ (进阶)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层与清洗层Fetcher Cleaner7️⃣ 核心实现中文倒排索引层Indexer8️⃣ 检索与导出Search API9️⃣ 运行方式与可视化结果展示必写 常见问题与排错强烈建议写1️⃣1️⃣ 进阶优化可选但加分1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface不再仅仅是把数据塞进 CSV 或数据库今天我们要爬取网页正文对其进行中文分词并构建真正的倒排索引Inverted Index。读完本文你将获得一个能自动抓取、清洗网页正文并生成结构化语料的爬虫管道。掌握Whoosh搜索引擎库与Jieba分词的无缝结合技巧。拥有一个可通过 API 或终端直接搜索本地知识库的“产品雏形”并能根据相关度Score对结果排序1️⃣ 摘要Abstract本文以构建“本地垂直搜索引擎”为核心演示了如何通过 Python 的requestsbs4获取网页语料内容并创新性地引入Whoosh和jieba将清洗后的数据含标题、摘要、正文等字段构建为本地倒排索引文件最终提供高效的毫秒级检索能力及全英文的性能数据可视化图表。读完本文你将获得深刻理解“抓取 - 分词 - 倒排索引 - 检索”的工业级搜索产品链路。学会处理爬虫增量更新时的“索引去重与合并”难题。获得一套可开箱即用、带高亮显示的本地检索代码模板。2️⃣ 背景与需求Why为什么要建本地检索无论是做个人的稍后阅读库、垂类行业资讯监控还是为企业内部的 RAG检索增强生成大模型准备私有知识库我们都需要一种能快速根据关键词命中文章并能把高亮片段提取出来的能力。纯粹的数据库存取已经无法满足“模糊匹配权重排序”的需求了。目标场景抓取某技术博客或新闻资讯的连续多页内容。目标字段清单语料库 Schemaurl(唯一标识防重入)title(文章标题权重极高)summary(摘要清洗生成用于搜索结果展示)body(正文清洗掉 HTML 标签后的纯文本重点索引对象)source(来源站点)tags(标签精确匹配项)crawl_time(抓取时间)3️⃣ 合规与注意事项必写⚠️ 爬虫法则铭记于心robots.txt 基本说明规模化采集前必须查阅目标站点的爬虫协议。如果对方禁止抓取特定路径我们要利用urllib.robotparser予以规避。频率控制全量抓取建库是非常消耗网络 I/O 的行为。请务必加入time.sleep()甚至设置单 IP 每日访问上限不要进行攻击式并发。内容边界仅抓取公开合法的文本资讯。切勿触碰个人隐私、禁止抓取具有明确版权声明且谢绝转载的付费内容纯技术探讨与学习除外。4️⃣ 技术选型与整体流程What/How本项目属于**“静态爬取 NLP 处理 倒排索引构建”**。⚙️为什么选 Whoosh 而不是 ElasticsearchElasticsearch 是企业级标配但对于一个本地系统或产品雏形来说ES 太重了需要 Java 环境跑全家桶。Whoosh是纯 Python 实现的搜索引擎轻量、无需配置服务端跟SQLite的定位类似简直是做本地产品的神兵利器配合bs4剥离 HTML 噪音绝配整体流程设计【多页抓取】➡️【DOM 树清洗剥离杂质】➡️【Jieba 词库分词】➡️【Whoosh 倒排索引落盘】➡️【Search API 提供检索】5️⃣ 环境准备与依赖安装可复现确认你的电脑装有 Python 3.8。打开终端输入以下命令安装这套豪华套餐pipinstallrequests beautifulsoup4 whoosh jieba matplotlib推荐项目结构产品级目录mini_search_engine/ │ ├── core/ │ ├── spider.py # 抓取与清洗引擎 │ └── indexer.py # Whoosh 索引引擎 ├── app.py # 检索 API / 终端入口 ├── utils.py # 可视化图表生成 └── local_search_index/ # 倒排索引物理文件落盘区 (自动生成)6️⃣ 核心实现请求层与清洗层Fetcher Cleaner抓取并不是重点重点在于**“清洗Cleaning”**。如果把一堆包含script和style的源码直接塞进搜索引擎搜出来的全是一堆乱码标签。# core/spider.pyimportrequestsfrombs4importBeautifulSoupfromdatetimeimportdatetimeimportredeffetch_and_clean(url:str)-dict:抓取页面并深度清洗为结构化语料headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) SearchBot/1.0}try:resprequests.get(url,headersheaders,timeout10)resp.raise_for_status()resp.encodingresp.apparent_encoding# 解决乱码soupBeautifulSoup(resp.text,html.parser)# 【暴力清洗】移除所有脚本和样式forscriptinsoup([script,style,nav,footer]):script.decompose()# 1. 提取标题titlesoup.title.string.strip()ifsoup.titleelseUntitled# 2. 提取正文 (将所有段落拼合并用正则合并多余空格/换行)paragraphs[p.get_text(stripTrue)forpinsoup.find_all(p)]raw_body .join(paragraphs)clean_bodyre.sub(r\s, ,raw_body).strip()# 3. 生成摘要 (取正文前150个字符)summaryclean_body[:150]...iflen(clean_body)150elseclean_bodyreturn{url:url,title:title,summary:summary,body:clean_body,source:LocalTechBlog,tags:tech, python,# 这里可根据网页结构动态提取crawl_time:datetime.now().isoformat()}exceptExceptionase:print(f❌ Error fetching{url}:{e})return{}7️⃣ 核心实现中文倒排索引层Indexer这是本项目的灵魂我们通过 Jieba 定制中文分析器并告诉 Whoosh 怎么建立表结构Schema。# core/indexer.pyimportosfromwhoosh.indeximportcreate_in,open_dirfromwhoosh.fieldsimportSchema,TEXT,ID,DATETIME,KEYWORDfromwhoosh.qparserimportMultifieldParserfromjieba.analyseimportChineseAnalyzer# 配置结巴中文分词器chinese_analyzerChineseAnalyzer()# 定义语料库 Schema (表结构)# TEXT: 全文检索字段需分词 ID: 精确匹配不分词设为 unique 可去重 storedTrue 表示存入明文以便展示schemaSchema(urlID(storedTrue,uniqueTrue),titleTEXT(storedTrue,analyzerchinese_analyzer),summaryTEXT(storedTrue,analyzerchinese_analyzer),bodyTEXT(storedFalse,analyzerchinese_analyzer),# 正文太长为了省空间只索引不存明文sourceID(storedTrue),tagsKEYWORD(storedTrue,commasTrue),crawl_timeDATETIME(storedTrue))INDEX_DIRlocal_search_indexdefinit_index():初始化索引库ifnotos.path.exists(INDEX_DIR):os.mkdir(INDEX_DIR)returncreate_in(INDEX_DIR,schema)returnopen_dir(INDEX_DIR)defadd_document(doc:dict):【增量更新】写入文档到倒排索引ixinit_index()writerix.writer()# 使用 update_document基于 unique 字段(url)实现存在则更新不存在则插入writer.update_document(urldoc[url],titledoc[title],summarydoc[summary],bodydoc[body],sourcedoc[source],tagsdoc[tags],crawl_timedoc[crawl_time])writer.commit()# 必须 commit 才会落盘print(f✅ Indexed:{doc[title]})8️⃣ 检索与导出Search API不仅要存得进去还要搜得精准我们实现一个可以在title和summary联合查阅的接口。# core/indexer.py (追加检索逻辑)defsearch_query(keyword:str,limit:int5):全文检索带相关度打分ixopen_dir(INDEX_DIR)# 在标题和摘要两个字段中同时检索query_parserMultifieldParser([title,summary],ix.schema)queryquery_parser.parse(keyword)results_list[]withix.searcher()assearcher:resultssearcher.search(query,limitlimit)forhitinresults:results_list.append({score:hit.score,# BM25 打分title:hit.get(title),url:hit.get(url),summary:hit.highlights(summary)orhit.get(summary)# 返回高亮文本})returnresults_list9️⃣ 运行方式与可视化结果展示必写为了让项目具备浓浓的“极客风”我们在入口处做个交互式命令行并生成一份英文的索引构建性能图# app.pyfromcore.spiderimportfetch_and_cleanfromcore.indexerimportadd_document,search_queryimporttimedefbuild_corpus():模拟抓取一批URL建库urls_to_crawl[http://quotes.toscrape.com/,http://books.toscrape.com/]print(️ Starting crawler to build local knowledge base...)foruinurls_to_crawl:docfetch_and_clean(u)ifdoc:add_document(doc)time.sleep(1)# 柔和抓取defrun_search_engine():产品交互入口print(\n*40)print( Local Mini Search Engine Ready!)print(*40)whileTrue:kwinput(\n Enter keyword (or quit to exit): ).strip()ifkw.lower()quit:breakifnotkw:continuestart_ttime.time()hitssearch_query(kw)costtime.time()-start_tprint(f\nFound{len(hits)}results in{cost:.4f}seconds:)foridx,hinenumerate(hits,1):print(f[{idx}]{h[title]}(Score:{h[score]:.2f}))print(f Link:{h[url]})print(f Snippet:{h[summary]}\n)if__name____main__:build_corpus()# 第一步抓取并建索引run_search_engine()# 第二步启动交互式搜索附加可视化组件英文图表当数据量大了我们可以用它来画出检索耗时的表现。# utils.pyimportmatplotlib.pyplotaspltdefplot_performance():# Simulated data for index size vs query timedocs_count[100,500,1000,5000,10000]query_time_ms[2,5,8,15,25]plt.figure(figsize(8,5))plt.plot(docs_count,query_time_ms,markero,linestyle-,colorb)# All text elements MUST be in Englishplt.title(Search Query Performance Analysis,fontsize14,fontweightbold)plt.xlabel(Number of Indexed Documents,fontsize12)plt.ylabel(Query Time Response (ms),fontsize12)plt.grid(True,linestyle--,alpha0.6)filenamesearch_engine_metrics.pngplt.savefig(filename,dpi300)print(f Performance chart saved to{filename}) 常见问题与排错强烈建议写在爬虫向搜索引擎升级的路上这几个坑不踩简直是不可能的分词不准把“爬虫”切成了“爬”和“虫”解法使用jieba.add_word(爬虫)或加载自定义词典jieba.load_userdict(dict.txt)扩充专有词库。报错whoosh.index.LockError原因程序在写索引时异常崩溃导致文件锁没释放。解法确保使用try...finally来处理writer.commit()或者手动删除local_search_index文件夹下的.lock结尾的文件。提取的 HTML 摘要依然带标签解法不要直接用.text一定用 bs4 的.get_text(stripTrue, separator )这样无论多深层的 span/div都能被压平为纯文本。增量更新变慢磁盘 I/O 瓶颈解法不要抓一篇就commit()一次。采用批处理Batch Indexing每累积 100 篇语料再调用一次writer.commit()速度会提升数十倍1️⃣1️⃣ 进阶优化可选但加分产品雏形有了还能怎么飞Hash 签名过滤在每次抓取前对网页的内容计算Simhash或MD5。如果跟库里存的一致连 Whoosh 的更新逻辑都不用走极致节省算力。Web 化提供检索接口抛弃命令行用FastAPI写一个/search?qxxx的接口配合前端 Vue 写一个类似 Google 的极简搜索框页面拿去装杯绝对拉风向 Elasticsearch 迁移当你的抓取数据超过 100 万级单机的 Whoosh 查询可能会遇到瓶颈这时候将底层平滑替换为 Docker 部署的 ES IK 分词器就能支撑高并发了。1️⃣2️⃣ 总结与延伸阅读 恭喜你今天你不仅写了一个爬虫更是一个完整的数据流处理系统。我们从 HTML 乱码中淘出了纯净的正文通过Jieba切割了语言的颗粒并用Whoosh赋予了它毫秒级检索和 BM25 权重排序的能力。这就叫真正的**“全链路技术闭环”**下一步的魔法现在的搜索还是基于关键词Keyword-based。如果你想更潮一点可以在现在的架构上引入HuggingFace的模型将文章正文转化为向量Embeddings存入Milvus或ChromaDB那样你就能实现根据语义去搜索比如搜“如何赚钱”哪怕文章里没这两个字也能命中理财知识。这就是目前爆火的 RAG 大模型知识库的核心基石 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。
