㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐ (入门级)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项老法师的叮嘱 ️4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser - 表格提取神技 8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示必写 常见问题与排错排雷避坑指南 1️⃣1️⃣ 进阶优化骨灰级玩家专区 1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface每次想买个镜头要在十几个网页之间来回切换对比参数是不是看花了眼今天我带你用 Python (requestsBeautifulSoup) 深入摄影器材百科网站把“品牌 - 型号 - 详细规格表”一网打尽彻底告别人肉对比。读完这一篇你将收获掌握结构化表格table、tr、th、td的精准键值对提取技巧。学会构建“字段映射字典”应对不同网页对同一个参数的奇葩命名比如“光圈”和“最大光圈”。白嫖一份可以直接运行、生成精美器材参数字典的硬核源码。1️⃣ 摘要Abstract本文以纯静态抓取技术为基础演示如何遍历摄影器材网站的品牌库深入具体的相机/镜头详情页。重点攻克 HTML 表格数据的结构化解析难题将非标准化的网页 Key-Value 转化为标准字典最终输出涵盖传感器、焦段、光圈等核心指标的 CSV 数据集。2️⃣ 背景与需求Why为什么要爬全景数据分析你想知道近 5 年来全画幅相机是不是完全取代了 APS-C把数据爬下来用 Pandas 一跑便知。自动化导购/对比基于爬下来的底层参数表自己写个“佳能 R5 vs 索尼 A7M4”的参数 PK 工具简直不要太爽。目标字段清单含相机与镜头兼容Model (型号)如Sony A7 IV,Canon RF 24-70mm f/2.8L.Brand (品牌)如Sony,Canon,Nikon.Sensor (传感器)如Full frame (35.9 x 23.9 mm) CMOS镜头该项为空。Focal Length (焦段)如24–70 mm机身该项可能为空。Aperture (光圈)如F2.8或f/1.4。Release Date (发布时间)如Oct 21, 2021。Detail URL (链接)产品原始详情页。3️⃣ 合规与注意事项老法师的叮嘱 ️文明抓取细水长流器材百科站的数据库请求很重加上它们通常靠广告盈利。我们只做学术和个人选购参考请加上time.sleep(2)切勿并发把网站打挂。遵守robots.txt看看站长的规定。如果是明确标记为Disallow的核心商业对比接口请保持中立咱们只爬公开的静态 HTML 百科页。兼容性容错相机有传感器没焦段镜头有焦段没传感器。爬虫里一定要做空值容忍不然随时抛KeyError崩溃。4️⃣ 技术选型与整体流程What/How器材网站为了极致的 SEO搜索引擎优化参数表 99.9% 都是服务器端直接渲染好的静态 HTMLtable。因此我们果断选择requests负责网络层BeautifulSoup负责 DOM 解析。简单、粗暴、极其高效。整体流程图Workflow[ 品牌列表页 (e.g., /cameras/sony) ] ⬇️ [ Parser 1 ] ➡️ 提取该品牌下所有相机的详情页链接 (Model URLs) ⬇️ [ 器材详情页 (e.g., /products/sony_a7iv) ] ⬇️ [ Parser 2 ] ➡️ 定位参数表格 table按 tr 遍历 ⬇️ [ 键值映射 ] ➡️ 将 th (键) 和 td (值) 组装成 Python 字典 ⬇️ [ 字段清洗 ] ➡️ 从大字典中只过滤出我们需要的 5 个核心参数 ⬇️ [ Storage ] ➡️ 写入 camera_gear_specs.csv5️⃣ 环境准备与依赖安装可复现Python 版本建议 3.8。依赖安装pipinstallrequests beautifulsoup4 lxml(注解析几百行的复杂表格lxml引擎的速度比默认的 html.parser 快几个量级)项目结构gear_scraper/ ├── data/ │ └── camera_gear_specs.csv # 输出的参数表 (English default) └── spec_spider.py # 主逻辑代码6️⃣ 核心实现请求层Fetcher器材站经常有各种防盗爬机制比如检测 User-Agent 或 Referer我们配置一个坚固的 Session。importrequestsfromrequests.adaptersimportHTTPAdapterfromurllib3.util.retryimportRetryimporttimeimportrandomdefget_session():创建一个扛造的网络请求会话sessionrequests.Session()headers{User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Accept:text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,}session.headers.update(headers)# 网络波动自动重试retry_strategyRetry(total3,backoff_factor1.5,status_forcelist[429,500,502,503,504])session.mount(https://,HTTPAdapter(max_retriesretry_strategy))session.mount(http://,HTTPAdapter(max_retriesretry_strategy))returnsessiondeffetch_html(session,url):请求网页并返回 HTML 内容try:time.sleep(random.uniform(1.5,3))# 模拟老法师看网页的节奏print(f Fetching:{url})respsession.get(url,timeout12)resp.raise_for_status()resp.encodingutf-8# 防止中文参数乱码returnresp.textexceptExceptionase:print(f❌ Error fetching [{url}]:{e})returnNone7️⃣ 核心实现解析层Parser - 表格提取神技 这是本文最值钱的一段代码面对长达上百行的参数表我们首先要把整个表格转化为一个Python Dict然后再按需提取。frombs4importBeautifulSoupfromurllib.parseimporturljoindefparse_model_list(html,base_url):Level 1: 从品牌页提取所有器材的详情页链接soupBeautifulSoup(html,lxml)model_links[]# 假设产品卡片在 div classproduct-item 下的 a 中fora_taginsoup.select(div.product-item a.product-link, a.model-name):hrefa_tag.get(href)ifhref:model_links.append(urljoin(base_url,href))returnlist(set(model_links))# 去重返回defparse_spec_table(html,url,brand_name):Level 2: 解析详情页参数表格soupBeautifulSoup(html,lxml)# 1. 提取型号名 (通常在 h1)model_tagsoup.select_one(h1)model_namemodel_tag.get_text(stripTrue)ifmodel_tagelseUnknown Model# # 核心技法将 HTML 表格转化为大字典# raw_specs{}# 找到所有的参数表格 (有些网站把参数分成了基本参数、传感器、光学等多个 table)tablessoup.select(table.spec-table, table.parameters)fortableintables:rowstable.find_all(tr)forrowinrows:# 标准表格: th是键名, td是值# 非标表格: 两个 td第一个是键名第二个是值throw.find(th)orrow.find(td,class_label)tdrow.find(td,class_value)or(row.find_all(td)[1]iflen(row.find_all(td))1elseNone)ifthandtd:# 清洗换行符和多余空格keyth.get_text(stripTrue).replace(:,).lower()# 转小写方便后续映射valuetd.get_text(stripTrue)raw_specs[key]value# # 字段映射与容错提取 (解决各网站命名不统一的问题)# # 助手函数支持传入多个可能的键名进行匹配defget_spec_value(possible_keys):forkinpossible_keys:# 模糊匹配 (如果网页上叫 max aperture我们搜 aperture 也能命中)matched[valfordict_k,valinraw_specs.items()ifkindict_k]ifmatched:returnmatched[0]returnN/A# 开始抽取目标字段sensorget_spec_value([sensor type,sensor size,传感器尺寸,传感器类型])focal_lengthget_spec_value([focal length,焦距,焦段])apertureget_spec_value([maximum aperture,max aperture,光圈,最大光圈])release_dateget_spec_value([announced,release date,发布日期,上市时间])return{Model:model_name,Brand:brand_name,Sensor:sensor,Focal Length:focal_length,Aperture:aperture,Release Date:release_date,Detail URL:url}8️⃣ 数据存储与导出Storage规规矩矩地存入 CSV因为有很多可能为空的字段用csv.DictWriter是最安全的。importcsvimportosdefsave_specs_to_csv(data_list,filenamedata/camera_gear_specs.csv):ifnotdata_list:returnos.makedirs(os.path.dirname(filename),exist_okTrue)headers[Model,Brand,Sensor,Focal Length,Aperture,Release Date,Detail URL]file_existsos.path.isfile(filename)withopen(filename,modea,encodingutf-8-sig,newline)asf:writercsv.DictWriter(f,fieldnamesheaders)ifnotfile_exists:writer.writeheader()writer.writerows(data_list)print(f 成功保存{len(data_list)}条器材参数到本地。)9️⃣ 运行方式与结果展示必写我们将这些零件拼装起来写一个漂亮的驱动入口。如何启动打开终端python spec_spider.py# --- 组合拼装运行入口 ---if__name____main__:print( 启动硬核摄影器材参数采集器...)# 假设这是某百科网站 Sony 品牌的相机列表页BASE_DOMAINhttps://cameras.example.comTARGET_BRAND_URLf{BASE_DOMAIN}/brands/sony/camerasBRAND_NAMESonysessionget_session()# 1. 抓取品牌下的型号列表list_htmlfetch_html(session,TARGET_BRAND_URL)iflist_html:model_urlsparse_model_list(list_html,BASE_DOMAIN)print(f 发现{len(model_urls)}款{BRAND_NAME}品牌器材准备提取参数表...)scraped_specs[]# 为了不刷屏演示只抓前 3 个型号foridx,urlinenumerate(model_urls[:3]):print(f [{idx1}/3] 正在解析:{url})detail_htmlfetch_html(session,url)ifdetail_html:spec_dataparse_spec_table(detail_html,url,BRAND_NAME)scraped_specs.append(spec_data)# 存库save_specs_to_csv(scraped_specs)print( 参数提取完毕快去查看 data 目录吧)预期 CSV 输出结果非常规整ModelBrandSensorFocal LengthApertureRelease DateDetail URLSony a7R VSonyFull frame (35.8 x 23.8 mm)N/AN/AOct 26, 2022.../sony_a7rvSony FE 24-70mm F2.8 GM IISonyN/A24–70 mmF2.8Apr 27, 2022.../sony_24-70_gm2Sony Cyber-shot RX100 VIISony1″ (13.2 x 8.8 mm)24–200 mmF2.8–4.5Jul 25, 2019.../sony_rx100_vii看第一行是微单所以没焦段没光圈第二行是镜头所以没传感器第三行是卡片机各项数据全满。这就是我们代码里容错逻辑的强大之处 常见问题与排错排雷避坑指南 HTML 表格抓到一堆空壳原因有些现代网站虽然不多会用 JS 动态渲染表格甚至有些恶心的网站为了防爬把参数做成了 Canvas 或者图片解决思路按 F12 抓包寻找类似/api/products/123/specs的 JSON 接口。如果真的被做成了图片那就只能上Tesseract-OCR进行图像识别了极少见。提取的表格文本黏在一起原因在有些td里不仅有文字还有br或者隐形的span直接.text会导致文字像这样黏连“CMOS24.2 Megapixels”。解决思路使用td.get_text(separator , stripTrue)强行在子标签中间塞入一个空格保证参数清洗干净。有些网站不是table而是用div classrow布局原因前端重构后很多网站放弃了古老的table标签。解决思路微调parse_spec_table。改成遍历div.row提取里面的.col-key作为键.col-value作为值。字典组装的核心逻辑完全不用变1️⃣1️⃣ 进阶优化骨灰级玩家专区 黑科技提取Pandas 魔法如果你确定目标页面的table写得极其标准你其实可以完全扔掉 BeautifulSoup直接上大招importpandasaspd dfspd.read_html(html)# 这行代码直接把页面里所有表格转成 DataFrame 列表这招堪称“偷懒神器”但前提是你对 Pandas 的数据清洗非常熟练。单位统一化Normalization爬下来的数据很脏比如焦距有的写 “24mm”有的写 “24 mm”有的写 “24-70 mm”。建议在写入 CSV 前写个正则清洗函数把它们统统转换成纯数字列表[24, 70]这样以后直接丢进数据库查询就无敌了1️⃣2️⃣ 总结与延伸阅读痛快我们用“提取全部字典 - 按需挑选键值”的策略完美应对了长篇大论且结构变幻莫测的器材参数表。这种表格转换大字典的思路对于你以后去爬取“汽车参数百科”、“手机规格参数库”同样是 100% 适用的下一步可以怎么玩把这份 CSV 丢给 ChatGPT 的 Advanced Data Analysis 模块让它帮你画一张散点图横坐标是“发布时间”纵坐标是“传感器像素”。你会亲眼看到这十年来人类影像技术的爆炸式发展曲线 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。
Python爬虫实战：打造“硬核摄影器材库”，自动抽取相机/镜头参数表！
发布时间：2026/5/26 6:01:00
㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐ (入门级)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项老法师的叮嘱 ️4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser - 表格提取神技 8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示必写 常见问题与排错排雷避坑指南 1️⃣1️⃣ 进阶优化骨灰级玩家专区 1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface每次想买个镜头要在十几个网页之间来回切换对比参数是不是看花了眼今天我带你用 Python (requestsBeautifulSoup) 深入摄影器材百科网站把“品牌 - 型号 - 详细规格表”一网打尽彻底告别人肉对比。读完这一篇你将收获掌握结构化表格table、tr、th、td的精准键值对提取技巧。学会构建“字段映射字典”应对不同网页对同一个参数的奇葩命名比如“光圈”和“最大光圈”。白嫖一份可以直接运行、生成精美器材参数字典的硬核源码。1️⃣ 摘要Abstract本文以纯静态抓取技术为基础演示如何遍历摄影器材网站的品牌库深入具体的相机/镜头详情页。重点攻克 HTML 表格数据的结构化解析难题将非标准化的网页 Key-Value 转化为标准字典最终输出涵盖传感器、焦段、光圈等核心指标的 CSV 数据集。2️⃣ 背景与需求Why为什么要爬全景数据分析你想知道近 5 年来全画幅相机是不是完全取代了 APS-C把数据爬下来用 Pandas 一跑便知。自动化导购/对比基于爬下来的底层参数表自己写个“佳能 R5 vs 索尼 A7M4”的参数 PK 工具简直不要太爽。目标字段清单含相机与镜头兼容Model (型号)如Sony A7 IV,Canon RF 24-70mm f/2.8L.Brand (品牌)如Sony,Canon,Nikon.Sensor (传感器)如Full frame (35.9 x 23.9 mm) CMOS镜头该项为空。Focal Length (焦段)如24–70 mm机身该项可能为空。Aperture (光圈)如F2.8或f/1.4。Release Date (发布时间)如Oct 21, 2021。Detail URL (链接)产品原始详情页。3️⃣ 合规与注意事项老法师的叮嘱 ️文明抓取细水长流器材百科站的数据库请求很重加上它们通常靠广告盈利。我们只做学术和个人选购参考请加上time.sleep(2)切勿并发把网站打挂。遵守robots.txt看看站长的规定。如果是明确标记为Disallow的核心商业对比接口请保持中立咱们只爬公开的静态 HTML 百科页。兼容性容错相机有传感器没焦段镜头有焦段没传感器。爬虫里一定要做空值容忍不然随时抛KeyError崩溃。4️⃣ 技术选型与整体流程What/How器材网站为了极致的 SEO搜索引擎优化参数表 99.9% 都是服务器端直接渲染好的静态 HTMLtable。因此我们果断选择requests负责网络层BeautifulSoup负责 DOM 解析。简单、粗暴、极其高效。整体流程图Workflow[ 品牌列表页 (e.g., /cameras/sony) ] ⬇️ [ Parser 1 ] ➡️ 提取该品牌下所有相机的详情页链接 (Model URLs) ⬇️ [ 器材详情页 (e.g., /products/sony_a7iv) ] ⬇️ [ Parser 2 ] ➡️ 定位参数表格 table按 tr 遍历 ⬇️ [ 键值映射 ] ➡️ 将 th (键) 和 td (值) 组装成 Python 字典 ⬇️ [ 字段清洗 ] ➡️ 从大字典中只过滤出我们需要的 5 个核心参数 ⬇️ [ Storage ] ➡️ 写入 camera_gear_specs.csv5️⃣ 环境准备与依赖安装可复现Python 版本建议 3.8。依赖安装pipinstallrequests beautifulsoup4 lxml(注解析几百行的复杂表格lxml引擎的速度比默认的 html.parser 快几个量级)项目结构gear_scraper/ ├── data/ │ └── camera_gear_specs.csv # 输出的参数表 (English default) └── spec_spider.py # 主逻辑代码6️⃣ 核心实现请求层Fetcher器材站经常有各种防盗爬机制比如检测 User-Agent 或 Referer我们配置一个坚固的 Session。importrequestsfromrequests.adaptersimportHTTPAdapterfromurllib3.util.retryimportRetryimporttimeimportrandomdefget_session():创建一个扛造的网络请求会话sessionrequests.Session()headers{User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Accept:text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,}session.headers.update(headers)# 网络波动自动重试retry_strategyRetry(total3,backoff_factor1.5,status_forcelist[429,500,502,503,504])session.mount(https://,HTTPAdapter(max_retriesretry_strategy))session.mount(http://,HTTPAdapter(max_retriesretry_strategy))returnsessiondeffetch_html(session,url):请求网页并返回 HTML 内容try:time.sleep(random.uniform(1.5,3))# 模拟老法师看网页的节奏print(f Fetching:{url})respsession.get(url,timeout12)resp.raise_for_status()resp.encodingutf-8# 防止中文参数乱码returnresp.textexceptExceptionase:print(f❌ Error fetching [{url}]:{e})returnNone7️⃣ 核心实现解析层Parser - 表格提取神技 这是本文最值钱的一段代码面对长达上百行的参数表我们首先要把整个表格转化为一个Python Dict然后再按需提取。frombs4importBeautifulSoupfromurllib.parseimporturljoindefparse_model_list(html,base_url):Level 1: 从品牌页提取所有器材的详情页链接soupBeautifulSoup(html,lxml)model_links[]# 假设产品卡片在 div classproduct-item 下的 a 中fora_taginsoup.select(div.product-item a.product-link, a.model-name):hrefa_tag.get(href)ifhref:model_links.append(urljoin(base_url,href))returnlist(set(model_links))# 去重返回defparse_spec_table(html,url,brand_name):Level 2: 解析详情页参数表格soupBeautifulSoup(html,lxml)# 1. 提取型号名 (通常在 h1)model_tagsoup.select_one(h1)model_namemodel_tag.get_text(stripTrue)ifmodel_tagelseUnknown Model# # 核心技法将 HTML 表格转化为大字典# raw_specs{}# 找到所有的参数表格 (有些网站把参数分成了基本参数、传感器、光学等多个 table)tablessoup.select(table.spec-table, table.parameters)fortableintables:rowstable.find_all(tr)forrowinrows:# 标准表格: th是键名, td是值# 非标表格: 两个 td第一个是键名第二个是值throw.find(th)orrow.find(td,class_label)tdrow.find(td,class_value)or(row.find_all(td)[1]iflen(row.find_all(td))1elseNone)ifthandtd:# 清洗换行符和多余空格keyth.get_text(stripTrue).replace(:,).lower()# 转小写方便后续映射valuetd.get_text(stripTrue)raw_specs[key]value# # 字段映射与容错提取 (解决各网站命名不统一的问题)# # 助手函数支持传入多个可能的键名进行匹配defget_spec_value(possible_keys):forkinpossible_keys:# 模糊匹配 (如果网页上叫 max aperture我们搜 aperture 也能命中)matched[valfordict_k,valinraw_specs.items()ifkindict_k]ifmatched:returnmatched[0]returnN/A# 开始抽取目标字段sensorget_spec_value([sensor type,sensor size,传感器尺寸,传感器类型])focal_lengthget_spec_value([focal length,焦距,焦段])apertureget_spec_value([maximum aperture,max aperture,光圈,最大光圈])release_dateget_spec_value([announced,release date,发布日期,上市时间])return{Model:model_name,Brand:brand_name,Sensor:sensor,Focal Length:focal_length,Aperture:aperture,Release Date:release_date,Detail URL:url}8️⃣ 数据存储与导出Storage规规矩矩地存入 CSV因为有很多可能为空的字段用csv.DictWriter是最安全的。importcsvimportosdefsave_specs_to_csv(data_list,filenamedata/camera_gear_specs.csv):ifnotdata_list:returnos.makedirs(os.path.dirname(filename),exist_okTrue)headers[Model,Brand,Sensor,Focal Length,Aperture,Release Date,Detail URL]file_existsos.path.isfile(filename)withopen(filename,modea,encodingutf-8-sig,newline)asf:writercsv.DictWriter(f,fieldnamesheaders)ifnotfile_exists:writer.writeheader()writer.writerows(data_list)print(f 成功保存{len(data_list)}条器材参数到本地。)9️⃣ 运行方式与结果展示必写我们将这些零件拼装起来写一个漂亮的驱动入口。如何启动打开终端python spec_spider.py# --- 组合拼装运行入口 ---if__name____main__:print( 启动硬核摄影器材参数采集器...)# 假设这是某百科网站 Sony 品牌的相机列表页BASE_DOMAINhttps://cameras.example.comTARGET_BRAND_URLf{BASE_DOMAIN}/brands/sony/camerasBRAND_NAMESonysessionget_session()# 1. 抓取品牌下的型号列表list_htmlfetch_html(session,TARGET_BRAND_URL)iflist_html:model_urlsparse_model_list(list_html,BASE_DOMAIN)print(f 发现{len(model_urls)}款{BRAND_NAME}品牌器材准备提取参数表...)scraped_specs[]# 为了不刷屏演示只抓前 3 个型号foridx,urlinenumerate(model_urls[:3]):print(f [{idx1}/3] 正在解析:{url})detail_htmlfetch_html(session,url)ifdetail_html:spec_dataparse_spec_table(detail_html,url,BRAND_NAME)scraped_specs.append(spec_data)# 存库save_specs_to_csv(scraped_specs)print( 参数提取完毕快去查看 data 目录吧)预期 CSV 输出结果非常规整ModelBrandSensorFocal LengthApertureRelease DateDetail URLSony a7R VSonyFull frame (35.8 x 23.8 mm)N/AN/AOct 26, 2022.../sony_a7rvSony FE 24-70mm F2.8 GM IISonyN/A24–70 mmF2.8Apr 27, 2022.../sony_24-70_gm2Sony Cyber-shot RX100 VIISony1″ (13.2 x 8.8 mm)24–200 mmF2.8–4.5Jul 25, 2019.../sony_rx100_vii看第一行是微单所以没焦段没光圈第二行是镜头所以没传感器第三行是卡片机各项数据全满。这就是我们代码里容错逻辑的强大之处 常见问题与排错排雷避坑指南 HTML 表格抓到一堆空壳原因有些现代网站虽然不多会用 JS 动态渲染表格甚至有些恶心的网站为了防爬把参数做成了 Canvas 或者图片解决思路按 F12 抓包寻找类似/api/products/123/specs的 JSON 接口。如果真的被做成了图片那就只能上Tesseract-OCR进行图像识别了极少见。提取的表格文本黏在一起原因在有些td里不仅有文字还有br或者隐形的span直接.text会导致文字像这样黏连“CMOS24.2 Megapixels”。解决思路使用td.get_text(separator , stripTrue)强行在子标签中间塞入一个空格保证参数清洗干净。有些网站不是table而是用div classrow布局原因前端重构后很多网站放弃了古老的table标签。解决思路微调parse_spec_table。改成遍历div.row提取里面的.col-key作为键.col-value作为值。字典组装的核心逻辑完全不用变1️⃣1️⃣ 进阶优化骨灰级玩家专区 黑科技提取Pandas 魔法如果你确定目标页面的table写得极其标准你其实可以完全扔掉 BeautifulSoup直接上大招importpandasaspd dfspd.read_html(html)# 这行代码直接把页面里所有表格转成 DataFrame 列表这招堪称“偷懒神器”但前提是你对 Pandas 的数据清洗非常熟练。单位统一化Normalization爬下来的数据很脏比如焦距有的写 “24mm”有的写 “24 mm”有的写 “24-70 mm”。建议在写入 CSV 前写个正则清洗函数把它们统统转换成纯数字列表[24, 70]这样以后直接丢进数据库查询就无敌了1️⃣2️⃣ 总结与延伸阅读痛快我们用“提取全部字典 - 按需挑选键值”的策略完美应对了长篇大论且结构变幻莫测的器材参数表。这种表格转换大字典的思路对于你以后去爬取“汽车参数百科”、“手机规格参数库”同样是 100% 适用的下一步可以怎么玩把这份 CSV 丢给 ChatGPT 的 Advanced Data Analysis 模块让它帮你画一张散点图横坐标是“发布时间”纵坐标是“传感器像素”。你会亲眼看到这十年来人类影像技术的爆炸式发展曲线 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。
