Python 爬虫项目：入门级爬虫代码优化

前言入门阶段编写的爬虫代码通常以实现功能为首要目标普遍存在结构混乱、资源占用高、执行效率低、容错能力差、复用性弱等问题。在单页面、小规模数据采集场景下这类问题不会凸显但当爬虫面向多页面循环采集、长时间持续运行、部署至服务器环境时代码缺陷会直接引发程序崩溃、请求超时、IP 封禁、数据丢失等一系列线上故障。代码优化并非单纯删减代码行数而是从运行性能、代码结构、异常容错、资源管理、可维护性、扩展性六大维度对原有代码进行重构与调优。本文结合 Python 爬虫入门代码的典型通病由浅入深讲解基础优化手段、工程化改造方案、性能调优技巧与编码规范搭配对比案例、原理剖析与完整可运行代码帮助开发者将功能型代码升级为具备生产环境运行能力的标准爬虫代码。本文所使用的核心工具与第三方库官方链接如下Python 官方下载地址https://www.python.org/downloads/requests 网络请求库https://pypi.org/project/requests/re 模块官方文档Python 内置正则库https://docs.python.org/3/library/re.htmltime 模块内置时间处理https://docs.python.org/3/library/time.html全文先梳理入门爬虫常见缺陷再分模块讲解优化方案包含请求环节优化、解析环节优化、代码结构重构、异常处理、资源释放、执行效率提升等内容同时提供优化前后代码对照、原理解读与落地规范覆盖个人开发与小型项目部署的全场景优化需求。一、入门级爬虫典型问题梳理在开展优化工作前首先明确入门代码普遍存在的问题所有优化动作均围绕这些痛点展开。结合实际开发场景将问题划分为六大类别同时说明各类问题带来的负面影响具体内容如下表所示表格问题分类具体表现引发的负面影响代码结构问题代码堆砌在主流程中无函数封装、无模块化拆分变量命名随意代码复用率为 0后期修改、新增功能难度大多人协作无法开展网络请求问题无请求头、无请求间隔、无超时设置、重复创建请求会话极易触发目标站点反爬机制IP 被封禁请求阻塞导致程序卡死异常容错问题未做异常捕获网络波动、页面结构变化、链接失效直接报错退出单次请求失败即整体程序终止大批量采集数据完整性无法保障数据解析问题正则规则重复编写、未使用预编译字符串操作冗余重复重复执行编译逻辑CPU 资源消耗增加整体运行速度变慢资源管理问题文件读写、网络连接不主动关闭全局变量滥用内存持续占用长时间运行出现内存泄漏服务器资源耗尽编码与格式问题未手动指定网页编码中文乱码频繁出现输出格式混乱数据解析错误有效数据丢失结果可读性差不利于后续存储以上问题相互影响单一缺陷会放大其他问题的风险。例如无请求间隔的高频请求叠加无异常捕获会出现短时间内大量失败请求最终导致程序异常终止。下文将针对每一类问题逐一给出对应的优化方案、代码案例与原理说明。二、代码结构优化模块化与函数封装代码结构是优化的基础入门代码最核心的短板就是面向过程的堆砌式写法。Python 工程开发中通过函数封装、模块化拆分、规范命名实现结构优化让代码逻辑分层清晰、功能独立、可重复调用。2.1 优化前堆砌式入门代码该版本为典型入门写法所有逻辑集中在代码主体中无拆分仅实现基础爬取、解析、输出功能。python运行import requests import re # 目标地址与固定规则 url https://demo.static.page # 发送请求无请求头、无超时 res requests.get(url) # 未指定编码易出现中文乱码 html res.text # 正则规则重复编写未预编译 result1 re.findall(rh2(.?)/h2, html) result2 re.findall(rp价格(\d)元/p, html) # 循环输出 for n in range(len(result1)): print(标题 result1[n] 价格 result2[n])代码问题分析所有业务逻辑顺序执行无法单独调用 “请求”“解析” 任意一个功能正则规则直接写在业务流程中重复使用会反复编译损耗性能硬编码 URL、规则修改目标地址或解析规则需要改动主流程代码变量命名简单语义模糊可读性差。2.2 优化方案按功能拆分自定义函数遵循单一职责原则将爬虫拆分为网络请求、数据解析、结果输出三大独立函数每个函数只负责一项功能主流程仅做调度。同时规范变量命名使用语义化名称替代简单字符。2.2.1 优化后结构化代码python运行import requests import re def get_html_content(target_url): 网络请求函数根据URL获取网页源码 :param target_url: 目标网页地址 :return: 网页文本源码 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(target_url, headersheaders, timeout10) response.encoding utf-8 return response.text def parse_data(html_text): 数据解析函数正则提取标题与价格 :param html_text: 网页源码文本 :return: 标题列表、价格列表 title_pattern re.compile(rh2(.?)/h2) price_pattern re.compile(rp价格(\d)元/p) title_list title_pattern.findall(html_text) price_list price_pattern.findall(html_text) return title_list, price_list def show_result(title_list, price_list): 结果输出函数格式化展示采集数据 :param title_list: 标题列表 :param price_list: 价格列表 if len(title_list) ! len(price_list): print(数据条数不匹配解析异常) return for index in range(len(title_list)): print(f标题{title_list[index]}价格{price_list[index]} 元) # 主程序入口统一调度 if __name__ __main__: target_url https://demo.static.page page_html get_html_content(target_url) titles, prices parse_data(page_html) show_result(titles, prices)2.2.2 代码原理解析与优化点说明功能拆分原理按照业务链路拆分函数get_html_content专注网络请求parse_data专注文本解析show_result专注数据展示。函数之间通过参数与返回值传递数据实现功能解耦。后续如需修改请求逻辑仅调整请求函数即可不影响解析与输出模块。入口判断优化if __name__ __main__是 Python 标准入口判断当文件被直接运行时执行主流程当文件作为模块被其他代码导入时主流程不会自动执行大幅提升代码复用性。命名与注释优化函数、参数、变量均使用语义化命名搭配文档字符串说明函数作用、参数与返回值符合团队协作编码规范。同时增加数据条数校验提前拦截解析异常。正则预编译优化在解析函数内部使用re.compile预编译正则规则规则仅编译一次多次调用解析函数也不会重复执行编译逻辑降低性能开销。2.3 进阶优化配置与业务分离当爬虫需要切换多个目标 URL、多条正则规则时可将固定配置抽离为独立变量实现配置与业务代码分离无需改动核心逻辑即可完成参数切换。python运行# 全局配置区统一管理可变参数 BASE_URL https://demo.static.page TITLE_RULE rh2(.?)/h2 PRICE_RULE rp价格(\d)元/p REQUEST_TIMEOUT 10 # 后续函数逻辑保持不变直接调用配置参数该方式适合多站点、多规则爬虫项目配置集中管理维护效率更高。三、网络请求环节优化提升稳定性与反爬抗性网络请求是爬虫与目标服务器交互的核心环节入门代码的请求逻辑往往存在严重缺陷也是最容易被反爬拦截的部分。本章节从请求头、超时控制、请求间隔、会话复用、请求方式五个维度完成优化。3.1 基础优化完善请求头与超时设置纯 Python 程序发起的请求默认请求头中User-Agent为 Python 标识目标站点服务器可直接识别为爬虫程序并进行拦截。同时未设置超时会导致服务器无响应时程序永久阻塞。3.1.1 优化要点模拟浏览器请求头补充User-Agent伪装为正常浏览器访问强制设置timeout参数定义请求最大等待时长避免程序卡死按需补充Referer、Cookie等请求头字段进一步提升伪装效果。3.1.2 代码对比与原理优化前请求代码python运行response requests.get(url)缺陷无身份标识、无超时限制风险极高。优化后请求代码python运行headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36, Referer: https://demo.static.home } # 超时单位秒超过10秒未响应则主动断开请求 response requests.get(url, headersheaders, timeout10)原理User-Agent向服务器声明客户端类型伪装成主流浏览器timeout设置超时阈值一旦超出时长requests 库主动抛出异常并终止请求避免线程阻塞。3.2 核心优化添加请求间隔控制访问频率短时间内高频次连续请求是爬虫被封禁 IP 的主要原因。通过time.sleep()设置请求休眠间隔模拟人类正常浏览网页的节奏降低访问频率。3.2.1 单循环页面采集间隔设置python运行import time url_list [url1, url2, url3, url4] for url in url_list: html get_html_content(url) # 解析与输出逻辑 time.sleep(1) # 每次请求完成后休眠1秒原理每完成一次页面采集程序暂停指定时长再执行下一次请求均衡请求密度。间隔时长可根据站点规则调整普通静态站点设置 1~3 秒即可。3.3 性能优化Session 会话复用入门代码中每一次requests.get()都会创建全新的网络连接多次请求会反复建立、断开连接产生额外的网络开销。使用requests.Session()创建持久会话复用 TCP 连接提升请求速度同时可以自动携带 Cookie维持会话状态。3.3.1 Session 会话实战代码python运行import requests # 创建全局会话对象 session requests.Session() headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36} def get_html_by_session(target_url): # 复用会话发起请求 response session.get(target_url, headersheaders, timeout10) response.encoding utf-8 return response.text # 循环请求多个页面全程复用同一个会话 page_urls [https://demo.page1, https://demo.page2, https://demo.page3] for url in page_urls: content get_html_by_session(url) time.sleep(1) # 任务结束主动关闭会话释放资源 session.close()3.3.2 原理解析普通get请求单次请求对应一次连接建立与销毁多次请求资源损耗大、延迟高Session会话连接建立后持续复用直到手动close或程序结束减少网络握手次数提升批量请求效率会话会自动保存站点返回的 Cookie适用于需要登录态、身份验证的页面采集场景。四、异常处理优化增强程序容错能力网络环境不稳定、目标页面失效、服务器宕机、页面结构改版都是爬虫运行过程中的常态。入门代码缺少异常捕获一旦出现异常程序直接终止运行。通过 Python 异常捕获机制拦截各类运行错误保证程序持续运行。4.1 爬虫高频异常类型结合 requests 库与实际网络场景爬虫最常遇到的异常如下表表格异常类型触发场景requests.exceptions.Timeout请求超时服务器无响应requests.exceptions.ConnectionError网络断开、域名错误、链接失效requests.exceptions.SSLError网站 HTTPS 证书异常AttributeError / IndexError页面结构变化解析结果为空取值报错UnicodeDecodeError编码设置错误文本解码失败4.2 基础异常捕获try...except 结构对网络请求、数据解析等高危代码块添加异常捕获区分异常类型并打印日志跳过错误页面继续执行后续任务。4.2.1 带异常处理的请求函数python运行import requests def get_html_content(target_url): headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36} try: response requests.get(target_url, headersheaders, timeout10) response.encoding utf-8 return response.text except requests.exceptions.Timeout: print(f请求 {target_url} 超时) return None except requests.exceptions.ConnectionError: print(f请求 {target_url} 连接失败链接无效或网络异常) return None except Exception as e: print(f请求 {target_url} 出现未知异常{str(e)}) return None4.2.2 原理解析try代码块放置正常业务逻辑一旦出现异常立即跳转至对应except分支按异常类型精准捕获区分超时、连接失败等不同问题便于后期排查故障异常发生后返回None上层代码可根据返回值判断是否继续解析程序不会终止。4.3 解析环节异常补充解析数据前增加空值判断避免源码为空时执行正则匹配、列表取值引发的索引错误python运行def parse_data(html_text): # 先判断源码是否为空 if not html_text: print(网页源码为空跳过解析) return [], [] title_pattern re.compile(rh2(.?)/h2) price_pattern re.compile(rp价格(\d)元/p) title_list title_pattern.findall(html_text) price_list price_pattern.findall(html_text) return title_list, price_list五、数据解析环节优化正则与字符串调优解析环节的优化主要围绕正则表达式、字符串操作、数据清洗三部分展开核心目标是减少重复计算、精简冗余操作、提升解析速度。5.1 正则表达式全量优化在前序正则章节基础上补充工程化使用规范进一步优化性能统一预编译规则所有全局复用、循环调用的正则规则必须使用re.compile()预编译禁止在循环体内直接编写正则表达式。循环内重复编译会持续消耗 CPU 资源预编译仅执行一次。合理使用匹配模式跨多行文本解析统一添加re.S大小写不敏感场景添加re.I提前定义模式常量避免规则反复调整。精简正则规则去除规则中多余的元字符、冗余限定符在保证匹配精度的前提下简化表达式降低正则引擎的匹配开销。5.2 字符串操作优化入门代码常使用拼接字符串在数据量大、循环拼接场景下效率极低。Python 中推荐使用列表暂存 join 拼接的方式优化字符串处理。5.2.1 优化前后对比低效写法字符串 拼接python运行result_str for item in data_list: result_str item原理Python 字符串为不可变对象每次都会生成新字符串大量循环会产生海量临时对象占用内存。高效写法列表 joinpython运行temp_list [] for item in data_list: temp_list.append(item) result_str \n.join(temp_list)原理列表是可变对象append操作开销极小最后一次性执行join完成拼接大幅提升大批量字符串处理速度。5.3 数据清洗逻辑复用将重复的文本清洗规则封装为独立清洗函数如去除空白字符、过滤特殊符号、清除 HTML 标签等实现清洗逻辑复用减少代码冗余。python运行def clean_html_text(raw_text): 通用网页文本清洗函数 if not raw_text: return # 清除HTML标签 clean_rule re.compile(r.*?) text1 clean_rule.sub(, raw_text) # 去除首尾空白 text2 text1.strip() return text2六、资源管理优化避免内存泄漏爬虫长时间后台运行、批量采集大量页面时资源不主动释放会造成内存持续上涨最终引发内存泄漏。本节针对网络连接、文件读写、大文本对象三类资源做管理优化。6.1 网络资源释放使用requests.Session会话时任务执行完毕必须调用session.close()主动关闭连接释放网络端口资源。单次临时请求虽可由系统自动回收但批量任务仍建议显式关闭。6.2 文件读写资源规范若爬虫需要将数据写入本地文件入门写法容易出现文件句柄未关闭问题。Python 推荐使用with语句管理文件流代码块执行完毕后自动关闭文件无需手动调用close()。6.2.1 规范文件写入代码python运行def save_data_to_file(data_list, file_path): # with 上下文管理器自动释放文件资源 with open(file_path, a, encodingutf-8) as f: for line in data_list: f.write(line \n)原理with是 Python 上下文管理器进入代码块时打开文件退出代码块时强制关闭文件彻底杜绝文件句柄泄漏。6.3 大文本资源回收采集到超大网页源码、长文本时解析完成后及时将变量置空html None触发 Python 垃圾回收机制释放内存空间适合长时间运行的常驻爬虫。七、综合实战全维度优化完整爬虫案例结合前文所有优化点整合模块化拆分、会话复用、异常捕获、请求间隔、正则预编译、资源管理、文件存储形成一套可直接部署运行的优化版爬虫代码模拟多页面批量采集场景。7.1 完整优化代码python运行import requests import re import time # 全局配置区参数统一管理 # 目标页面地址列表 TARGET_URLS [ https://demo.page_1, https://demo.page_2, https://demo.page_3 ] # 请求配置 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36 } REQUEST_TIMEOUT 10 SLEEP_INTERVAL 1 # 正则规则预编译 TITLE_PATTERN re.compile(rh2标题(.?)/h2) PRICE_PATTERN re.compile(rp售价(\d)元/p) # 存储路径 SAVE_PATH crawl_data.txt # 功能函数区 def create_session(): 创建持久会话 return requests.Session() def get_page_html(session, url): 带异常捕获的网页请求 try: resp session.get(url, headersHEADERS, timeoutREQUEST_TIMEOUT) resp.encoding utf-8 return resp.text except requests.exceptions.Timeout: print(f【异常】页面 {url} 请求超时) return None except requests.exceptions.ConnectionError: print(f【异常】页面 {url} 连接失败) return None except Exception as e: print(f【异常】页面 {url} 未知错误{e}) return None def extract_data(html_text): 数据解析函数 if not html_text: return , title TITLE_PATTERN.findall(html_text) price PRICE_PATTERN.findall(html_text) return title, price def save_to_local(data, file_path): 数据本地存储上下文管理器管理文件 if not data: return with open(file_path, a, encodingutf-8) as f: for item in data: f.write(item \n) # 主程序入口 if __name__ __main__: # 创建会话 crawl_session create_session() total_data [] print(爬虫启动开始采集数据...) for page_url in TARGET_URLS: print(f正在采集{page_url}) page_content get_page_html(crawl_session, page_url) title_list, price_list extract_data(page_content) # 整合数据 if title_list and price_list: for idx in range(len(title_list)): line f标题{title_list[idx]}价格{price_list[idx]} 元 total_data.append(line) print(line) # 请求间隔 time.sleep(SLEEP_INTERVAL) # 保存全部数据至本地 save_to_local(total_data, SAVE_PATH) # 主动关闭会话释放资源 crawl_session.close() print(所有页面采集完成数据已保存)7.2 代码优化点汇总与原理配置与逻辑分离所有可变参数集中在配置区修改 URL、规则、间隔时长无需改动核心代码会话复用全局创建一个 Session 对象全程复用网络连接提升请求效率全维度异常捕获区分不同网络异常打印日志并跳过错误页面程序持续运行正则预编译规则在程序启动时一次性编译循环采集过程中直接调用请求间隔控制每页采集完成后休眠模拟正常访问行为规避基础反爬资源自动管理文件读写使用with语句任务结束主动关闭会话无资源泄漏模块化拆分每个函数独立负责一项功能逻辑清晰便于后续扩展与维护。八、进阶优化方向与长期运行调优针对需要长时间后台运行、大规模数据采集的爬虫在基础优化之外可进一步实施进阶调优适用于生产环境部署8.1 重试机制优化对于临时超时、网络抖动导致的请求失败添加请求重试逻辑使用循环尝试多次请求提升数据采集成功率避免误判链接失效。8.2 动态间隔调整固定休眠间隔可升级为随机间隔time.sleep(random.uniform(1, 3))随机生成 1~3 秒的等待时长进一步模拟人工浏览行为降低被识别为爬虫的概率。8.3 日志系统替代打印使用 Python 内置logging模块替代print输出分级记录运行日志、异常日志日志持久化保存至本地文件方便线上问题排查。8.4 分批次采集面对上千条 URL 列表时拆分批次循环采集每批次完成后增加较长休眠避免长时间高频访问。