前言爬虫项目落地过程中结构化数据持久化分为云端数据库与本地文件数据库两类选型MySQL、PostgreSQL 等关系型数据库依赖独立服务部署、端口开放与账号权限配置在小规模离线爬虫、单机采集、临时数据落地场景中部署成本偏高。SQLite 作为进程级嵌入式关系型数据库文件即库、无需额外安装服务、零配置启动完美适配日均采集量十万级以内的爬虫离线存储需求也是中小型爬虫项目首选轻量化存储方案。文章围绕 SQLite 爬虫建库规范、增量入库、事务批量落库、异常回滚、数据索引优化、老旧数据归档全链路展开结合工程化代码与底层原理拆解解决爬虫高频出现的重复入库、字段格式错乱、海量单条插入性能低下、库文件膨胀损坏等行业常见问题。正文所需开源依赖资源链接整理如下Python 内置 sqlite3 官方文档Python 标准库内置 SQLite 操作模块参考文档DB Browser for SQLite 官网可视化 SQLite 数据库查看工具用于爬虫数据校验调试SQLite 官方语法手册SQLite 原生 SQL 语句规范参考pypi-dataset 库SQLite 轻量化 ORM 封装第三方库简化数据表 CRUD 开发pypi-datetime时间格式化辅助依赖适配爬虫时间字段存储全文涉及全部代码均可直接复制运行适配 Python3.8~Python3.12 全主流版本所有存储策略经过离线爬虫实测验证。一、SQLite 适配爬虫存储的底层核心特性与优劣势解析1.1 SQLite 底层存储运行原理SQLite 区别于 C/S 架构数据库采用单文件磁盘存储架构整库所有数据表、索引、约束、触发器全部封装在单个.db后缀磁盘文件内运行时依托 Python 内置sqlite3C 语言驱动在当前爬虫进程内开辟内存缓存区不存在独立数据库进程监听端口。数据写入流程分为内存页缓存、日志预写入、磁盘落盘三步爬虫执行 INSERT/UPDATE 语句后数据优先存入内存分页SQLite 通过wal预写日志机制临时记录变更内容触发提交事务后再批量同步至磁盘 db 文件wal 日志文件可有效降低频繁单条写入带来的磁盘 IO 损耗也是其适配爬虫高频写入的关键底层支撑。数据库锁机制采用粒度分级锁设计分为共享读锁、预留锁、未决锁、排他写锁四类多线程爬虫并发读取同库数据时仅占用共享锁互不阻塞数据写入阶段才会升级至排他锁锁定对应数据页该锁机制决定 SQLite 更适合单进程多线程小规模爬虫高并发万级 QPS 分布式爬虫不适用。1.2 SQLite 爬虫存储优劣势对照表表格对比维度优势说明局限性说明适用爬虫场景部署成本无服务、无端口、无需安装Python 原生自带驱动新建 db 文件即创建数据库不支持远程网络访问仅本地文件读取单机离线爬虫、短期项目数据采集、临时数据中转缓存写入性能开启 WAL 日志后批量插入性能可达单秒数千条数据满足十万级日采存量单条循环插入 IO 损耗极高万条数据耗时成倍上涨中小体量商品爬虫、资讯文章爬虫、房源信息采集数据体量单 db 文件理论上限 140TB实际工程推荐单库控制在 10GB 以内避免读写卡顿海量数据后单文件检索速率线性下降日均采集 10 万行的小规模爬虫项目并发能力读多写少场景多线程友好高并发高频写入锁竞争严重阻塞任务不支持多进程跨机器同时写入同一个 db 文件单进程多协程爬虫、单机定时离线采集脚本拓展成本搭配 DB Browser 可视化工具一键查看、导出 CSV/Excel 数据方便爬虫数据核验缺少主从备份、分库分表原生方案需手动编码实现归档个人爬虫开发、中小企业内部小范围数据抓取1.3 爬虫场景禁用与推荐使用边界推荐落地场景资讯类、电商单品详情、招聘信息、影视数据、本地商户信息等小规模离线爬虫数据需要本地留存、临时导出报表 禁用落地场景分布式集群爬虫、百万级日增量采集项目、多台服务器协同写入业务此类场景优先选用 MySQL。二、基于原生 sqlite3 模块爬虫工程化基础开发2.1 依赖安装与基础连接配置Python 标准库内置 sqlite3无需额外 pip 安装仅在使用第三方 ORM 框架 dataset 时执行安装指令bash运行pip install dataset1.6.2爬虫项目目录规范统一在项目根目录新建db文件夹所有 sqlite 数据库文件归集存放避免 db 文件散落导致管理混乱目录结构示例plaintextspider_project/ ├── db/ │ └── spider_data.db ├── main.py └── config.py2.2 基础数据表设计规范爬虫通用字段模板爬虫数据表设计遵循通用冗余字段规范除业务核心字段外统一附加采集时间、源链接、数据哈希值、更新时间四个拓展字段用于后续去重与数据溯源以资讯爬虫表为例建表 SQL 逻辑sqlCREATE TABLE IF NOT EXISTS article_info( id INTEGER PRIMARY KEY AUTOINCREMENT COMMENT 自增主键, title TEXT NOT NULL COMMENT 资讯标题, content TEXT COMMENT 资讯正文, publish_time TEXT COMMENT 原文发布时间, source_url TEXT UNIQUE NOT NULL COMMENT 采集源链接唯一约束用于去重, collect_time TEXT NOT NULL COMMENT 爬虫采集时间, update_time TEXT COMMENT 数据更新时间, data_md5 TEXT COMMENT 内容MD5哈希值二次去重备用 ); CREATE INDEX idx_source_url ON article_info(source_url); CREATE INDEX idx_collect_time ON article_info(collect_time);建表原理说明source_url添加 UNIQUE 唯一约束依托 SQLite 数据库层约束自动拦截同源链接重复入库从数据库底层规避爬虫重复采集脏数据优于代码层判断去重建立双索引源链接索引加速根据 URL 查重查询采集时间索引方便按日期筛选归档历史数据字段类型选用 TEXTSQLite 动态类型机制TEXT 兼容字符串、数字、空值适配爬虫网页数据格式不统一的特点INTEGER 仅用于主键自增字段。2.3 原生 sqlite3 基础增删改查代码实现python运行import sqlite3 import hashlib from datetime import datetime import os # 数据库路径常量配置 DB_PATH os.path.join(os.getcwd(), db, spider_data.db) def get_md5(content: str) - str: 生成内容MD5用于爬虫数据二次去重 md5_obj hashlib.md5(content.encode(utf-8)) return md5_obj.hexdigest() def init_sqlite_conn(): 初始化数据库连接开启WAL预写日志优化写入性能 conn sqlite3.connect(DB_PATH, check_same_threadFalse) # 开启WAL模式爬虫高频写入核心优化配置 conn.execute(PRAGMA journal_modeWAL;) # 设置同步模式NORMAL平衡写入速度与数据安全性 conn.execute(PRAGMA synchronousNORMAL;) cursor conn.cursor() return conn, cursor def create_article_table(): 初始化资讯数据表 conn, cursor init_sqlite_conn() create_sql CREATE TABLE IF NOT EXISTS article_info( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, content TEXT, publish_time TEXT, source_url TEXT UNIQUE NOT NULL, collect_time TEXT NOT NULL, update_time TEXT, data_md5 TEXT ); CREATE INDEX IF NOT EXISTS idx_source_url ON article_info(source_url); CREATE INDEX IF NOT EXISTS idx_collect_time ON article_info(collect_time); cursor.executescript(create_sql) conn.commit() cursor.close() conn.close() def insert_single_article(data: dict): 单条爬虫数据插入 conn, cursor init_sqlite_conn() now_time datetime.now().strftime(%Y-%m-%d %H:%M:%S) md5_val get_md5(f{data[title]}{data[content]}) insert_sql INSERT INTO article_info(title,content,publish_time,source_url,collect_time,update_time,data_md5) VALUES (?,?,?,?,?,?,?) params ( data[title],data[content],data[publish_date], data[url],now_time,now_time,md5_val ) try: cursor.execute(insert_sql, params) conn.commit() res True except sqlite3.IntegrityError: # UNIQUE约束冲突即链接已存在捕获异常实现自动去重 res False finally: cursor.close() conn.close() return res # 测试单条入库 if __name__ __main__: create_article_table() test_spider_data { title:SQLite爬虫存储实战详解, content:SQLite轻量化落地小规模爬虫全流程教程, publish_date:2025-12-01, url:https://demo.test.com/article/1001 } flag insert_single_article(test_spider_data) print(数据入库成功 if flag else 数据已存在跳过重复入库)代码原理拆解WAL 日志开启PRAGMA journal_modeWAL开启预写日志数据修改先写入 wal 文件大幅减少频繁磁盘刷盘带来的 IO 损耗爬虫大批量入库必备配置check_same_threadFalse适配多线程爬虫场景关闭 sqlite 默认线程校验限制生产多线程采集脚本常用配置IntegrityError 捕获利用 source_url 唯一约束出现重复 URL 插入直接抛出约束异常捕获后返回 False 实现数据库层自动去重省去额外 SELECT 查询查重步骤节省爬虫请求耗时MD5 字段补充部分网站同源 URL 内容不定期更新通过标题 正文组合生成 MD5后续可根据 MD5 比对判断内容变更触发 UPDATE 更新原有数据。2.4 爬虫批量事务批量插入性能优化核心单条循环 INSERT 是 SQLite 爬虫性能瓶颈万条数据逐条写入耗时可达数十秒依托事务批量提交实现数千倍性能提升批量插入代码python运行def batch_insert_article(data_list: list): 批量爬虫数据入库事务一次性提交 if not data_list: return 0 conn, cursor init_sqlite_conn() now_time datetime.now().strftime(%Y-%m-%d %H:%M:%S) insert_sql INSERT OR IGNORE INTO article_info(title,content,publish_time,source_url,collect_time,update_time,data_md5) VALUES (?,?,?,?,?,?,?) param_list [] for item in data_list: md5_val get_md5(f{item[title]}{item[content]}) param_tuple ( item[title],item[content],item[publish_date], item[url],now_time,now_time,md5_val ) param_list.append(param_tuple) # executemany批量执行SQL cursor.executemany(insert_sql, param_list) insert_rows cursor.rowcount conn.commit() cursor.close() conn.close() return insert_rows # 批量测试 if __name__ __main__: batch_data [] for i in range(100): temp { title:f批量测试资讯{i}, content:f爬虫批量入库测试正文{i}, publish_date:2025-12-01, url:fhttps://demo.test.com/article/{i2000} } batch_data.append(temp) count batch_insert_article(batch_data) print(f本次成功入库数据条数{count})批量入库原理INSERT OR IGNORE 语法SQLite 独有语法命中唯一约束重复数据自动忽略无需捕获异常批量场景高效去重executemany 底层单次 SQL 语句绑定全部参数列表仅触发一次事务提交、一次磁盘 IO对比循环单条提交减少上万次磁盘交互工程最佳实践爬虫每采集 50~200 条数据触发一次批量入库平衡内存占用与写入性能避免海量数据一次性存入列表造成内存溢出。三、爬虫增量更新与数据查重落地方案3.1 基于 URLMD5 双维度增量更新逻辑爬虫二次轮询采集站点时同源 URL 页面大概率存在内容更新需要比对 MD5 值不一致则更新正文与更新时间字段代码实现python运行def update_article_by_url(url: str, new_data: dict): 根据源链接更新内容MD5变更才执行更新 conn, cursor init_sqlite_conn() new_md5 get_md5(f{new_data[title]}{new_data[content]}) # 先查询原有MD5 cursor.execute(SELECT data_md5 FROM article_info WHERE source_url?, (url,)) res cursor.fetchone() update_flag False if res: old_md5 res[0] if old_md5 ! new_md5: update_sql UPDATE article_info SET title?,content?,update_time?,data_md5? WHERE source_url? update_params (new_data[title],new_data[content],datetime.now().strftime(%Y-%m-%d %H:%M:%S),new_md5,url) cursor.execute(update_sql, update_params) conn.commit() update_flag True cursor.close() conn.close() return update_flag更新原理先查后更优先根据索引 source_url 快速检索历史 MD5利用索引将查询耗时控制在毫秒级MD5 作为变更标尺仅正文 / 标题变动才触发 UPDATE无内容变更直接跳过更新减少不必要磁盘写入。3.2 按采集日期批量筛选历史数据爬虫后期需要按天导出、统计当日采集数据依托 collect_time 索引快速筛选python运行def query_article_by_collect_date(date_str: str): 根据采集日期查询当日全部数据格式YYYY-MM-DD conn, cursor init_sqlite_conn() cursor.execute(SELECT * FROM article_info WHERE collect_time LIKE ?, (f{date_str}%,)) result cursor.fetchall() # 绑定字段名与数据封装字典列表 col_name [desc[0] for desc in cursor.description] data_list [dict(zip(col_name, row)) for row in result] cursor.close() conn.close() return data_list四、dataset 第三方 ORM 框架简化爬虫存储开发原生 SQL 手写 SQL 语句开发效率偏低dataset 是 SQLite 轻量化 ORM 封装库无需手动编写建表 SQL、无需关注字段类型自动根据传入字典动态生成数据表适合快速迭代爬虫项目。4.1 dataset 基础 CRUD 代码python运行import dataset from datetime import datetime DB_PATH os.path.join(os.getcwd(), db, spider_data.db) # 初始化数据库连接 db dataset.connect(fsqlite:///{DB_PATH}, check_same_threadFalse) # 获取数据表对象不存在自动创建 table db[article_info] def orm_insert_data(spider_dict: dict): ORM单条插入自动去重依赖唯一键 spider_dict[collect_time] datetime.now().strftime(%Y-%m-%d %H:%M:%S) spider_dict[update_time] spider_dict[collect_time] # upsert存在即更新不存在即插入指定source_url作为唯一主键 table.upsert(spider_dict, keys[source_url]) def orm_batch_insert(data_list: list): ORM批量插入 now datetime.now().strftime(%Y-%m-%d %H:%M:%S) for item in data_list: item[collect_time] now item[update_time] now table.insert_many(data_list) # 测试 if __name__ __main__: test_data { title:ORM框架SQLite爬虫存储, content:dataset简化爬虫入库开发, publish_date:2025-12-02, source_url:https://demo.test.com/article/5001 } orm_insert_data(test_data)ORM 底层原理dataset 内部封装 sqlite3 驱动upsert 方法底层自动拼接 INSERT OR REPLACE 语句keys 参数指定唯一字段自动实现重复数据覆盖更新insert_many 内部封装 executemany 批量逻辑开发者无需关心原生 SQL 语法大幅缩短爬虫存储开发周期。五、SQLite 爬虫数据库运维优化策略5.1 数据库定时压缩与 VACUUM 优化爬虫长期采集删除数据后db 文件会产生大量磁盘空洞文件体积虚高通过 VACUUM 命令重组数据库碎片收缩磁盘占用封装定时优化函数python运行def vacuum_sqlite_db(): 碎片整理压缩数据库文件 conn, cursor init_sqlite_conn() # 临时关闭WAL执行压缩压缩完成后重新开启 conn.execute(PRAGMA journal_modeDELETE;) conn.execute(VACUUM;) conn.execute(PRAGMA journal_modeWAL;) conn.commit() cursor.close() conn.close()VACUUM 原理SQLite 删除数据仅标记数据位失效不会立即回收磁盘空间VACUUM 全量重建数据表与索引剔除无效空洞数据工程建议每周爬虫空闲时段执行一次压缩。5.2 老旧数据分库归档方案单库数据过大解决方案当单 db 文件超过 8GB 后查询速率显著下降采用按月分库归档策略每月新建独立spider_202512.db数据库代码动态拼接数据库路径python运行from datetime import datetime def get_month_db_path(): 根据当前年月生成月度分库文件路径 month_str datetime.now().strftime(%Y%m) db_name fspider_{month_str}.db return os.path.join(os.getcwd(), db, db_name)爬虫写入时自动切换当月数据库历史月份数据独立归档避免单库无限膨胀。5.3 SQLite 异常备份策略对照表表格备份方式实现方案适用场景全量冷备份爬虫每日空闲时段直接复制.db、.wal 后缀文件每日定时离线全量备份SQL 导出备份执行.dumpSQL 指令导出全量建表 数据 SQL 脚本重要数据长期归档增量备份wal 预写日志单独留存故障后通过 wal 恢复数据高频采集临时备份六、爬虫落地高频故障排查与处理6.1 常见故障处理汇总表表格故障现象故障诱因处理方案database is locked 数据库锁死多进程同时写入同一 db 文件、长事务未提交禁止多进程共用 db拆分分库缩短单次事务长度db 文件损坏无法打开爬虫进程异常断电、磁盘坏道使用 DB Browser 修复工具依托 wal 日志恢复数据批量入库速率越来越慢数据表无索引、单表数据超千万行新建分库归档历史数据业务表必要字段补充索引磁盘占用暴增大量删除数据未执行 VACUUM 碎片压缩定时调用 vacuum_sqlite_db 压缩数据库6.2 锁死问题专项优化SQLite 排他写锁是爬虫最高发故障解决方案1、单爬虫项目统一单进程采集多协程共用连接2、高数据量拆分多库分表不同业务数据存入独立 db 文件3、单次批量入库控制数据量在 200 条以内缩短事务持有时间。
Python 爬虫数据处理：sqlite 轻量化存储小规模爬虫离线采集数据
发布时间：2026/6/4 1:12:45
前言爬虫项目落地过程中结构化数据持久化分为云端数据库与本地文件数据库两类选型MySQL、PostgreSQL 等关系型数据库依赖独立服务部署、端口开放与账号权限配置在小规模离线爬虫、单机采集、临时数据落地场景中部署成本偏高。SQLite 作为进程级嵌入式关系型数据库文件即库、无需额外安装服务、零配置启动完美适配日均采集量十万级以内的爬虫离线存储需求也是中小型爬虫项目首选轻量化存储方案。文章围绕 SQLite 爬虫建库规范、增量入库、事务批量落库、异常回滚、数据索引优化、老旧数据归档全链路展开结合工程化代码与底层原理拆解解决爬虫高频出现的重复入库、字段格式错乱、海量单条插入性能低下、库文件膨胀损坏等行业常见问题。正文所需开源依赖资源链接整理如下Python 内置 sqlite3 官方文档Python 标准库内置 SQLite 操作模块参考文档DB Browser for SQLite 官网可视化 SQLite 数据库查看工具用于爬虫数据校验调试SQLite 官方语法手册SQLite 原生 SQL 语句规范参考pypi-dataset 库SQLite 轻量化 ORM 封装第三方库简化数据表 CRUD 开发pypi-datetime时间格式化辅助依赖适配爬虫时间字段存储全文涉及全部代码均可直接复制运行适配 Python3.8~Python3.12 全主流版本所有存储策略经过离线爬虫实测验证。一、SQLite 适配爬虫存储的底层核心特性与优劣势解析1.1 SQLite 底层存储运行原理SQLite 区别于 C/S 架构数据库采用单文件磁盘存储架构整库所有数据表、索引、约束、触发器全部封装在单个.db后缀磁盘文件内运行时依托 Python 内置sqlite3C 语言驱动在当前爬虫进程内开辟内存缓存区不存在独立数据库进程监听端口。数据写入流程分为内存页缓存、日志预写入、磁盘落盘三步爬虫执行 INSERT/UPDATE 语句后数据优先存入内存分页SQLite 通过wal预写日志机制临时记录变更内容触发提交事务后再批量同步至磁盘 db 文件wal 日志文件可有效降低频繁单条写入带来的磁盘 IO 损耗也是其适配爬虫高频写入的关键底层支撑。数据库锁机制采用粒度分级锁设计分为共享读锁、预留锁、未决锁、排他写锁四类多线程爬虫并发读取同库数据时仅占用共享锁互不阻塞数据写入阶段才会升级至排他锁锁定对应数据页该锁机制决定 SQLite 更适合单进程多线程小规模爬虫高并发万级 QPS 分布式爬虫不适用。1.2 SQLite 爬虫存储优劣势对照表表格对比维度优势说明局限性说明适用爬虫场景部署成本无服务、无端口、无需安装Python 原生自带驱动新建 db 文件即创建数据库不支持远程网络访问仅本地文件读取单机离线爬虫、短期项目数据采集、临时数据中转缓存写入性能开启 WAL 日志后批量插入性能可达单秒数千条数据满足十万级日采存量单条循环插入 IO 损耗极高万条数据耗时成倍上涨中小体量商品爬虫、资讯文章爬虫、房源信息采集数据体量单 db 文件理论上限 140TB实际工程推荐单库控制在 10GB 以内避免读写卡顿海量数据后单文件检索速率线性下降日均采集 10 万行的小规模爬虫项目并发能力读多写少场景多线程友好高并发高频写入锁竞争严重阻塞任务不支持多进程跨机器同时写入同一个 db 文件单进程多协程爬虫、单机定时离线采集脚本拓展成本搭配 DB Browser 可视化工具一键查看、导出 CSV/Excel 数据方便爬虫数据核验缺少主从备份、分库分表原生方案需手动编码实现归档个人爬虫开发、中小企业内部小范围数据抓取1.3 爬虫场景禁用与推荐使用边界推荐落地场景资讯类、电商单品详情、招聘信息、影视数据、本地商户信息等小规模离线爬虫数据需要本地留存、临时导出报表 禁用落地场景分布式集群爬虫、百万级日增量采集项目、多台服务器协同写入业务此类场景优先选用 MySQL。二、基于原生 sqlite3 模块爬虫工程化基础开发2.1 依赖安装与基础连接配置Python 标准库内置 sqlite3无需额外 pip 安装仅在使用第三方 ORM 框架 dataset 时执行安装指令bash运行pip install dataset1.6.2爬虫项目目录规范统一在项目根目录新建db文件夹所有 sqlite 数据库文件归集存放避免 db 文件散落导致管理混乱目录结构示例plaintextspider_project/ ├── db/ │ └── spider_data.db ├── main.py └── config.py2.2 基础数据表设计规范爬虫通用字段模板爬虫数据表设计遵循通用冗余字段规范除业务核心字段外统一附加采集时间、源链接、数据哈希值、更新时间四个拓展字段用于后续去重与数据溯源以资讯爬虫表为例建表 SQL 逻辑sqlCREATE TABLE IF NOT EXISTS article_info( id INTEGER PRIMARY KEY AUTOINCREMENT COMMENT 自增主键, title TEXT NOT NULL COMMENT 资讯标题, content TEXT COMMENT 资讯正文, publish_time TEXT COMMENT 原文发布时间, source_url TEXT UNIQUE NOT NULL COMMENT 采集源链接唯一约束用于去重, collect_time TEXT NOT NULL COMMENT 爬虫采集时间, update_time TEXT COMMENT 数据更新时间, data_md5 TEXT COMMENT 内容MD5哈希值二次去重备用 ); CREATE INDEX idx_source_url ON article_info(source_url); CREATE INDEX idx_collect_time ON article_info(collect_time);建表原理说明source_url添加 UNIQUE 唯一约束依托 SQLite 数据库层约束自动拦截同源链接重复入库从数据库底层规避爬虫重复采集脏数据优于代码层判断去重建立双索引源链接索引加速根据 URL 查重查询采集时间索引方便按日期筛选归档历史数据字段类型选用 TEXTSQLite 动态类型机制TEXT 兼容字符串、数字、空值适配爬虫网页数据格式不统一的特点INTEGER 仅用于主键自增字段。2.3 原生 sqlite3 基础增删改查代码实现python运行import sqlite3 import hashlib from datetime import datetime import os # 数据库路径常量配置 DB_PATH os.path.join(os.getcwd(), db, spider_data.db) def get_md5(content: str) - str: 生成内容MD5用于爬虫数据二次去重 md5_obj hashlib.md5(content.encode(utf-8)) return md5_obj.hexdigest() def init_sqlite_conn(): 初始化数据库连接开启WAL预写日志优化写入性能 conn sqlite3.connect(DB_PATH, check_same_threadFalse) # 开启WAL模式爬虫高频写入核心优化配置 conn.execute(PRAGMA journal_modeWAL;) # 设置同步模式NORMAL平衡写入速度与数据安全性 conn.execute(PRAGMA synchronousNORMAL;) cursor conn.cursor() return conn, cursor def create_article_table(): 初始化资讯数据表 conn, cursor init_sqlite_conn() create_sql CREATE TABLE IF NOT EXISTS article_info( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, content TEXT, publish_time TEXT, source_url TEXT UNIQUE NOT NULL, collect_time TEXT NOT NULL, update_time TEXT, data_md5 TEXT ); CREATE INDEX IF NOT EXISTS idx_source_url ON article_info(source_url); CREATE INDEX IF NOT EXISTS idx_collect_time ON article_info(collect_time); cursor.executescript(create_sql) conn.commit() cursor.close() conn.close() def insert_single_article(data: dict): 单条爬虫数据插入 conn, cursor init_sqlite_conn() now_time datetime.now().strftime(%Y-%m-%d %H:%M:%S) md5_val get_md5(f{data[title]}{data[content]}) insert_sql INSERT INTO article_info(title,content,publish_time,source_url,collect_time,update_time,data_md5) VALUES (?,?,?,?,?,?,?) params ( data[title],data[content],data[publish_date], data[url],now_time,now_time,md5_val ) try: cursor.execute(insert_sql, params) conn.commit() res True except sqlite3.IntegrityError: # UNIQUE约束冲突即链接已存在捕获异常实现自动去重 res False finally: cursor.close() conn.close() return res # 测试单条入库 if __name__ __main__: create_article_table() test_spider_data { title:SQLite爬虫存储实战详解, content:SQLite轻量化落地小规模爬虫全流程教程, publish_date:2025-12-01, url:https://demo.test.com/article/1001 } flag insert_single_article(test_spider_data) print(数据入库成功 if flag else 数据已存在跳过重复入库)代码原理拆解WAL 日志开启PRAGMA journal_modeWAL开启预写日志数据修改先写入 wal 文件大幅减少频繁磁盘刷盘带来的 IO 损耗爬虫大批量入库必备配置check_same_threadFalse适配多线程爬虫场景关闭 sqlite 默认线程校验限制生产多线程采集脚本常用配置IntegrityError 捕获利用 source_url 唯一约束出现重复 URL 插入直接抛出约束异常捕获后返回 False 实现数据库层自动去重省去额外 SELECT 查询查重步骤节省爬虫请求耗时MD5 字段补充部分网站同源 URL 内容不定期更新通过标题 正文组合生成 MD5后续可根据 MD5 比对判断内容变更触发 UPDATE 更新原有数据。2.4 爬虫批量事务批量插入性能优化核心单条循环 INSERT 是 SQLite 爬虫性能瓶颈万条数据逐条写入耗时可达数十秒依托事务批量提交实现数千倍性能提升批量插入代码python运行def batch_insert_article(data_list: list): 批量爬虫数据入库事务一次性提交 if not data_list: return 0 conn, cursor init_sqlite_conn() now_time datetime.now().strftime(%Y-%m-%d %H:%M:%S) insert_sql INSERT OR IGNORE INTO article_info(title,content,publish_time,source_url,collect_time,update_time,data_md5) VALUES (?,?,?,?,?,?,?) param_list [] for item in data_list: md5_val get_md5(f{item[title]}{item[content]}) param_tuple ( item[title],item[content],item[publish_date], item[url],now_time,now_time,md5_val ) param_list.append(param_tuple) # executemany批量执行SQL cursor.executemany(insert_sql, param_list) insert_rows cursor.rowcount conn.commit() cursor.close() conn.close() return insert_rows # 批量测试 if __name__ __main__: batch_data [] for i in range(100): temp { title:f批量测试资讯{i}, content:f爬虫批量入库测试正文{i}, publish_date:2025-12-01, url:fhttps://demo.test.com/article/{i2000} } batch_data.append(temp) count batch_insert_article(batch_data) print(f本次成功入库数据条数{count})批量入库原理INSERT OR IGNORE 语法SQLite 独有语法命中唯一约束重复数据自动忽略无需捕获异常批量场景高效去重executemany 底层单次 SQL 语句绑定全部参数列表仅触发一次事务提交、一次磁盘 IO对比循环单条提交减少上万次磁盘交互工程最佳实践爬虫每采集 50~200 条数据触发一次批量入库平衡内存占用与写入性能避免海量数据一次性存入列表造成内存溢出。三、爬虫增量更新与数据查重落地方案3.1 基于 URLMD5 双维度增量更新逻辑爬虫二次轮询采集站点时同源 URL 页面大概率存在内容更新需要比对 MD5 值不一致则更新正文与更新时间字段代码实现python运行def update_article_by_url(url: str, new_data: dict): 根据源链接更新内容MD5变更才执行更新 conn, cursor init_sqlite_conn() new_md5 get_md5(f{new_data[title]}{new_data[content]}) # 先查询原有MD5 cursor.execute(SELECT data_md5 FROM article_info WHERE source_url?, (url,)) res cursor.fetchone() update_flag False if res: old_md5 res[0] if old_md5 ! new_md5: update_sql UPDATE article_info SET title?,content?,update_time?,data_md5? WHERE source_url? update_params (new_data[title],new_data[content],datetime.now().strftime(%Y-%m-%d %H:%M:%S),new_md5,url) cursor.execute(update_sql, update_params) conn.commit() update_flag True cursor.close() conn.close() return update_flag更新原理先查后更优先根据索引 source_url 快速检索历史 MD5利用索引将查询耗时控制在毫秒级MD5 作为变更标尺仅正文 / 标题变动才触发 UPDATE无内容变更直接跳过更新减少不必要磁盘写入。3.2 按采集日期批量筛选历史数据爬虫后期需要按天导出、统计当日采集数据依托 collect_time 索引快速筛选python运行def query_article_by_collect_date(date_str: str): 根据采集日期查询当日全部数据格式YYYY-MM-DD conn, cursor init_sqlite_conn() cursor.execute(SELECT * FROM article_info WHERE collect_time LIKE ?, (f{date_str}%,)) result cursor.fetchall() # 绑定字段名与数据封装字典列表 col_name [desc[0] for desc in cursor.description] data_list [dict(zip(col_name, row)) for row in result] cursor.close() conn.close() return data_list四、dataset 第三方 ORM 框架简化爬虫存储开发原生 SQL 手写 SQL 语句开发效率偏低dataset 是 SQLite 轻量化 ORM 封装库无需手动编写建表 SQL、无需关注字段类型自动根据传入字典动态生成数据表适合快速迭代爬虫项目。4.1 dataset 基础 CRUD 代码python运行import dataset from datetime import datetime DB_PATH os.path.join(os.getcwd(), db, spider_data.db) # 初始化数据库连接 db dataset.connect(fsqlite:///{DB_PATH}, check_same_threadFalse) # 获取数据表对象不存在自动创建 table db[article_info] def orm_insert_data(spider_dict: dict): ORM单条插入自动去重依赖唯一键 spider_dict[collect_time] datetime.now().strftime(%Y-%m-%d %H:%M:%S) spider_dict[update_time] spider_dict[collect_time] # upsert存在即更新不存在即插入指定source_url作为唯一主键 table.upsert(spider_dict, keys[source_url]) def orm_batch_insert(data_list: list): ORM批量插入 now datetime.now().strftime(%Y-%m-%d %H:%M:%S) for item in data_list: item[collect_time] now item[update_time] now table.insert_many(data_list) # 测试 if __name__ __main__: test_data { title:ORM框架SQLite爬虫存储, content:dataset简化爬虫入库开发, publish_date:2025-12-02, source_url:https://demo.test.com/article/5001 } orm_insert_data(test_data)ORM 底层原理dataset 内部封装 sqlite3 驱动upsert 方法底层自动拼接 INSERT OR REPLACE 语句keys 参数指定唯一字段自动实现重复数据覆盖更新insert_many 内部封装 executemany 批量逻辑开发者无需关心原生 SQL 语法大幅缩短爬虫存储开发周期。五、SQLite 爬虫数据库运维优化策略5.1 数据库定时压缩与 VACUUM 优化爬虫长期采集删除数据后db 文件会产生大量磁盘空洞文件体积虚高通过 VACUUM 命令重组数据库碎片收缩磁盘占用封装定时优化函数python运行def vacuum_sqlite_db(): 碎片整理压缩数据库文件 conn, cursor init_sqlite_conn() # 临时关闭WAL执行压缩压缩完成后重新开启 conn.execute(PRAGMA journal_modeDELETE;) conn.execute(VACUUM;) conn.execute(PRAGMA journal_modeWAL;) conn.commit() cursor.close() conn.close()VACUUM 原理SQLite 删除数据仅标记数据位失效不会立即回收磁盘空间VACUUM 全量重建数据表与索引剔除无效空洞数据工程建议每周爬虫空闲时段执行一次压缩。5.2 老旧数据分库归档方案单库数据过大解决方案当单 db 文件超过 8GB 后查询速率显著下降采用按月分库归档策略每月新建独立spider_202512.db数据库代码动态拼接数据库路径python运行from datetime import datetime def get_month_db_path(): 根据当前年月生成月度分库文件路径 month_str datetime.now().strftime(%Y%m) db_name fspider_{month_str}.db return os.path.join(os.getcwd(), db, db_name)爬虫写入时自动切换当月数据库历史月份数据独立归档避免单库无限膨胀。5.3 SQLite 异常备份策略对照表表格备份方式实现方案适用场景全量冷备份爬虫每日空闲时段直接复制.db、.wal 后缀文件每日定时离线全量备份SQL 导出备份执行.dumpSQL 指令导出全量建表 数据 SQL 脚本重要数据长期归档增量备份wal 预写日志单独留存故障后通过 wal 恢复数据高频采集临时备份六、爬虫落地高频故障排查与处理6.1 常见故障处理汇总表表格故障现象故障诱因处理方案database is locked 数据库锁死多进程同时写入同一 db 文件、长事务未提交禁止多进程共用 db拆分分库缩短单次事务长度db 文件损坏无法打开爬虫进程异常断电、磁盘坏道使用 DB Browser 修复工具依托 wal 日志恢复数据批量入库速率越来越慢数据表无索引、单表数据超千万行新建分库归档历史数据业务表必要字段补充索引磁盘占用暴增大量删除数据未执行 VACUUM 碎片压缩定时调用 vacuum_sqlite_db 压缩数据库6.2 锁死问题专项优化SQLite 排他写锁是爬虫最高发故障解决方案1、单爬虫项目统一单进程采集多协程共用连接2、高数据量拆分多库分表不同业务数据存入独立 db 文件3、单次批量入库控制数据量在 200 条以内缩短事务持有时间。
格点规范理论的量子模拟与VQE应用)
