1. 从一次真实的数据提取需求说起python读取.db文件到底难在哪你手里大概率躺着这样一个文件ChineseCharactersLite.db、data.db或者某个 App 导出的xxx.db。双击打不开用 Excel 打开是一堆乱码但你又明确知道里面存着结构化数据。这就是 SQLite 数据库文件Python 标准库自带sqlite3模块理论上不需要装任何第三方包就能读。但真正动手时问题会一个接一个冒出来连上了却不知道有哪些表fetchall()返回的是一堆元组字段名全丢了中文内容读出来是乱码查出来的行数和预期对不上却不知道错在哪一步。我见过太多人卡在「能连上但读不对」这个阶段。这篇内容聚焦一条完整链路用 Python 读取本地 SQLite.db文件从建立连接、列出表结构、执行查询到把结果转成带字段名的字典最后做行数与字段的双重校验。同时我会把 TaoToken 统一 Key 通道接进来让模型辅助生成 SQL 和校验查询逻辑——注意模型只做「辅助生成与校验」真正的数据读取始终在本地完成不经过任何外部通道。适合谁看刚接触 SQLite 的 Python 初学者、需要从本地数据库批量提取数据做分析的人、以及想给数据提取流程加一层「AI 校验」的开发者。核心检索词就是 python 读取 .db 文件下面所有步骤都可以直接复制运行。先说结论整个流程分四步——连接、探表、查询、校验。每一步都有对应的坑我会在对应位置标出来。2. TaoToken 统一 Key 通道准备让模型辅助生成与校验 SQL在写查询代码之前先把「辅助通道」搭好。这里的定位要清楚TaoToken 提供的是统一的模型调用入口用来帮你生成 SQL 语句、解释表结构、校验查询逻辑是否符合预期。它不参与实际的数据读取你的.db文件始终在本地被sqlite3处理。为什么需要这一步因为实际场景里表名和字段名往往不是Phrases这么直观。可能是t_2023_q3_records字段是f_001、f_002。这时候让模型根据你的描述生成候选 SQL比你自己猜字段快得多。生成之后再用本地代码执行、比对行数形成闭环。TaoToken 的接入信息如下建议先记下来官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 地址https://taotoken.net/api模型对话页https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_campaignrewriteAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_campaignrewrite如果你后续要做长期编码或 Agent 类任务可以了解 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_campaignrewrite拿到 Key 之后调用方式遵循 OpenAI 兼容格式。下面这段是生成 SQL 的辅助脚本把「我想查什么」用自然语言描述让模型输出可执行的 SQLimport os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) def generate_sql(description: str, table_hint: str ) - str: prompt f你是一个 SQLite SQL 生成助手。 已知数据库中可能存在的表{table_hint} 需求{description} 只输出一条可执行的 SQLite SELECT 语句不要解释不要 markdown 代码块。 resp client.chat.completions.create( modelgpt-4o-mini, messages[{role: user, content: prompt}], temperature0 ) return resp.choices[0].message.content.strip() if __name__ __main__: sql generate_sql(查询 Phrases 表所有记录, Phrases, CharacterInfo) print(sql)这里有个关键点base_url必须写成https://taotoken.net/api不要加多余的路径后缀。Key 通过环境变量注入不要硬编码在脚本里。模型返回的 SQL 只是「候选」下一步必须用本地sqlite3执行验证不能直接信任。注意模型生成的 SQL 可能包含不存在的表名或字段名这是正常的。它的价值在于给你一个起点真正的正确性由本地执行结果决定。3. 可复制配置连接 .db 文件并转成字典结果现在进入核心部分。Python 读取.db文件的标准做法是sqlite3.connect()但默认返回的fetchall()是元组列表字段名丢失。解决办法是设置row_factory把每一行转成字典。先看完整可复制的代码文件名按你的实际情况替换import sqlite3 import json DB_PATH ChineseCharactersLite.db def dict_factory(cursor, row): d {} for idx, col in enumerate(cursor.description): d[col[0]] row[idx] return d def connect_db(path: str) - sqlite3.Connection: con sqlite3.connect(path) con.row_factory dict_factory return con def list_tables(con: sqlite3.Connection) - list: cur con.cursor() cur.execute(select name from sqlite_master where typetable order by name) return cur.fetchall() def query_all(con: sqlite3.Connection, table: str) - list: cur con.cursor() cur.execute(fselect * from {table}) return cur.fetchall() if __name__ __main__: con connect_db(DB_PATH) tables list_tables(con) print(表列表, tables) rows query_all(con, Phrases) print(行数, len(rows)) print(首行, json.dumps(rows[0], ensure_asciiFalse, indent2)) con.close()几个必须注意的细节第一dict_factory依赖cursor.description它只在执行execute之后才有值。所以这个工厂函数必须配合查询使用不能单独调用。第二sqlite_master是 SQLite 的系统表存着所有表、索引、视图的元信息。where typetable过滤掉索引和视图order by name让输出稳定。这一步是「探表」避免你对着一个空查询发呆。第三fselect * from {table}用了 f-string 拼接表名。表名来自sqlite_master的查询结果是可信的但如果表名来自用户输入必须做白名单校验否则有 SQL 注入风险。生产环境建议改成参数化或白名单。第四中文乱码问题。SQLite 默认用 UTF-8 存储Python 3 的sqlite3也按 UTF-8 解码正常情况下不会乱码。如果读出来是\u4e2d\u6587这种转义形式那是print的问题用json.dumps(..., ensure_asciiFalse)就能正常显示。如果你用的是 Cline MCP 或 Claude Code 这类工具做辅助开发配置里需要写全三件套Base URL 填https://taotoken.net/apiKey 填你的TAOTOKEN_API_KEYModel ID 填你选定的模型名比如gpt-4o-mini或claude-3-5-sonnet。三者缺一不可只填 Key 不填 Base URL 会走到默认端点报 401。4. 验证请求与成功结果行数与字段双重比对代码跑通只是第一步「读对了」才是目标。校验分两个维度行数对不对字段对不对。先看一个典型的成功输出。假设Phrases表有 3 行字段是id、phrase、pinyin表列表 [{name: CharacterInfo}, {name: Phrases}, {name: sqlite_sequence}] 行数 3 首行 { id: 1, phrase: 你好, pinyin: ni hao }行数校验用select count(*) from Phrases单独查一次和len(rows)比对。两者必须相等。如果不等说明fetchall()被截断或者查询条件不一致。def count_rows(con, table: str) - int: cur con.cursor() cur.execute(fselect count(*) from {table}) return cur.fetchone()[count(*)] expected count_rows(con, Phrases) actual len(query_all(con, Phrases)) assert expected actual, f行数不一致count{expected}, fetch{actual} print(行数校验通过)字段校验从cursor.description里提取字段名列表和你预期的字段做集合比对。def get_columns(con, table: str) - list: cur con.cursor() cur.execute(fselect * from {table} limit 1) return [d[0] for d in cur.description] cols get_columns(con, Phrases) expected_cols {id, phrase, pinyin} assert expected_cols.issubset(set(cols)), f字段缺失{expected_cols - set(cols)} print(字段校验通过, cols)把模型接进来做「语义校验」把字段名和几行样本发给模型问它「这些字段是否覆盖了短语、拼音、ID 三类信息」。模型返回 yes/no 加理由。这一步不是必须的但在字段名很抽象比如f_001时很有用。def semantic_check(columns: list, sample: dict) - str: prompt f字段列表{columns} 样本数据{json.dumps(sample, ensure_asciiFalse)} 请判断这些字段是否足以表达「短语、拼音、编号」三类信息回答格式结论 一句话理由。 resp client.chat.completions.create( modelgpt-4o-mini, messages[{role: user, content: prompt}], temperature0 ) return resp.choices[0].message.content.strip()实测下来行数校验能挡住 90% 的「读少了」问题字段校验能挡住「读错了列」的问题语义校验则是锦上添花。三层都过基本可以确认读取结果正确。5. 本篇常见错误排查401、local proxy failed、reading choices 与 OAuth这一节按真实报错来。你大概率会碰到下面几类。401 Unauthorized。出现在调用模型辅助生成 SQL 时。原因通常是 Key 没传、Key 传错、或者base_url写成了https://taotoken.net少了/api。检查顺序环境变量TAOTOKEN_API_KEY是否存在 →base_url是否为https://taotoken.net/api→ Key 是否在 API Keys 页面有效。三者都对还报 401就去接入文档核对请求头格式。local proxy failed。这个报错和网络环境有关通常出现在请求根本没发出去的时候。先确认你的base_url拼写正确没有多余空格或换行。如果代码里从配置文件读base_url打印出来看一眼经常是复制时带进了不可见字符。reading choices 相关报错比如KeyError: choices或reading choices of undefined。这说明响应体里没有choices字段通常是服务端返回了错误结构比如{error: {...}}。解决办法是在解析前先打印完整响应resp client.chat.completions.create(...) print(resp.model_dump_json(indent2))看到真实结构就知道是 Key 问题、模型名问题还是参数问题。模型名写错比如把gpt-4o-mini写成gpt4o-mini也会导致这类错误。OAuth 相关报错。如果你用的是 Claude Code 或 Codex 这类工具配置里可能涉及auth.json。以 Codex 为例auth.json里需要写全 Base URL、Key、Model ID 三件套。只填了 Key工具会尝试走默认 OAuth 流程然后失败。正确做法是在配置里显式指定base_url为https://taotoken.net/api并确认auth.json的字段名和文档一致。中文乱码。前面提过SQLite 存的是 UTF-8Python 读出来也是 str。如果终端显示乱码是终端编码问题不是数据问题。用json.dumps(..., ensure_asciiFalse)输出到文件再用支持 UTF-8 的编辑器打开就能确认数据本身是好的。表名不存在。no such table: Phrases。先用list_tables打印所有表名确认大小写和拼写。SQLite 表名默认大小写不敏感但如果你建表时用了引号包裹就变成敏感了。数据库被锁。database is locked。说明有另一个进程正在写这个.db文件。SQLite 同一时间只允许一个写操作。解决办法是等写操作结束或者用sqlite3.connect(path, timeout10)设置等待超时。6. 把这条链路固定下来从临时脚本到可复用流程走到这里你已经有了完整的读取与校验能力。最后说几个让它更耐用的做法。第一把connect_db、list_tables、query_all、count_rows、get_columns封装成一个sqlite_reader.py以后任何.db文件都能复用。参数只传路径和表名不传 SQL 字符串降低注入风险。第二校验逻辑写成断言跑不通就抛异常。数据提取最怕「静默错误」——程序没报错但结果少了一半。断言能让问题在第一时间暴露。第三模型辅助只用在「生成候选 SQL」和「语义校验」两个环节不要让它直接连数据库。数据始终在本地流转这是安全底线。如果你需要长期做这类数据提取 AI 校验的工作可以看看 Coding Plan它更适合高频、持续的编码与 Agent 场景https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_campaignrewrite需要管理多个 Key 或查看用量去 API Keys 页面https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_campaignrewrite想先试试模型生成 SQL 的效果直接打开模型对话页https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_campaignrewrite接入细节以文档为准https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_campaignrewrite最后留一个我常用的检查习惯每次读完.db先打印表列表再打印目标表的行数和字段名最后才看数据内容。顺序反了就容易在错误的前提上做分析。