简介面向AI大模型应用开发与法律智能化场景这份资料围绕中文法律大模型ChatLaw展开涵盖模型应用演示、数据处理与部署配置可支撑法律咨询问答、对话效果验证与模型效果评估等方向。资源包含35个文件以jpg/png界面与流程图、json/jsonl标注与问答数据、py与sh脚本为主另有md与license文档压缩包仅7.78MB。已有270人浏览学习适合希望快速搭建法律咨询问答或了解ChatLaw整体流程的算法工程师与科研人员。通过其中的演示数据、法律概念与咨询数据集、Web端页面截图及启动脚本可以直观掌握从数据准备、模型调用到界面展示的完整链路也能用于二次开发与实验对比。此外目录中还整理了模型框架图、胜率对比图及多组法律考试评测数据便于用户评估模型效果。1. 拿到“中文法律大模型.zip”先确认里面装的是什么我看到不少开发者在网盘或群聊里下载《AI大模型应用》-中文法律大模型.zip把它当成一个普通压缩包双击解压就开始跑。这个标题其实把三层信息压缩在一起打包的是大模型应用领域是中文法律交付载体是 zip。这类压缩包通常不是单个模型文件而是把模型权重、配置文件、推理脚本、甚至小规模法规知识库一起打包拿到手之后先做“内容盘点”比直接跑更重要。一个能落地的中文法律大模型应用至少要回答“模型怎么加载、知识库怎么挂、法条引用怎么校验”三个问题。zip 包只是第一步本地部署、领域适配、效果验证才是剩余的工作量。这篇文章就是按这个顺序把这个压缩包变成你能跑、能调、能交付的中文法律问答服务。2. 拆包和资源盘点不要急着解压就跑看到 .zip 结尾第一反应不应该是双击而是先回答它到底装了哪些文件。解压本身不危险危险的是解压后并不知道自己在运行什么。我处理未知压缩包的第一步永远是先看内容清单而不是解压到当前目录。2.1 先用 unzip -l 看内容而不是双击解压在 Linux 或 WSL 里执行unzip -l 中文法律大模型.zip | head -60 unzip -l 中文法律大模型.zip | wc -l-l参数只列清单不解压head -60看前面 60 行文件路径wc -l统计总行数能快速估算包里有多少文件。如果输出里出现../开头的路径或绝对路径要立刻停下来这是 zip slip 目录穿越漏洞的典型特征解压后可能把文件写到压缩包之外的目录。2.1.1 完整性测试与常见解压报错内容清单正常后先测压缩包完整性再解压7z t 中文法律大模型.zip unzip -d model_pkg 中文法律大模型.zip cd model_pkg find . -maxdepth 2 -type f | sort | head -507z t只测试压缩包不输出文件unzip -d model_pkg把内容解压到独立目录避免散落文件覆盖现有项目。如果解压时报error read zip archive多半是下载中断或文件头损坏重新下载后再试不要尝试用所谓的“压缩包修复工具”成本比重新下载高得多。Windows 用户直接在 7-Zip 里打开 zip 就能看到完整目录树也可以在“工具”菜单里执行测试。2.2 常见目录结构与里面的“配置陷阱”用一个典型的中文法律大模型压缩包举例解压后通常会看到这样的结构中文法律大模型/ ├── config.json ├── generation_config.json ├── tokenizer.json ├── model.safetensors.index.json ├── model-00001-of-00002.safetensors ├── model-00002-of-00002.safetensors ├── README.md └── scripts/ ├── chat.py ├── rag.py └── requirements.txt这是 Hugging Face transformers 格式的标准布局。如果压缩包根目录只有law_model.Q4_K_M.gguf说明发布方给出的是 llama.cpp 量化后的推理格式。两种格式对应两套完全不同的加载路径。包内格式主要文件加载方式适合部署路线HF transformersconfig.json *.safetensors tokenizer 系列文件Transformers / vLLM微调、服务化、评估GGUF单个或分片 .gguf 文件llama.cpp / Ollama本地快速部署、CPU 推理混合包权重 脚本 数据 requirements按 README 执行完整应用交付2.2.1 先看模型类型再看分词器和上下文解压后最常踩的坑不是模型文件缺失而是配置不对。config.json里要先看三个字段model_type决定加载器max_position_embeddings决定最大上下文长度eos_token_id决定回答什么时候结束。很多中文法律模型基于 Qwen 或 Llama 架构改造直接把model_type改成无关名字会导致 AutoModel 加载失败。分词器也要对。如果包里同时有vocab.txt和tokenizer.json优先用tokenizer.json有些压缩包是从旧版训练脚本里拷出来的vocab.txt是训练分词器原始词表tokenizer.json是推理分词器最终产物两者不一致时加载器不会报错但生成结果会乱码或频繁出现未知 token。包里自带scripts/时不要直接运行。先打开requirements.txt检查依赖版本尤其是transformers、torch、accelerate这三个版本不匹配会导致keyvalue读取模型权重失败。我一般会先建一个干净的虚拟环境再按 requirements 安装。2.3 校验哈希和 zip 密码不要轻信压缩包解压之前先做一次哈希校验sha256sum 中文法律大模型.zip unzip -l 中文法律大模型.zip | grep -E README|LICENSE|sha256sha256sum会输出 64 位十六进制摘要和发布方 README 或官网页面上的指纹对比。如果没有官方指纹至少把哈希记录到本地便于后续排查是不是下载被篡改。一个模型权重动辄几 GB哈希对不上却已经解压、加载、跑了一轮浪费的时间比等重新下载多得多。如果这个 zip 带密码不要第一时间打开 zip压缩包密码破解工具或 zip密码移除脚本。公开数据集通常不会无故加密加密往往是为了控制传播范围。如果你有合法授权直接向发布者要密码只有一种情况可以尝试恢复工具——压缩包是你自己打包的自己忘了密码那么用密码恢复工具处理自己的文件没有任何问题。来路不明的加密包最稳妥的处理是直接弃用。提示任何带密码的模型包先确认来源。模型训练成本很高正规发布方一定会在 README 里写明许可证和校验值。3. 本地部署和推理用 llama.cpp / Ollama 把模型跑起来从拆包结果看你大概率会面对两种模型格式Hugging Face transformers 的 safetensors或者 llama.cpp 量化后的 GGUF。很多中文法律模型压缩包会把两种都带上或者在 README 里说明哪个用于训练、哪个用于推理。选择运行时之前先确认包里的文件能喂给谁再决定装哪套环境。3.1 先选运行时Transformers、llama.cpp、Ollama 差在哪做本地部署ai大模型时最忌讳“看到一个 .gguf 就去找 transformers 代码”。GGUF 是为 llama.cpp 设计的单文件格式Transformers 现在虽然也能读 GGUF但不是主线路径。safetensors 也跑不进 llama.cpp除非先转换格式。运行时模型格式适合场景显存参考Transformers / vLLMsafetensors / bin微调、评估、高并发服务7B fp16 约 14GBllama.cppGGUF本地部署、CPU 推理Q4 量化 7B 约 5-6GBOllamaGGUFModelfile本地快速启动、API 接入同 GGUF略加开销如果你只是想在本地把模型跑起来不折腾训练直接走 llama.cpp 或 Ollama 是最快的。Ollama 更适合后续接入应用因为它自带openai兼容接口省去自己写 HTTP 服务的步骤。Transformers 路线更适合要微调或做精细评估的场景启动慢显存占用也高。3.2 用 llama.cpp 在本地跑最小命令llama.cpp 需要先编译或者从发布页下载预编译二进制。编译时如果不确定 GPU 环境先走纯 CPUgit clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPERelease cmake --build build --config Release -j 4有 NVIDIA GPU 时把第二行改成cmake -B build -DCMAKE_BUILD_TYPERelease -DLLAMA_CUBLASON然后继续编译。LLAMA_CUBLAS告诉构建系统启用 CUDA 后端用 AMD 卡可以换-DLLAMA_HIPBLASON。编译完成后会在build/bin下生成llama-cli旧版本里这个二进制叫main。然后运行推理./build/bin/llama-cli -m ../models/中文法律大模型.Q4_K_M.gguf \ --prompt 根据《民法典》规定违约金过高是否可以请求法院调整 \ -c 4096 -n 512 -t 8 -ngl 0 --temp 0.2-m指定 GGUF 模型路径-c 4096设置上下文窗口为 4096 token法律条文和用户问题拼在一起时上下文太小容易截断-n 512限制最大生成 512 token-t 8使用 8 个 CPU 线程-ngl 0表示不把任何层放到 GPU如果 GPU 显存足够改成-ngl 40会显著提速。--temp 0.2让回答更稳定法律场景不建议超过 0.3。3.3 关键推理参数上下文、并发、GPU 层数跑通一次之后把参数固定成一组“法律问答默认值”比每次手填更可靠。参数推荐值说明-c/--ctx-size4096 或 8192长法条 多轮对话需要更大上下文显存也会涨-n/--predict256-512法律回答通常不需要长篇大论-ngl0 或显存允许的最大层数7B 模型部分层卸载到 GPU 即可--temp0.2温度过高会产生不稳定表述--top-p0.8配合低温度降低幻觉概率如果你想用更简单的方式进入 ai大模型本地部署Ollama 可以把 GGUF 包成一个可管理模型。创建一个 ModelfileFROM ./中文法律大模型.Q4_K_M.gguf PARAMETER temperature 0.2 PARAMETER num_ctx 4096然后执行ollama create law -f Modelfile ollama run law。ollama create会把 GGUF 和参数固化为本地模型law后续调用统一用模型名即可。Ollama 的默认端口是 11434启动服务后可以直接用 HTTP 请求不会再把命令行当生产 API 用。4. 法律问答不只能靠原模型用 RAG 和提示词做领域适配模型本身可能记住了一些法律条文但它没有实时检索能力也没有办法保证引用的法条仍然有效。真正的中文法律大模型应用开发通常不会只靠基座模型硬答而是把“找法条”和“写回答”拆成两件事先用检索找到相关法律依据再让模型基于依据作答。4.1 为什么需要 RAG 和提示词法律问答和普通闲聊不一样用户要的是结论、依据和依据的准确表述。基座模型在训练时见过法律文本但很可能把旧版条文和新版条文混在一起或者把相似法条张冠李戴。RAG 的核心思路是把法律法规文档提前切段、向量化、存入检索库用户提问时先取回最相关的若干段落再把段落和问题一起送给大模型。这样做有两个直接好处第一回答可以追溯到具体法条第二当检索不到相关内容时模型更容易承认“无法确定”而不是硬编一段法律分析。对于本地部署的中文法律模型RAG 的成本低于重新微调效果提升却非常明显是性价比最高的领域适配方式。4.2 搭一个最小法律知识库检索用 Python LangChain FAISS 搭建本地知识库不需要 GPU 也能跑。先把法律法规文本准备好比如把《民法典》某个分编保存为民法典婚姻家庭编.txt然后运行from langchain_community.vectorstores import FAISS from langchain_huggingface import HuggingFaceEmbeddings from langchain_text_splitters import RecursiveCharacterTextSplitter with open(民法典婚姻家庭编.txt, encodingutf-8) as f: text f.read() splitter RecursiveCharacterTextSplitter( chunk_size800, chunk_overlap120, separators[\n\n, \n, 。, ] ) docs splitter.create_documents([text]) embeddings HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh-v1.5) db FAISS.from_documents(docs, embeddings) retriever db.as_retriever(search_kwargs{k: 3})chunk_size800控制每段法律文本长度避免一个分块内容过多、噪音变大chunk_overlap120让相邻块保留交界处的信息防止法条被从中间切断separators优先按中文段落和句子边界切分比纯按字符切更自然。k3表示每次取回 3 个段落法律问答里k太小可能漏掉关键法条太大又会让提示词过长。4.3 提示词模板与法条引用检索完成后把结果交给模型。Ollama 启动后自带 OpenAI 兼容接口可以直接用openai库调用from openai import OpenAI client OpenAI(base_urlhttp://localhost:11434/v1, api_keyollama) query 违约金过高是否可以请求调整 hits retriever.invoke(query) context \n.join(doc.page_content for doc in hits) resp client.chat.completions.create( modellaw, messages[ {role: user, content: ( 你是一名中文法律助手。请只依据下面的参考内容回答。\n 1. 先给出结论\n 2. 写明所依据的法条序号\n 3. 如果参考内容不足明确说“无法确定”。\n\n f参考内容\n{context}\n\n f用户问题{query} )} ], temperature0.2 ) print(resp.choices[0].message.content)base_url指向本地 Ollama 服务api_key填任意非空字符串即可。提示词里“只依据参考内容回答”是限制幻觉的关键要求“写明法条序号”是为了让用户后续可以复核“明确说无法确定”给了模型一个合法的兜底出口。RAG 检索出来的内容如果不进提示词那它只是做了一场检索表演没有任何落地意义。4.4 评估法律问答质量跑通之后一定要做一轮小规模评估。我一般会准备 20 条典型裁判问题覆盖违约金、离婚冷静期、劳动报酬、合同解除等场景然后人工判断以下四个指标指标判断方式事实准确率结论是否与现行法律规定一致引用命中率引用法条序号是否真实存在、是否适用拒答率无依据时是否承认无法确定稳定性同一问题多次回答是否一致人工看 20 条回答并不耗时却能把模型“看似专业实则乱讲”的问题暴露出来。评估结果比任何跑通输出都重要它会告诉你知识库分段要不要改、检索阈值要不要调、提示词模板哪里约束不够。5. 效果验证和再分发别把自己生成的模型包也变成坑法律问答模型交付前至少跑三个冒烟测试问题“违约金过高怎么办”“离婚冷静期是多久”“加班工资怎么计算”。每个问题都要人工检查三点结论是否合法、引用是否真实、语气是否克制。能用命令跑通推理很多但真正可交付的是“稳定输出可复核答案”的服务。5.1 用脚本做一次批量冒烟测试准备一个smoke_test.jsonl每行包含问题和期望回答关键词echo {question: 违约金过高怎么办, expect: [违约金, 适当减少]} | \ python -m json.tool把expect列表放在测试脚本里用简单字符串匹配检查输出是否包含核心关键词。这一步不追求语义判断只为了快速发现模型“完全跑偏”的回归问题。每次改完提示词或量化版本都把这个脚本重跑一遍。5.2 重新打包时的清单和哈希如果要继续分发这个中文法律大模型重新打包前一定清掉缓存和临时文件cd 中文法律大模型 zip -r ../中文法律大模型-v2.zip . \ -x *.git* -x __pycache__/* -x *.cache/* sha256sum ../中文法律大模型-v2.zip ../中文法律大模型-v2.zip.sha256-x参数排除 git 目录、pycache 和缓存文件避免把本地环境垃圾发给别人。打包完成后立刻生成 sha256 文件和压缩包放在一起发布。下一个接手的人不需要猜测这个包是不是被改动过也不需要花时间排查模型加载失败是不是因为文件损坏。最后把 README 一并更新至少写明基座模型来源、量化方式、许可证、运行环境版本和冒烟测试结果。一个带清晰说明和校验值的 zip会让后续所有 ai大模型应用开发顺畅得多。本文还有配套的精品资源点击获取 中文法律大模型应用：从压缩包到本地部署与RAG实战
简介面向AI大模型应用开发与法律智能化场景这份资料围绕中文法律大模型ChatLaw展开涵盖模型应用演示、数据处理与部署配置可支撑法律咨询问答、对话效果验证与模型效果评估等方向。资源包含35个文件以jpg/png界面与流程图、json/jsonl标注与问答数据、py与sh脚本为主另有md与license文档压缩包仅7.78MB。已有270人浏览学习适合希望快速搭建法律咨询问答或了解ChatLaw整体流程的算法工程师与科研人员。通过其中的演示数据、法律概念与咨询数据集、Web端页面截图及启动脚本可以直观掌握从数据准备、模型调用到界面展示的完整链路也能用于二次开发与实验对比。此外目录中还整理了模型框架图、胜率对比图及多组法律考试评测数据便于用户评估模型效果。1. 拿到“中文法律大模型.zip”先确认里面装的是什么我看到不少开发者在网盘或群聊里下载《AI大模型应用》-中文法律大模型.zip把它当成一个普通压缩包双击解压就开始跑。这个标题其实把三层信息压缩在一起打包的是大模型应用领域是中文法律交付载体是 zip。这类压缩包通常不是单个模型文件而是把模型权重、配置文件、推理脚本、甚至小规模法规知识库一起打包拿到手之后先做“内容盘点”比直接跑更重要。一个能落地的中文法律大模型应用至少要回答“模型怎么加载、知识库怎么挂、法条引用怎么校验”三个问题。zip 包只是第一步本地部署、领域适配、效果验证才是剩余的工作量。这篇文章就是按这个顺序把这个压缩包变成你能跑、能调、能交付的中文法律问答服务。2. 拆包和资源盘点不要急着解压就跑看到 .zip 结尾第一反应不应该是双击而是先回答它到底装了哪些文件。解压本身不危险危险的是解压后并不知道自己在运行什么。我处理未知压缩包的第一步永远是先看内容清单而不是解压到当前目录。2.1 先用 unzip -l 看内容而不是双击解压在 Linux 或 WSL 里执行unzip -l 中文法律大模型.zip | head -60 unzip -l 中文法律大模型.zip | wc -l-l参数只列清单不解压head -60看前面 60 行文件路径wc -l统计总行数能快速估算包里有多少文件。如果输出里出现../开头的路径或绝对路径要立刻停下来这是 zip slip 目录穿越漏洞的典型特征解压后可能把文件写到压缩包之外的目录。2.1.1 完整性测试与常见解压报错内容清单正常后先测压缩包完整性再解压7z t 中文法律大模型.zip unzip -d model_pkg 中文法律大模型.zip cd model_pkg find . -maxdepth 2 -type f | sort | head -507z t只测试压缩包不输出文件unzip -d model_pkg把内容解压到独立目录避免散落文件覆盖现有项目。如果解压时报error read zip archive多半是下载中断或文件头损坏重新下载后再试不要尝试用所谓的“压缩包修复工具”成本比重新下载高得多。Windows 用户直接在 7-Zip 里打开 zip 就能看到完整目录树也可以在“工具”菜单里执行测试。2.2 常见目录结构与里面的“配置陷阱”用一个典型的中文法律大模型压缩包举例解压后通常会看到这样的结构中文法律大模型/ ├── config.json ├── generation_config.json ├── tokenizer.json ├── model.safetensors.index.json ├── model-00001-of-00002.safetensors ├── model-00002-of-00002.safetensors ├── README.md └── scripts/ ├── chat.py ├── rag.py └── requirements.txt这是 Hugging Face transformers 格式的标准布局。如果压缩包根目录只有law_model.Q4_K_M.gguf说明发布方给出的是 llama.cpp 量化后的推理格式。两种格式对应两套完全不同的加载路径。包内格式主要文件加载方式适合部署路线HF transformersconfig.json *.safetensors tokenizer 系列文件Transformers / vLLM微调、服务化、评估GGUF单个或分片 .gguf 文件llama.cpp / Ollama本地快速部署、CPU 推理混合包权重 脚本 数据 requirements按 README 执行完整应用交付2.2.1 先看模型类型再看分词器和上下文解压后最常踩的坑不是模型文件缺失而是配置不对。config.json里要先看三个字段model_type决定加载器max_position_embeddings决定最大上下文长度eos_token_id决定回答什么时候结束。很多中文法律模型基于 Qwen 或 Llama 架构改造直接把model_type改成无关名字会导致 AutoModel 加载失败。分词器也要对。如果包里同时有vocab.txt和tokenizer.json优先用tokenizer.json有些压缩包是从旧版训练脚本里拷出来的vocab.txt是训练分词器原始词表tokenizer.json是推理分词器最终产物两者不一致时加载器不会报错但生成结果会乱码或频繁出现未知 token。包里自带scripts/时不要直接运行。先打开requirements.txt检查依赖版本尤其是transformers、torch、accelerate这三个版本不匹配会导致keyvalue读取模型权重失败。我一般会先建一个干净的虚拟环境再按 requirements 安装。2.3 校验哈希和 zip 密码不要轻信压缩包解压之前先做一次哈希校验sha256sum 中文法律大模型.zip unzip -l 中文法律大模型.zip | grep -E README|LICENSE|sha256sha256sum会输出 64 位十六进制摘要和发布方 README 或官网页面上的指纹对比。如果没有官方指纹至少把哈希记录到本地便于后续排查是不是下载被篡改。一个模型权重动辄几 GB哈希对不上却已经解压、加载、跑了一轮浪费的时间比等重新下载多得多。如果这个 zip 带密码不要第一时间打开 zip压缩包密码破解工具或 zip密码移除脚本。公开数据集通常不会无故加密加密往往是为了控制传播范围。如果你有合法授权直接向发布者要密码只有一种情况可以尝试恢复工具——压缩包是你自己打包的自己忘了密码那么用密码恢复工具处理自己的文件没有任何问题。来路不明的加密包最稳妥的处理是直接弃用。提示任何带密码的模型包先确认来源。模型训练成本很高正规发布方一定会在 README 里写明许可证和校验值。3. 本地部署和推理用 llama.cpp / Ollama 把模型跑起来从拆包结果看你大概率会面对两种模型格式Hugging Face transformers 的 safetensors或者 llama.cpp 量化后的 GGUF。很多中文法律模型压缩包会把两种都带上或者在 README 里说明哪个用于训练、哪个用于推理。选择运行时之前先确认包里的文件能喂给谁再决定装哪套环境。3.1 先选运行时Transformers、llama.cpp、Ollama 差在哪做本地部署ai大模型时最忌讳“看到一个 .gguf 就去找 transformers 代码”。GGUF 是为 llama.cpp 设计的单文件格式Transformers 现在虽然也能读 GGUF但不是主线路径。safetensors 也跑不进 llama.cpp除非先转换格式。运行时模型格式适合场景显存参考Transformers / vLLMsafetensors / bin微调、评估、高并发服务7B fp16 约 14GBllama.cppGGUF本地部署、CPU 推理Q4 量化 7B 约 5-6GBOllamaGGUFModelfile本地快速启动、API 接入同 GGUF略加开销如果你只是想在本地把模型跑起来不折腾训练直接走 llama.cpp 或 Ollama 是最快的。Ollama 更适合后续接入应用因为它自带openai兼容接口省去自己写 HTTP 服务的步骤。Transformers 路线更适合要微调或做精细评估的场景启动慢显存占用也高。3.2 用 llama.cpp 在本地跑最小命令llama.cpp 需要先编译或者从发布页下载预编译二进制。编译时如果不确定 GPU 环境先走纯 CPUgit clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPERelease cmake --build build --config Release -j 4有 NVIDIA GPU 时把第二行改成cmake -B build -DCMAKE_BUILD_TYPERelease -DLLAMA_CUBLASON然后继续编译。LLAMA_CUBLAS告诉构建系统启用 CUDA 后端用 AMD 卡可以换-DLLAMA_HIPBLASON。编译完成后会在build/bin下生成llama-cli旧版本里这个二进制叫main。然后运行推理./build/bin/llama-cli -m ../models/中文法律大模型.Q4_K_M.gguf \ --prompt 根据《民法典》规定违约金过高是否可以请求法院调整 \ -c 4096 -n 512 -t 8 -ngl 0 --temp 0.2-m指定 GGUF 模型路径-c 4096设置上下文窗口为 4096 token法律条文和用户问题拼在一起时上下文太小容易截断-n 512限制最大生成 512 token-t 8使用 8 个 CPU 线程-ngl 0表示不把任何层放到 GPU如果 GPU 显存足够改成-ngl 40会显著提速。--temp 0.2让回答更稳定法律场景不建议超过 0.3。3.3 关键推理参数上下文、并发、GPU 层数跑通一次之后把参数固定成一组“法律问答默认值”比每次手填更可靠。参数推荐值说明-c/--ctx-size4096 或 8192长法条 多轮对话需要更大上下文显存也会涨-n/--predict256-512法律回答通常不需要长篇大论-ngl0 或显存允许的最大层数7B 模型部分层卸载到 GPU 即可--temp0.2温度过高会产生不稳定表述--top-p0.8配合低温度降低幻觉概率如果你想用更简单的方式进入 ai大模型本地部署Ollama 可以把 GGUF 包成一个可管理模型。创建一个 ModelfileFROM ./中文法律大模型.Q4_K_M.gguf PARAMETER temperature 0.2 PARAMETER num_ctx 4096然后执行ollama create law -f Modelfile ollama run law。ollama create会把 GGUF 和参数固化为本地模型law后续调用统一用模型名即可。Ollama 的默认端口是 11434启动服务后可以直接用 HTTP 请求不会再把命令行当生产 API 用。4. 法律问答不只能靠原模型用 RAG 和提示词做领域适配模型本身可能记住了一些法律条文但它没有实时检索能力也没有办法保证引用的法条仍然有效。真正的中文法律大模型应用开发通常不会只靠基座模型硬答而是把“找法条”和“写回答”拆成两件事先用检索找到相关法律依据再让模型基于依据作答。4.1 为什么需要 RAG 和提示词法律问答和普通闲聊不一样用户要的是结论、依据和依据的准确表述。基座模型在训练时见过法律文本但很可能把旧版条文和新版条文混在一起或者把相似法条张冠李戴。RAG 的核心思路是把法律法规文档提前切段、向量化、存入检索库用户提问时先取回最相关的若干段落再把段落和问题一起送给大模型。这样做有两个直接好处第一回答可以追溯到具体法条第二当检索不到相关内容时模型更容易承认“无法确定”而不是硬编一段法律分析。对于本地部署的中文法律模型RAG 的成本低于重新微调效果提升却非常明显是性价比最高的领域适配方式。4.2 搭一个最小法律知识库检索用 Python LangChain FAISS 搭建本地知识库不需要 GPU 也能跑。先把法律法规文本准备好比如把《民法典》某个分编保存为民法典婚姻家庭编.txt然后运行from langchain_community.vectorstores import FAISS from langchain_huggingface import HuggingFaceEmbeddings from langchain_text_splitters import RecursiveCharacterTextSplitter with open(民法典婚姻家庭编.txt, encodingutf-8) as f: text f.read() splitter RecursiveCharacterTextSplitter( chunk_size800, chunk_overlap120, separators[\n\n, \n, 。, ] ) docs splitter.create_documents([text]) embeddings HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh-v1.5) db FAISS.from_documents(docs, embeddings) retriever db.as_retriever(search_kwargs{k: 3})chunk_size800控制每段法律文本长度避免一个分块内容过多、噪音变大chunk_overlap120让相邻块保留交界处的信息防止法条被从中间切断separators优先按中文段落和句子边界切分比纯按字符切更自然。k3表示每次取回 3 个段落法律问答里k太小可能漏掉关键法条太大又会让提示词过长。4.3 提示词模板与法条引用检索完成后把结果交给模型。Ollama 启动后自带 OpenAI 兼容接口可以直接用openai库调用from openai import OpenAI client OpenAI(base_urlhttp://localhost:11434/v1, api_keyollama) query 违约金过高是否可以请求调整 hits retriever.invoke(query) context \n.join(doc.page_content for doc in hits) resp client.chat.completions.create( modellaw, messages[ {role: user, content: ( 你是一名中文法律助手。请只依据下面的参考内容回答。\n 1. 先给出结论\n 2. 写明所依据的法条序号\n 3. 如果参考内容不足明确说“无法确定”。\n\n f参考内容\n{context}\n\n f用户问题{query} )} ], temperature0.2 ) print(resp.choices[0].message.content)base_url指向本地 Ollama 服务api_key填任意非空字符串即可。提示词里“只依据参考内容回答”是限制幻觉的关键要求“写明法条序号”是为了让用户后续可以复核“明确说无法确定”给了模型一个合法的兜底出口。RAG 检索出来的内容如果不进提示词那它只是做了一场检索表演没有任何落地意义。4.4 评估法律问答质量跑通之后一定要做一轮小规模评估。我一般会准备 20 条典型裁判问题覆盖违约金、离婚冷静期、劳动报酬、合同解除等场景然后人工判断以下四个指标指标判断方式事实准确率结论是否与现行法律规定一致引用命中率引用法条序号是否真实存在、是否适用拒答率无依据时是否承认无法确定稳定性同一问题多次回答是否一致人工看 20 条回答并不耗时却能把模型“看似专业实则乱讲”的问题暴露出来。评估结果比任何跑通输出都重要它会告诉你知识库分段要不要改、检索阈值要不要调、提示词模板哪里约束不够。5. 效果验证和再分发别把自己生成的模型包也变成坑法律问答模型交付前至少跑三个冒烟测试问题“违约金过高怎么办”“离婚冷静期是多久”“加班工资怎么计算”。每个问题都要人工检查三点结论是否合法、引用是否真实、语气是否克制。能用命令跑通推理很多但真正可交付的是“稳定输出可复核答案”的服务。5.1 用脚本做一次批量冒烟测试准备一个smoke_test.jsonl每行包含问题和期望回答关键词echo {question: 违约金过高怎么办, expect: [违约金, 适当减少]} | \ python -m json.tool把expect列表放在测试脚本里用简单字符串匹配检查输出是否包含核心关键词。这一步不追求语义判断只为了快速发现模型“完全跑偏”的回归问题。每次改完提示词或量化版本都把这个脚本重跑一遍。5.2 重新打包时的清单和哈希如果要继续分发这个中文法律大模型重新打包前一定清掉缓存和临时文件cd 中文法律大模型 zip -r ../中文法律大模型-v2.zip . \ -x *.git* -x __pycache__/* -x *.cache/* sha256sum ../中文法律大模型-v2.zip ../中文法律大模型-v2.zip.sha256-x参数排除 git 目录、pycache 和缓存文件避免把本地环境垃圾发给别人。打包完成后立刻生成 sha256 文件和压缩包放在一起发布。下一个接手的人不需要猜测这个包是不是被改动过也不需要花时间排查模型加载失败是不是因为文件损坏。最后把 README 一并更新至少写明基座模型来源、量化方式、许可证、运行环境版本和冒烟测试结果。一个带清晰说明和校验值的 zip会让后续所有 ai大模型应用开发顺畅得多。本文还有配套的精品资源点击获取