DeepEval 本地模型评测实战从本地 LLM 接入到 CI 回归的完整方案【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval合规审计要求评测语料不出内网云 API 的账单又随用例数逐月变厚把 LLM 评测搬回本地机器成了不少团队的现实选项。DeepEval 是一个面向 LLM 应用的评测框架支持把自托管模型接进指标计算本文给出一条可验证的 DeepEval 本地评测路径用 Ollama 起一个 7B 模型写一个十几行的适配器接入评测流程跑通指标、读懂报告最后挂进 CI 做回归形成一套完整的本地 LLM 测试方案。先看成品本地评测报告长什么样先明确目标你最终要产出的是一份能直接交出去的评测报告。跑完deepeval test run后报告会列出每条用例在各指标上的得分0–1 区间与通过/未通过判定失败的用例会附上裁判模型给出的理由相当于逐条指出模型在哪些点上失分、哪里可以改进结果缓存在本地可用deepeval view回看接入平台后则以 dashboard 形式集中展示各指标分布与历史对比。动手前判断与盘点结论先给本地化之前先算账别默认它对所有场景都划算。适合搬本地的情况数据合规评测集包含客户数据或敏感语料「模型评测数据不出域」是硬约束常见于金融、医疗、企业内部系统长期成本高频、大批量跑评测云端裁判的 token 费用随用例数线性增长本地模型部署后边际成本大幅下降离线环境内网、涉密或网络受控环境本地部署是可行路径之一留在云端更划算的情况快速验证只是验证一两个指标的效果跑一两次即可不值得投入硬件硬件有限没有 GPU 或显存低于 8GB7B 模型跑起来会很吃力对裁判精度要求高7B 级别的本地模型做复杂判定时不如云端旗舰稳定关键验收场景可混用资源参考区间值仅供规划不代表精确承诺部署档位代表方式7B–8B 显存参考单条推理耗时参考适用场景轻量档Ollama 1B–3B 量化模型4–8 GB1–4 秒CI 冒烟、快速验证量化档vLLM 或 Transformers 4bit/8bit6–12 GB2–6 秒日常批量评测全精度档GPU 跑 bf16/fp16 全精度16–24 GB1–4 秒对裁判稳定性要求最高最小可行路径20 分钟接上本地模型三条 H3 走完即可接入主例用 Ollama改造成本最低。安装与初始化一条命令完成pip install -U deepeval装完用deepeval --version确认命令可用即可它自带 pytest 集成不需要额外配置测试框架。启动本地模型ollama pull qwen2.5:7b-instruct ollama run qwen2.5:7b-instruct 只回复ok有正常回复即表示 11434 端口服务就绪想要更高吞吐可换 vLLM 以 OpenAI 兼容接口方式起服务。Hugging Face Transformers 直载 Llama-3 只是资源充足时的备选本文不展开。实现 DeepEval 适配器继承 DeepEvalBaseLLMimport ollama from deepeval.models import DeepEvalBaseLLM class LocalQwen(DeepEvalBaseLLM): def load_model(self): return ollama.Client() def generate(self, prompt): r self.load_model().chat(qwen2.5:7b-instruct, [{role: user, content: prompt}]) return r.message.content async def a_generate(self, prompt): return self.generate(prompt) def get_model_name(self): return qwen2.5:7b-instruct冒烟验证一句话先单独执行LocalQwen().generate(你好)能稳定返回字符串说明本地模型已接进评测流程。怎么测指标选择与分数解读先按业务场景挑指标再谈分数顺序不能反。业务场景推荐指标看什么回答是否扣题相关性AnswerRelevancyMetric回答与问题的相关度得分回答是否有据、有无幻觉事实性FaithfulnessMetric回答声明与参考资料的吻合程度输出是否有害、是否泄露隐私安全性ToxicityMetric、PIILeakageMetric毒性内容与 PII 泄露检测结构化输出格式格式正确性JsonCorrectnessMetric输出是否符合目标 JSON 结构是否保持设定人设RoleAdherenceMetric角色一致性与语气保持用例方面测试集不够用时可以用 deepeval 自带的ConversationSimulator自动批量生成多轮对话用例省去手工编写。分数统一在 0–1 区间默认通过阈值 0.5可按业务在构造指标时调整deepeval test run结束后控制台会打印汇总报告细节进本地缓存查看即可。把评测放进流水线CI/CD 集成评测的长期价值来自门禁而不是单次报告。触发时机选两个代码提交prompt、pipeline、检索逻辑变更和模型更新换底座、调量化参数、升级版本。做法是在 CI 的 yaml 里加一个评测 job用 pytest 风格的测试文件调用deepeval test run阈值不达标即 job 失败、阻断合并详见 CI/CD 单元评测文档。示例如下# test_llm_quality.py from deepeval import assert_test from deepeval.test_case import LLMTestCase from deepeval.metrics import FaithfulnessMetric def test_faithfulness(case, local_llm): tc LLMTestCase(inputcase[input], actual_outputcase[output]) assert_test(tc, metrics[FaithfulnessMetric(modellocal_llm)])出问题时的快速排查多数翻车集中在四类现象对号入座比翻源码快。现象可能原因解法推理明显偏慢全精度跑大模型或一次塞入用例过多换 4bit/8bit 量化或 1B–3B 模型用例分批、控制并发同一用例分数波动大temperature 未固定或裁判模型太小生成参数 temperature 设为 0裁判升到 7B 以上或多轮取均值评测中途因显存不足中断批次过大或模型规格超出显存减小批大小、降精度临时方案可加 swap长期建议升级档位裁判输出 JSON 不稳定开源模型受约束生成能力弱用 lm-format-enforcer 等做受约束解码强制 schema或换更稳的裁判模型收尾把本文压成三步行动清单 克隆仓库git clone https://gitcode.com/GitHub_Trending/de/deepeval 读官方文档快速开始 与 自定义 LLM 指南✅ 跑第一次 DeepEval 本地评测用 Ollama 7B 接两个指标deepeval test run跑一遍确认报告读得懂随着开源模型能力逼近闭源旗舰「本地模型当裁判」这条路的成本优势会持续放大DeepEval 的指标与追踪生态也在向 agentic、多模态场景扩展本地 DeepEval LLM 评测的覆盖面对新手会越来越友好。【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 DeepEval 本地模型评测实战：从本地 LLM 接入到 CI 回归的完整方案
DeepEval 本地模型评测实战从本地 LLM 接入到 CI 回归的完整方案【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval合规审计要求评测语料不出内网云 API 的账单又随用例数逐月变厚把 LLM 评测搬回本地机器成了不少团队的现实选项。DeepEval 是一个面向 LLM 应用的评测框架支持把自托管模型接进指标计算本文给出一条可验证的 DeepEval 本地评测路径用 Ollama 起一个 7B 模型写一个十几行的适配器接入评测流程跑通指标、读懂报告最后挂进 CI 做回归形成一套完整的本地 LLM 测试方案。先看成品本地评测报告长什么样先明确目标你最终要产出的是一份能直接交出去的评测报告。跑完deepeval test run后报告会列出每条用例在各指标上的得分0–1 区间与通过/未通过判定失败的用例会附上裁判模型给出的理由相当于逐条指出模型在哪些点上失分、哪里可以改进结果缓存在本地可用deepeval view回看接入平台后则以 dashboard 形式集中展示各指标分布与历史对比。动手前判断与盘点结论先给本地化之前先算账别默认它对所有场景都划算。适合搬本地的情况数据合规评测集包含客户数据或敏感语料「模型评测数据不出域」是硬约束常见于金融、医疗、企业内部系统长期成本高频、大批量跑评测云端裁判的 token 费用随用例数线性增长本地模型部署后边际成本大幅下降离线环境内网、涉密或网络受控环境本地部署是可行路径之一留在云端更划算的情况快速验证只是验证一两个指标的效果跑一两次即可不值得投入硬件硬件有限没有 GPU 或显存低于 8GB7B 模型跑起来会很吃力对裁判精度要求高7B 级别的本地模型做复杂判定时不如云端旗舰稳定关键验收场景可混用资源参考区间值仅供规划不代表精确承诺部署档位代表方式7B–8B 显存参考单条推理耗时参考适用场景轻量档Ollama 1B–3B 量化模型4–8 GB1–4 秒CI 冒烟、快速验证量化档vLLM 或 Transformers 4bit/8bit6–12 GB2–6 秒日常批量评测全精度档GPU 跑 bf16/fp16 全精度16–24 GB1–4 秒对裁判稳定性要求最高最小可行路径20 分钟接上本地模型三条 H3 走完即可接入主例用 Ollama改造成本最低。安装与初始化一条命令完成pip install -U deepeval装完用deepeval --version确认命令可用即可它自带 pytest 集成不需要额外配置测试框架。启动本地模型ollama pull qwen2.5:7b-instruct ollama run qwen2.5:7b-instruct 只回复ok有正常回复即表示 11434 端口服务就绪想要更高吞吐可换 vLLM 以 OpenAI 兼容接口方式起服务。Hugging Face Transformers 直载 Llama-3 只是资源充足时的备选本文不展开。实现 DeepEval 适配器继承 DeepEvalBaseLLMimport ollama from deepeval.models import DeepEvalBaseLLM class LocalQwen(DeepEvalBaseLLM): def load_model(self): return ollama.Client() def generate(self, prompt): r self.load_model().chat(qwen2.5:7b-instruct, [{role: user, content: prompt}]) return r.message.content async def a_generate(self, prompt): return self.generate(prompt) def get_model_name(self): return qwen2.5:7b-instruct冒烟验证一句话先单独执行LocalQwen().generate(你好)能稳定返回字符串说明本地模型已接进评测流程。怎么测指标选择与分数解读先按业务场景挑指标再谈分数顺序不能反。业务场景推荐指标看什么回答是否扣题相关性AnswerRelevancyMetric回答与问题的相关度得分回答是否有据、有无幻觉事实性FaithfulnessMetric回答声明与参考资料的吻合程度输出是否有害、是否泄露隐私安全性ToxicityMetric、PIILeakageMetric毒性内容与 PII 泄露检测结构化输出格式格式正确性JsonCorrectnessMetric输出是否符合目标 JSON 结构是否保持设定人设RoleAdherenceMetric角色一致性与语气保持用例方面测试集不够用时可以用 deepeval 自带的ConversationSimulator自动批量生成多轮对话用例省去手工编写。分数统一在 0–1 区间默认通过阈值 0.5可按业务在构造指标时调整deepeval test run结束后控制台会打印汇总报告细节进本地缓存查看即可。把评测放进流水线CI/CD 集成评测的长期价值来自门禁而不是单次报告。触发时机选两个代码提交prompt、pipeline、检索逻辑变更和模型更新换底座、调量化参数、升级版本。做法是在 CI 的 yaml 里加一个评测 job用 pytest 风格的测试文件调用deepeval test run阈值不达标即 job 失败、阻断合并详见 CI/CD 单元评测文档。示例如下# test_llm_quality.py from deepeval import assert_test from deepeval.test_case import LLMTestCase from deepeval.metrics import FaithfulnessMetric def test_faithfulness(case, local_llm): tc LLMTestCase(inputcase[input], actual_outputcase[output]) assert_test(tc, metrics[FaithfulnessMetric(modellocal_llm)])出问题时的快速排查多数翻车集中在四类现象对号入座比翻源码快。现象可能原因解法推理明显偏慢全精度跑大模型或一次塞入用例过多换 4bit/8bit 量化或 1B–3B 模型用例分批、控制并发同一用例分数波动大temperature 未固定或裁判模型太小生成参数 temperature 设为 0裁判升到 7B 以上或多轮取均值评测中途因显存不足中断批次过大或模型规格超出显存减小批大小、降精度临时方案可加 swap长期建议升级档位裁判输出 JSON 不稳定开源模型受约束生成能力弱用 lm-format-enforcer 等做受约束解码强制 schema或换更稳的裁判模型收尾把本文压成三步行动清单 克隆仓库git clone https://gitcode.com/GitHub_Trending/de/deepeval 读官方文档快速开始 与 自定义 LLM 指南✅ 跑第一次 DeepEval 本地评测用 Ollama 7B 接两个指标deepeval test run跑一遍确认报告读得懂随着开源模型能力逼近闭源旗舰「本地模型当裁判」这条路的成本优势会持续放大DeepEval 的指标与追踪生态也在向 agentic、多模态场景扩展本地 DeepEval LLM 评测的覆盖面对新手会越来越友好。【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考