使用 Instructor 配合 OpenAI API Model Distillation 构建高效专属模型【免费下载链接】instructorstructured outputs for llms项目地址: https://gitcode.com/GitHub_Trending/in/instructorOpenAI 推出的 API Model DistillationAPI 模型蒸馏允许开发者基于更大模型的输入输出训练出更小、更专注且成本更低的定制模型。本文将以 openai-distilation-store.md 为核心讲解如何通过 Instructor 的结构化输出能力与storeTrue、metadata等参数透传机制无缝接入这一特性并结合仓库中的Instructions函数级蒸馏实现instructor/distil.py与 CLI 微调命令带你走通采集数据 → 构建数据集 → 微调 → 部署蒸馏模型的完整链路。读完本文你将能够在自己的应用中用几行代码为特定任务生成可复用、可验证的蒸馏模型。什么是 API Model DistillationAPI Model Distillation 是一种模型优化流程它基于一个大模型在某类任务上的输入 → 输出样本训练出一个更小、更聚焦的模型。这个蒸馏模型面向特定任务时可以在保持较高性能的同时显著降低推理延迟与调用成本非常适合那些请求模式高度重复、输入输出形态相对固定的业务场景例如用户信息抽取、意图分类、格式转换等。蒸馏的核心前提是数据你需要大量高质量的、针对该任务的真实调用样本。这正是 Instructor 与 API Model Distillation 的结合点——Instructor 让每一次 API 调用都产出结构化、可校验的结果同时把调用样本完整地留存到 OpenAI 的 Completions 控制台天然形成可用于蒸馏的训练语料。快速开始环境准备与基础客户端开始之前请确保安装了最新版的 OpenAI SDKstore等蒸馏相关参数依赖较新的 API 版本pip install -U openaiInstructor 通过from_provider统一初始化支持 OpenAI 兼容接口的客户端。下面的代码基于 OpenAI 的 Chat Completions 接口创建客户端import instructor from pydantic import BaseModel # 启用 response_model 结构化输出与 API Model Distillation client instructor.from_provider(openai/gpt-4o)在这里from_provider(openai/gpt-4o)会自动完成对 OpenAI 客户端的 patch使其create方法支持response_model参数。之后你传入的任意model字符串如示例中的gpt-5.4-mini以及蒸馏完成后生成的xxx:ft-...微调模型名都会被透传到底层 SDK。核心实操用 storeTrue 启用 API Model Distillation在 Instructor 中启用蒸馏极其简单只需在调用client.create时加入storeTrue。该参数会被 Instructor 原样透传给 OpenAI 的chat.completions.create从而把本次调用记录到 OpenAI 的 Completions 控制台作为蒸馏的数据来源。先定义一个 Pydantic 响应模型。Instructor 会把模型的字段、类型与默认校验逻辑转换为 JSON Schema 下发给模型并自动完成响应解析与校验class UserDetail(BaseModel): name: str age: int def introduce(self): return fHello, Im {self.name} and Im {self.age} years old # 使用 store 参数启用 API Model Distillation user: UserDetail client.create( modelgpt-5.4-mini, response_modelUserDetail, messages[ {role: user, content: Extract Jason is 25 years old}, ], storeTrue, # 启用 API Model Distillation )执行后user是一个已通过 Pydantic 校验的UserDetail实例可以直接访问user.name、user.age或调用user.introduce()得到Hello, Im Jason and Im 25 years old。与此同时这条带完整输入输出记录的调用被存入了 OpenAI 控制台供后续蒸馏使用。从源码结构看instructor/core/client.pyInstructor 的create是对底层 OpenAIchat.completions.create的包装除了response_model会被剥离出来用于 Schema 生成与响应解析外其余关键字参数如store、metadata都会被合并进底层调用——这也是为什么新增的 OpenAI 参数无需 Instructor 侧任何额外配置即可直接生效。Metadata 与 Proxy Kwargs向蒸馏语料注入业务标签Instructor 自动处理元数据并代理proxy透传底层 OpenAI API 支持的所有参数这是它配合蒸馏的一大优势——你无需额外配置即可使用 OpenAI API 的全部参数。例如为每次蒸馏数据打上任务来源标签user: UserDetail client.create( modelgpt-5.4-mini, response_modelUserDetail, messages[ {role: user, content: Extract Jason is 25 years old}, ], storeTrue, metadata{task: user_extraction, source: customer_support_chat}, )metadata参数会被自动透传给 OpenAI API。在 Completions 控制台里你可以依据task:user_extraction、source:customer_support_chat这类标签对调用记录进行筛选、组织和评估从而挑选出最适合蒸馏的数据子集——比如只蒸馏来自某个业务线、某类 prompt 模板的数据保证蒸馏模型的专注度。Completions Dashboard追踪与评估蒸馏数据如上图所示OpenAI 的 Completions 控制台为每条被store的调用都保留了完整档案左侧历史面板反复展示User: Extract Jason is 25 years old → Assistant: UserDetail({name:Jason,age:25})的稳定映射右侧详情面板则记录了 Completion ID、Request ID、模型名称、task:user_extraction/source:example_script标签、Token 消耗如 90 total81 input 9 output以及工具调用UserDetail的结构化参数。这张图完整呈现了 API Model Distillation 与 Instructor 协作时的数据流发起带结构化输出的初始请求Instructor 将 Pydantic 模型转换为工具调用Tool call约束确保模型以UserDetail的 JSON 形态返回结果携带 metadata 与附加参数metadata、store等参数随请求一并记录为数据筛选提供依据进入蒸馏流程控制台汇总这些高质量、结构一致的调用样本点击Distill即可生成专属模型得到更快更省的蒸馏模型蒸馏完成后把model替换为蒸馏模型名称即可获得延迟和成本均更优的同任务响应。这一可视化流程也说明了一个关键点Instructor 的贡献在于保证每次记录的结构一致性——如果原始输出是自由文本蒸馏数据会杂乱难用而结构化输出让样本天然规整显著提升蒸馏效果。从 store 到函数级蒸馏仓库中的完整闭环storeTrue负责把数据存下来而仓库还提供了另一套自成一体的蒸馏链路基于 Python 函数的蒸馏与微调。它位于 instructor/distil.py并作为Instructions、FinetuneFormat从 instructor/init.py 导出是本文所述能力的深度延伸。Instructions 与 FinetuneFormatInstructions类用于声明一次蒸馏任务的元信息关键参数包括name任务名称同时也是记录到日志中的函数标识finetune_format微调数据格式取值来自FinetuneFormat枚举——MESSAGES默认构造 OpenAI Chat Completions 格式的 messages function_call 数据或RAW记录函数元信息、参数与响应的简化格式log_handlers日志处理器列表用于把生成的微调数据写入文件、数据库等任意存储如logging.FileHandler(math_finetunes.jsonl)indentJSON 缩进include_code_body是否在数据中包含函数体源码openai_client自定义 OpenAI 客户端默认使用OpenAI()。从实现看instructor/distil.pyFinetuneFormat只有MESSAGES与RAW两个成员Instructions.distilinstructor/distil.py支持distil默认记录真实执行与dispatch用模型替代函数执行两种模式且会通过is_return_type_base_model_or_instanceinstructor/distil.py断言被装饰函数的返回类型必须是 PydanticBaseModel子类——这与响应模型约束一脉相承。完整示例三位数乘法蒸馏仓库中的 examples/distilations/three_digit_mul.py 演示了完整用法import logging import random from pydantic import BaseModel logging.basicConfig(levellogging.INFO) from instructor import Instructions, FinetuneFormat # pip install instructor instructions Instructions( namethree_digit_multiply, finetune_formatFinetuneFormat.MESSAGES, # 或 FinetuneFormat.RAW # log handler 用于把数据保存到文件也可以换成数据库等任意存储 log_handlers[logging.FileHandler(math_finetunes.jsonl)], ) class Multiply(BaseModel): a: int b: int result: int # 被装饰的函数必须返回 Pydantic 模型以复用函数调用function calling instructions.distil def fn(a: int, b: int) - Multiply: resp a * b return Multiply(aa, bb, resultresp) # 生成一批训练数据 for _ in range(10): random.seed(42) a random.randint(100, 999) b random.randint(100, 999) print(fn(a, b))每调用一次fntrack方法instructor/distil.py就会把函数签名 调用参数 返回结果记录到日志文件。MESSAGES格式生成 OpenAI 微调格式的样本含 system 提示Predict the results of this function: ...、user 调用、assistant 的function_call携带Multiply的 JSON 参数以及functions声明RAW格式则记录fn_name、fn_repr函数源码或签名、args、kwargs、response与schema适合自定义微调流水线的场景。提交微调任务并切换到 dispatch 模式数据集生成后可通过 Instructor 的 CLI 直接提交微调任务该命令来源于 docs/concepts/distillation.mdinstructor jobs create-from-file math_finetunes.jsonl模型训练完成后把装饰器的mode切换为dispatch并指定微调模型名即可用模型替代原函数执行见 examples/distilations/three_digit_mul_dispatch.py 与 instructor/distil.pyfrom instructor import Instructions from pydantic import BaseModel class Multiply(BaseModel): a: int b: int result: int instructions Instructions(namethree_digit_multiply) instructions.distil(modelgpt-4.1-mini:finetuned-123, modedispatch) def fn(a: int, b: int) - Multiply: # dispatch 模式下这段实现会被短路改由微调模型完成 resp a b return Multiply(aa, bb, resultresp)dispatch的实现会构造openai_kwargsinstructor/distil.py把函数签名写入 system 消息、把调用参数写入 user 消息然后调用chat.completions.create(model..., response_model...)。这意味着你的业务代码只需改动一行就能从本地函数无缝切换到微调模型非常适合做 A/B 对比与回归评估——用原函数作为基准验证蒸馏模型在同一批输入上的表现。使用 Instructor 配合蒸馏的核心收益结构化输出Instructor 依托 Pydantic 模型保证蒸馏模型产出的结果可解析、可校验杜绝脏数据污染下游极简集成Proxy kwargs 机制让你可以直接使用 OpenAI API 的全部参数store、metadata等无需任何额外适配层效率提升针对单一任务蒸馏出更小的模型可降低响应延迟与调用成本一致性蒸馏模型面向专门任务输出更稳定配合dispatch模式还能在函数与模型之间自由切换、持续迭代。结论API Model Distillation 与 Instructor 的结构化输出是天然的搭档前者提供小而专的模型后者保证数据与结果的结构一致性。通过storeTrue采集样本、metadata精细筛选再结合仓库自带的Instructions函数级蒸馏与instructor jobs create-from-file微调命令你可以快速构建出面向自身业务、兼具性能与性价比的专属模型。建议在实际项目中以先用大模型 storeTrue跑通结构化流程 → 在 Completions Dashboard 评估与筛选数据 → 蒸馏出小模型 → 用dispatch或替换model参数灰度上线的节奏推进并保留原始函数作为评估基准持续验证蒸馏质量。更多进阶用法可参考 docs/concepts/distillation.md、docs/cli/jobs.md 以及 examples/distilations 目录下的完整示例。【免费下载链接】instructorstructured outputs for llms项目地址: https://gitcode.com/GitHub_Trending/in/instructor创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 使用 Instructor 配合 OpenAI API Model Distillation 构建高效专属模型
使用 Instructor 配合 OpenAI API Model Distillation 构建高效专属模型【免费下载链接】instructorstructured outputs for llms项目地址: https://gitcode.com/GitHub_Trending/in/instructorOpenAI 推出的 API Model DistillationAPI 模型蒸馏允许开发者基于更大模型的输入输出训练出更小、更专注且成本更低的定制模型。本文将以 openai-distilation-store.md 为核心讲解如何通过 Instructor 的结构化输出能力与storeTrue、metadata等参数透传机制无缝接入这一特性并结合仓库中的Instructions函数级蒸馏实现instructor/distil.py与 CLI 微调命令带你走通采集数据 → 构建数据集 → 微调 → 部署蒸馏模型的完整链路。读完本文你将能够在自己的应用中用几行代码为特定任务生成可复用、可验证的蒸馏模型。什么是 API Model DistillationAPI Model Distillation 是一种模型优化流程它基于一个大模型在某类任务上的输入 → 输出样本训练出一个更小、更聚焦的模型。这个蒸馏模型面向特定任务时可以在保持较高性能的同时显著降低推理延迟与调用成本非常适合那些请求模式高度重复、输入输出形态相对固定的业务场景例如用户信息抽取、意图分类、格式转换等。蒸馏的核心前提是数据你需要大量高质量的、针对该任务的真实调用样本。这正是 Instructor 与 API Model Distillation 的结合点——Instructor 让每一次 API 调用都产出结构化、可校验的结果同时把调用样本完整地留存到 OpenAI 的 Completions 控制台天然形成可用于蒸馏的训练语料。快速开始环境准备与基础客户端开始之前请确保安装了最新版的 OpenAI SDKstore等蒸馏相关参数依赖较新的 API 版本pip install -U openaiInstructor 通过from_provider统一初始化支持 OpenAI 兼容接口的客户端。下面的代码基于 OpenAI 的 Chat Completions 接口创建客户端import instructor from pydantic import BaseModel # 启用 response_model 结构化输出与 API Model Distillation client instructor.from_provider(openai/gpt-4o)在这里from_provider(openai/gpt-4o)会自动完成对 OpenAI 客户端的 patch使其create方法支持response_model参数。之后你传入的任意model字符串如示例中的gpt-5.4-mini以及蒸馏完成后生成的xxx:ft-...微调模型名都会被透传到底层 SDK。核心实操用 storeTrue 启用 API Model Distillation在 Instructor 中启用蒸馏极其简单只需在调用client.create时加入storeTrue。该参数会被 Instructor 原样透传给 OpenAI 的chat.completions.create从而把本次调用记录到 OpenAI 的 Completions 控制台作为蒸馏的数据来源。先定义一个 Pydantic 响应模型。Instructor 会把模型的字段、类型与默认校验逻辑转换为 JSON Schema 下发给模型并自动完成响应解析与校验class UserDetail(BaseModel): name: str age: int def introduce(self): return fHello, Im {self.name} and Im {self.age} years old # 使用 store 参数启用 API Model Distillation user: UserDetail client.create( modelgpt-5.4-mini, response_modelUserDetail, messages[ {role: user, content: Extract Jason is 25 years old}, ], storeTrue, # 启用 API Model Distillation )执行后user是一个已通过 Pydantic 校验的UserDetail实例可以直接访问user.name、user.age或调用user.introduce()得到Hello, Im Jason and Im 25 years old。与此同时这条带完整输入输出记录的调用被存入了 OpenAI 控制台供后续蒸馏使用。从源码结构看instructor/core/client.pyInstructor 的create是对底层 OpenAIchat.completions.create的包装除了response_model会被剥离出来用于 Schema 生成与响应解析外其余关键字参数如store、metadata都会被合并进底层调用——这也是为什么新增的 OpenAI 参数无需 Instructor 侧任何额外配置即可直接生效。Metadata 与 Proxy Kwargs向蒸馏语料注入业务标签Instructor 自动处理元数据并代理proxy透传底层 OpenAI API 支持的所有参数这是它配合蒸馏的一大优势——你无需额外配置即可使用 OpenAI API 的全部参数。例如为每次蒸馏数据打上任务来源标签user: UserDetail client.create( modelgpt-5.4-mini, response_modelUserDetail, messages[ {role: user, content: Extract Jason is 25 years old}, ], storeTrue, metadata{task: user_extraction, source: customer_support_chat}, )metadata参数会被自动透传给 OpenAI API。在 Completions 控制台里你可以依据task:user_extraction、source:customer_support_chat这类标签对调用记录进行筛选、组织和评估从而挑选出最适合蒸馏的数据子集——比如只蒸馏来自某个业务线、某类 prompt 模板的数据保证蒸馏模型的专注度。Completions Dashboard追踪与评估蒸馏数据如上图所示OpenAI 的 Completions 控制台为每条被store的调用都保留了完整档案左侧历史面板反复展示User: Extract Jason is 25 years old → Assistant: UserDetail({name:Jason,age:25})的稳定映射右侧详情面板则记录了 Completion ID、Request ID、模型名称、task:user_extraction/source:example_script标签、Token 消耗如 90 total81 input 9 output以及工具调用UserDetail的结构化参数。这张图完整呈现了 API Model Distillation 与 Instructor 协作时的数据流发起带结构化输出的初始请求Instructor 将 Pydantic 模型转换为工具调用Tool call约束确保模型以UserDetail的 JSON 形态返回结果携带 metadata 与附加参数metadata、store等参数随请求一并记录为数据筛选提供依据进入蒸馏流程控制台汇总这些高质量、结构一致的调用样本点击Distill即可生成专属模型得到更快更省的蒸馏模型蒸馏完成后把model替换为蒸馏模型名称即可获得延迟和成本均更优的同任务响应。这一可视化流程也说明了一个关键点Instructor 的贡献在于保证每次记录的结构一致性——如果原始输出是自由文本蒸馏数据会杂乱难用而结构化输出让样本天然规整显著提升蒸馏效果。从 store 到函数级蒸馏仓库中的完整闭环storeTrue负责把数据存下来而仓库还提供了另一套自成一体的蒸馏链路基于 Python 函数的蒸馏与微调。它位于 instructor/distil.py并作为Instructions、FinetuneFormat从 instructor/init.py 导出是本文所述能力的深度延伸。Instructions 与 FinetuneFormatInstructions类用于声明一次蒸馏任务的元信息关键参数包括name任务名称同时也是记录到日志中的函数标识finetune_format微调数据格式取值来自FinetuneFormat枚举——MESSAGES默认构造 OpenAI Chat Completions 格式的 messages function_call 数据或RAW记录函数元信息、参数与响应的简化格式log_handlers日志处理器列表用于把生成的微调数据写入文件、数据库等任意存储如logging.FileHandler(math_finetunes.jsonl)indentJSON 缩进include_code_body是否在数据中包含函数体源码openai_client自定义 OpenAI 客户端默认使用OpenAI()。从实现看instructor/distil.pyFinetuneFormat只有MESSAGES与RAW两个成员Instructions.distilinstructor/distil.py支持distil默认记录真实执行与dispatch用模型替代函数执行两种模式且会通过is_return_type_base_model_or_instanceinstructor/distil.py断言被装饰函数的返回类型必须是 PydanticBaseModel子类——这与响应模型约束一脉相承。完整示例三位数乘法蒸馏仓库中的 examples/distilations/three_digit_mul.py 演示了完整用法import logging import random from pydantic import BaseModel logging.basicConfig(levellogging.INFO) from instructor import Instructions, FinetuneFormat # pip install instructor instructions Instructions( namethree_digit_multiply, finetune_formatFinetuneFormat.MESSAGES, # 或 FinetuneFormat.RAW # log handler 用于把数据保存到文件也可以换成数据库等任意存储 log_handlers[logging.FileHandler(math_finetunes.jsonl)], ) class Multiply(BaseModel): a: int b: int result: int # 被装饰的函数必须返回 Pydantic 模型以复用函数调用function calling instructions.distil def fn(a: int, b: int) - Multiply: resp a * b return Multiply(aa, bb, resultresp) # 生成一批训练数据 for _ in range(10): random.seed(42) a random.randint(100, 999) b random.randint(100, 999) print(fn(a, b))每调用一次fntrack方法instructor/distil.py就会把函数签名 调用参数 返回结果记录到日志文件。MESSAGES格式生成 OpenAI 微调格式的样本含 system 提示Predict the results of this function: ...、user 调用、assistant 的function_call携带Multiply的 JSON 参数以及functions声明RAW格式则记录fn_name、fn_repr函数源码或签名、args、kwargs、response与schema适合自定义微调流水线的场景。提交微调任务并切换到 dispatch 模式数据集生成后可通过 Instructor 的 CLI 直接提交微调任务该命令来源于 docs/concepts/distillation.mdinstructor jobs create-from-file math_finetunes.jsonl模型训练完成后把装饰器的mode切换为dispatch并指定微调模型名即可用模型替代原函数执行见 examples/distilations/three_digit_mul_dispatch.py 与 instructor/distil.pyfrom instructor import Instructions from pydantic import BaseModel class Multiply(BaseModel): a: int b: int result: int instructions Instructions(namethree_digit_multiply) instructions.distil(modelgpt-4.1-mini:finetuned-123, modedispatch) def fn(a: int, b: int) - Multiply: # dispatch 模式下这段实现会被短路改由微调模型完成 resp a b return Multiply(aa, bb, resultresp)dispatch的实现会构造openai_kwargsinstructor/distil.py把函数签名写入 system 消息、把调用参数写入 user 消息然后调用chat.completions.create(model..., response_model...)。这意味着你的业务代码只需改动一行就能从本地函数无缝切换到微调模型非常适合做 A/B 对比与回归评估——用原函数作为基准验证蒸馏模型在同一批输入上的表现。使用 Instructor 配合蒸馏的核心收益结构化输出Instructor 依托 Pydantic 模型保证蒸馏模型产出的结果可解析、可校验杜绝脏数据污染下游极简集成Proxy kwargs 机制让你可以直接使用 OpenAI API 的全部参数store、metadata等无需任何额外适配层效率提升针对单一任务蒸馏出更小的模型可降低响应延迟与调用成本一致性蒸馏模型面向专门任务输出更稳定配合dispatch模式还能在函数与模型之间自由切换、持续迭代。结论API Model Distillation 与 Instructor 的结构化输出是天然的搭档前者提供小而专的模型后者保证数据与结果的结构一致性。通过storeTrue采集样本、metadata精细筛选再结合仓库自带的Instructions函数级蒸馏与instructor jobs create-from-file微调命令你可以快速构建出面向自身业务、兼具性能与性价比的专属模型。建议在实际项目中以先用大模型 storeTrue跑通结构化流程 → 在 Completions Dashboard 评估与筛选数据 → 蒸馏出小模型 → 用dispatch或替换model参数灰度上线的节奏推进并保留原始函数作为评估基准持续验证蒸馏质量。更多进阶用法可参考 docs/concepts/distillation.md、docs/cli/jobs.md 以及 examples/distilations 目录下的完整示例。【免费下载链接】instructorstructured outputs for llms项目地址: https://gitcode.com/GitHub_Trending/in/instructor创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考