mtplx tune 深度解析:MTPLX 如何自动测量并锁定最适合你的 MTP 解码深度【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX是 Apple Silicon 上运行 Qwen 3.8 Flash Next、Bonsai 2 等模型最快的推理引擎,而mtplx tune是它的测速管家:一条命令,在你的 Mac 上逐档实测自动回归解码(AR)与 MTP 解码深度(D1/D2/D3…D8)的真实 tok/s,把最快的那个写进本地配置,之后每次启动直接沿用——深度不再靠猜,靠测。先搞懂:MTP 解码深度为什么不是越深越好MTP(多 token 预测)是一种原生推测解码:模型每步先猜若干后续 token,再由主模型一次性验证,猜中多少步就省多少时间。这个每步猜几步就是解码深度(depth)。直觉上深度越深加速越狠,但现实是:深度越深,草稿侧要编译的 kernel 形状越多、验证开销越大;猜得越远,命中率越低,被拒 token 的回滚修复时间会吃掉加速收益;同样的模型,在 M5 Max 和 Mac mini 上的最优深度可能完全不同。这也是 MTPLX 的默认策略保守的原因:Qwen 系列包默认深度 3,Bonsai 默认深度 1(见 README.md)。那你的机器到底该用几?——让mtplx tune用数据回答。mtplx tune 的测量流程:隔离候选 预热 逐档计时mtplx tune的核心实现在 mtplx/commands/public.py,它的工作方式可以概括为四步:解析模型与支持检查—— 确认该模型家族支持调优(不同家族的候选档位不同,如 Gemma 系测 draft block 2–8);隔离候选,逐档实测—— 终端会打印running isolated candidates: ar, 1, 2, 3。每个候选(纯 AR 基线 各深度 MTP)在独立进程中运行,避免互相污染;JIT 预热,不计时—— 每个新进程首跑都要付模型加载与 kernel 编译成本,且深度越深编译形状越多。若不预热,深档位会被系统性测低。因此每个候选先用MTPLX_TUNE_WARM_TOKENS(默认 48 个 token)跑一遍预热,该窗口不计入任何计时,逻辑见 mtplx/benchmarks/runners/mtp_depth_sweep.py;汇总判决—— 对比各档的 tok/s、相对 AR 的加速比(speedup_vs_ar)以及逐深度的草稿命中率(accepted_by_depth),选出胜者。测量期间风扇默认保持自动;如果加--max参数,MTPLX 会通过 mtplx/thermal.py 把风扇锁定到最大以获得最干净的计时,结束后自动恢复——而且只有在明确要求时才锁扇,普通mtplx tune绝不越权。关键机制:测完如何锁定最优深度这是新手最关心也最容易误解的部分:最优深度不是全局的,而是绑定到你这台机器的环境的。测量结果保存到~/.mtplx/tuning.json,写入逻辑见 mtplx/commands/public.py;每条记录带一个state key:由硬件型号、软件环境、MLX 后端、模型与性能配置共同构造,保存端和读取端共用同一个构造器,确保查到的就是存的那条(见 apps/MTPLXApp/Sources/MTPLXAppCore/Onboarding/AutoTuner.swift);再次运行mtplx tune时,若 state key 命中缓存,直接返回上次结果并标注from_cache: true,不会重复测量;加--retune则无视缓存强制重测,适合换了模型版本、升级了系统之后;一个细节体现了严谨性:如果重测发现没有任何 MTP 深度跑赢 AR,MTPLX 会主动清掉旧的胜者记录——避免一条被 GPU 争抢污染过的缓存永远回放(mtplx/commands/public.py)。快速上手:三种用法命令行(最常用):mtplx tune --retune # 在你的 Mac 上实测 AR vs D1/D2/D3 并保存胜者指定模型:mtplx tune --model model-or-path --retune桌面 App 自动调优:MTPLX App 的 Onboarding 向导中内置 Tune 步骤,后台调用同一条 tune 流水线并逐候选展示实时 tok/s,你无需任何命令行操作。相关源码:apps/MTPLXApp/Sources/MTPLXAppHost/Views/Onboarding/Steps/TuneStep.swift。Forge 构建流水线:Forge 的 Verify 阶段内部也会 shell 出mtplx tune --retune,保证发布质量包在每档深度上都有实测数据,契约见 docs/FORGE_BACKEND_CONTRACT.md。调优小建议:运行前关掉重型应用(终端会提示 close heavy apps now for cleaner results);追求最干净的对比可加--max锁扇,但会略吵。读懂结果:tune.json 与仪表盘每次运行会在outputs/cli/tune/run-id/tune.json落盘完整报告,关键字段:字段含义best/best_multiplier胜出候选及其对 AR 的加速倍数tok_s/decode_tok_s各档总速 / 纯解码速度accepted_by_depth逐深度草稿命中数,命中率越高越划算speed_model拆解 repair/verify/draft 耗时,给出理想无修复速率上界saved/state_path结果是否已锁定到本地配置锁定后的效果会直接体现在 App 仪表盘的 decode 表盘和 Live 页签上——数字就是mtplx tune在你这台机器上实测并固化下来的成绩。底层 kernel 层面,各深度的计算分布还能通过 census 报告进一步审计,例如 docs/perf/qwen27b-gdn/q27b-census-both-arms.png 展示了不同深度下 compute/copy/fill 类 kernel 的调用构成:小结mtplx tune的设计哲学可以浓缩为三句话:候选隔离 JIT 预热,保证每档测到的都是真实速度而非编译速度;state key 绑定环境,最优深度锁定在你的机器上,而不是照搬别人的配置;失败即清档,测不过 AR 就撤销 MTP,绝不带病上线。装上 MTPLX 之后,跑一条mtplx tune --retune,让最懂你硬件的,是你自己的硬件。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 mtplx tune 深度解析:MTPLX 如何自动测量并锁定最适合你的 MTP 解码深度
mtplx tune 深度解析:MTPLX 如何自动测量并锁定最适合你的 MTP 解码深度【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX是 Apple Silicon 上运行 Qwen 3.8 Flash Next、Bonsai 2 等模型最快的推理引擎,而mtplx tune是它的测速管家:一条命令,在你的 Mac 上逐档实测自动回归解码(AR)与 MTP 解码深度(D1/D2/D3…D8)的真实 tok/s,把最快的那个写进本地配置,之后每次启动直接沿用——深度不再靠猜,靠测。先搞懂:MTP 解码深度为什么不是越深越好MTP(多 token 预测)是一种原生推测解码:模型每步先猜若干后续 token,再由主模型一次性验证,猜中多少步就省多少时间。这个每步猜几步就是解码深度(depth)。直觉上深度越深加速越狠,但现实是:深度越深,草稿侧要编译的 kernel 形状越多、验证开销越大;猜得越远,命中率越低,被拒 token 的回滚修复时间会吃掉加速收益;同样的模型,在 M5 Max 和 Mac mini 上的最优深度可能完全不同。这也是 MTPLX 的默认策略保守的原因:Qwen 系列包默认深度 3,Bonsai 默认深度 1(见 README.md)。那你的机器到底该用几?——让mtplx tune用数据回答。mtplx tune 的测量流程:隔离候选 预热 逐档计时mtplx tune的核心实现在 mtplx/commands/public.py,它的工作方式可以概括为四步:解析模型与支持检查—— 确认该模型家族支持调优(不同家族的候选档位不同,如 Gemma 系测 draft block 2–8);隔离候选,逐档实测—— 终端会打印running isolated candidates: ar, 1, 2, 3。每个候选(纯 AR 基线 各深度 MTP)在独立进程中运行,避免互相污染;JIT 预热,不计时—— 每个新进程首跑都要付模型加载与 kernel 编译成本,且深度越深编译形状越多。若不预热,深档位会被系统性测低。因此每个候选先用MTPLX_TUNE_WARM_TOKENS(默认 48 个 token)跑一遍预热,该窗口不计入任何计时,逻辑见 mtplx/benchmarks/runners/mtp_depth_sweep.py;汇总判决—— 对比各档的 tok/s、相对 AR 的加速比(speedup_vs_ar)以及逐深度的草稿命中率(accepted_by_depth),选出胜者。测量期间风扇默认保持自动;如果加--max参数,MTPLX 会通过 mtplx/thermal.py 把风扇锁定到最大以获得最干净的计时,结束后自动恢复——而且只有在明确要求时才锁扇,普通mtplx tune绝不越权。关键机制:测完如何锁定最优深度这是新手最关心也最容易误解的部分:最优深度不是全局的,而是绑定到你这台机器的环境的。测量结果保存到~/.mtplx/tuning.json,写入逻辑见 mtplx/commands/public.py;每条记录带一个state key:由硬件型号、软件环境、MLX 后端、模型与性能配置共同构造,保存端和读取端共用同一个构造器,确保查到的就是存的那条(见 apps/MTPLXApp/Sources/MTPLXAppCore/Onboarding/AutoTuner.swift);再次运行mtplx tune时,若 state key 命中缓存,直接返回上次结果并标注from_cache: true,不会重复测量;加--retune则无视缓存强制重测,适合换了模型版本、升级了系统之后;一个细节体现了严谨性:如果重测发现没有任何 MTP 深度跑赢 AR,MTPLX 会主动清掉旧的胜者记录——避免一条被 GPU 争抢污染过的缓存永远回放(mtplx/commands/public.py)。快速上手:三种用法命令行(最常用):mtplx tune --retune # 在你的 Mac 上实测 AR vs D1/D2/D3 并保存胜者指定模型:mtplx tune --model model-or-path --retune桌面 App 自动调优:MTPLX App 的 Onboarding 向导中内置 Tune 步骤,后台调用同一条 tune 流水线并逐候选展示实时 tok/s,你无需任何命令行操作。相关源码:apps/MTPLXApp/Sources/MTPLXAppHost/Views/Onboarding/Steps/TuneStep.swift。Forge 构建流水线:Forge 的 Verify 阶段内部也会 shell 出mtplx tune --retune,保证发布质量包在每档深度上都有实测数据,契约见 docs/FORGE_BACKEND_CONTRACT.md。调优小建议:运行前关掉重型应用(终端会提示 close heavy apps now for cleaner results);追求最干净的对比可加--max锁扇,但会略吵。读懂结果:tune.json 与仪表盘每次运行会在outputs/cli/tune/run-id/tune.json落盘完整报告,关键字段:字段含义best/best_multiplier胜出候选及其对 AR 的加速倍数tok_s/decode_tok_s各档总速 / 纯解码速度accepted_by_depth逐深度草稿命中数,命中率越高越划算speed_model拆解 repair/verify/draft 耗时,给出理想无修复速率上界saved/state_path结果是否已锁定到本地配置锁定后的效果会直接体现在 App 仪表盘的 decode 表盘和 Live 页签上——数字就是mtplx tune在你这台机器上实测并固化下来的成绩。底层 kernel 层面,各深度的计算分布还能通过 census 报告进一步审计,例如 docs/perf/qwen27b-gdn/q27b-census-both-arms.png 展示了不同深度下 compute/copy/fill 类 kernel 的调用构成:小结mtplx tune的设计哲学可以浓缩为三句话:候选隔离 JIT 预热,保证每档测到的都是真实速度而非编译速度;state key 绑定环境,最优深度锁定在你的机器上,而不是照搬别人的配置;失败即清档,测不过 AR 就撤销 MTP,绝不带病上线。装上 MTPLX 之后,跑一条mtplx tune --retune,让最懂你硬件的,是你自己的硬件。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考