MTPLX 并发调度详解:serial、ar_batch、mtp_batch 与 hyper 模式选择完整指南【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 是一款在 Apple Silicon 上运行 Qwen 3.8、Bonsai 2 等大模型的高性能本地推理引擎,其内置的并发调度器(serial、ar_batch、mtp_batch、hyper 四种模式)决定了多个请求如何共享 GPU 算力。本文将带你从零理解这四种调度模式的工作原理与取舍,帮助你为自己的使用场景选到最快的那一个。为什么 MTPLX 需要并发调度?当你把 OpenCode、Cursor 等 AI 编程工具指向本地 MTPLX 服务时,经常会同时发出多个请求(比如主对话 后台子任务)。服务器必须决定:这些请求是排队逐个执行,还是合并成一个批量运算?MTPLX 的设计原则是:模型执行始终跑在同一个 owner 线程上,由调度器决定请求是独行还是拼车。即使请求共享了同一个批量缓冲区,每个请求依然拥有完全独立的上下文:提示词与已生成 tokenKV 缓存与递归状态采样器设置与随机数种子token 预算、停止状态与输出流这套所有权契约保证了拼车不会串车——任何请求都无法读取或改动别人的上下文。核心实现在 mtplx/batching/ 目录中,scheduler.py 定义了调度配置,state.py 枚举了全部调度模式。四种模式速览模式一句话理解适合谁serial一次只跑一个请求,默认模式单人单对话,追求最简单稳定ar_batch多个请求的自回归解码合并成批后端支持普通 AR 批量解码时mtp_batch多个请求共用一条原生 MTP 投机解码通道多请求高吞吐,MTP 模型首选hyper对外只服务 1 个请求,但把批量宽度全留给自己的投机分支追求单请求极限速度⚠️ 模式名是通用的:它不定义批宽、投机深度或数值策略,这些由具体模型后端在加载时自行校验决定。serial:默认模式,简单可靠serial是 MTPLX 的默认调度模式:请求按到达顺序逐个走后端的标准生成路径,不拼批、不等待。它的优势在于可预测——每个请求独享全部算力,延迟行为最简单,也是hyper模式的排队语义基准。缺点是:当两个长请求同时到来时,后到的只能干等。如果你的使用场景是一个人、一个对话窗口,serial就是最合适的选择,无需任何额外配置。ar_batch:批量自回归解码ar_batch模式会把多个兼容请求的目标模型自回归解码合并到一个批中执行。对于解码这种访存受限的操作,批量执行通常比串行执行更高效。它适用于后端支持普通 AR 批量解码、但未安装 MTP 投机通道的场景。注意两点:它只做目标解码批量,不涉及投机草稿;是否可用取决于模型后端声明的路由能力——不兼容的组合会在加载时明确报错,而不是悄悄降级。mtp_batch:让 MTP 投机解码共享通道这是 MTPLX 并发能力最有看头的模式。以 Qwen 3.6 35B A3B 为例(详见 qwen35b-mtp-batch.md):1 个请求:走不变的单机 B1 MTP 通道,单请求零损耗;2–3 个请求:封入原生 B3 通道,避免用 B8 图跑 3 个请求时 5 个空位行白白消耗算力;4–8 个请求:封入 B8 通道。每一行请求共享同一次定形前向传播(lockstep 执行),但验收、修正采样和提交决策逐行独立——这正是共享调度,不共享上下文的含义。实测数据很有说服力:在throughput数值档位下,聚合吞吐达到349 TPS,而更保守的balanced档位为 259 TPS。三种数值档位供选择:档位执行方式精度契约throughput(默认)固定 B8 目标 B8 草稿允许有界的 BF16 几何漂移balancedB8 调度,关键投影用 B1 算术更接近 B1,但非逐位精确b1-exact每个请求串行走 B1 实现与 B1 完全一致的 token 行为该通道路线是fail-closed的:模型、几何、缓存布局任何一项不满足,加载时直接失败,绝不把并发请求偷偷改成 AR 或换用别的 kernel。hyper:把批量宽度全部押在单个请求上hyper是四个模式中最容易误解的一个——它本质不是并发模式:对外准入固定为 1,同时到达的其余请求按 FIFO 排队,语义与serial完全一致。它真正的区别在于宽度用在哪:批量行里装的不是第二个客户端,而是同一个请求自己生成的投机分支。在当前的单例底盘上,请求走的是未经改动的 serial 生成路径:单机 MTP oracle、分页 KV 缓存、编译验证 bank,没有 padding、没有 gather 窗口。因此服务启动时会拒绝与并发冲突的参数:--max-active-requests、--decode-batch-max、正的--batch-wait-ms以及agent/throughput预设。健康检查中scheduler.hyper字段会报告准入上限、队列深度与宽度回执。一句话记忆:mtp_batch用宽度服务更多请求,hyper用宽度服务同一个请求。如何为你的场景选型你的场景推荐模式理由单人单对话、追求稳定serial默认模式,无额外参数,行为最简单多任务并发,模型无 MTPar_batch批量解码提升聚合吞吐多个 AI 工具同时打一个 MTP 模型mtp_batch2–8 路真实并发,吞吐最高单请求极限速度(如深度 agent 长生成)hyper宽度全给投机分支,延迟最优选型口诀:要并行→mtp_batch要单请求快→hyper图省心→serial一键配置与验证并发是否真的发生调度模式属于构造期设置,修改后需要重启服务。临时指定:mtplx serve --model 模型名 --scheduler-mode mtp_batch或持久化保存(命令行参数会覆盖本次启动的保存值):mtplx config set scheduler_mode mtp_batch mtplx config show --json配置成功不等于并发真正发生。用健康接口验证实际执行:curl -s http://127.0.0.1:8000/health | jq .scheduler关键判据:发送过并发请求后,telemetry.last_real_width落在 2–8 之间、batch_histogram出现8:1之类的记录,才证明真实的多行 cohort 跑过了——只看配置的 mode 值是不够的。也可以打开内置仪表盘(mtplx dashboard)实时观察请求队列与吞吐曲线,相关观测字段说明见 concurrency.md。写在最后MTPLX 的并发调度把快分成了两个方向:横向的mtp_batch让多个请求一起跑,纵向的hyper让单个请求跑得更快。理解每种模式宽度用在哪里,你就能在延迟与吞吐之间做出不后悔的选择。更多模型专属的调度契约(批宽、深度、数值档位、基准回执)可查阅 docs/concurrency/ 下对应后端的实施指南。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MTPLX 并发调度详解:serial、ar_batch、mtp_batch 与 hyper 模式选择完整指南
MTPLX 并发调度详解:serial、ar_batch、mtp_batch 与 hyper 模式选择完整指南【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 是一款在 Apple Silicon 上运行 Qwen 3.8、Bonsai 2 等大模型的高性能本地推理引擎,其内置的并发调度器(serial、ar_batch、mtp_batch、hyper 四种模式)决定了多个请求如何共享 GPU 算力。本文将带你从零理解这四种调度模式的工作原理与取舍,帮助你为自己的使用场景选到最快的那一个。为什么 MTPLX 需要并发调度?当你把 OpenCode、Cursor 等 AI 编程工具指向本地 MTPLX 服务时,经常会同时发出多个请求(比如主对话 后台子任务)。服务器必须决定:这些请求是排队逐个执行,还是合并成一个批量运算?MTPLX 的设计原则是:模型执行始终跑在同一个 owner 线程上,由调度器决定请求是独行还是拼车。即使请求共享了同一个批量缓冲区,每个请求依然拥有完全独立的上下文:提示词与已生成 tokenKV 缓存与递归状态采样器设置与随机数种子token 预算、停止状态与输出流这套所有权契约保证了拼车不会串车——任何请求都无法读取或改动别人的上下文。核心实现在 mtplx/batching/ 目录中,scheduler.py 定义了调度配置,state.py 枚举了全部调度模式。四种模式速览模式一句话理解适合谁serial一次只跑一个请求,默认模式单人单对话,追求最简单稳定ar_batch多个请求的自回归解码合并成批后端支持普通 AR 批量解码时mtp_batch多个请求共用一条原生 MTP 投机解码通道多请求高吞吐,MTP 模型首选hyper对外只服务 1 个请求,但把批量宽度全留给自己的投机分支追求单请求极限速度⚠️ 模式名是通用的:它不定义批宽、投机深度或数值策略,这些由具体模型后端在加载时自行校验决定。serial:默认模式,简单可靠serial是 MTPLX 的默认调度模式:请求按到达顺序逐个走后端的标准生成路径,不拼批、不等待。它的优势在于可预测——每个请求独享全部算力,延迟行为最简单,也是hyper模式的排队语义基准。缺点是:当两个长请求同时到来时,后到的只能干等。如果你的使用场景是一个人、一个对话窗口,serial就是最合适的选择,无需任何额外配置。ar_batch:批量自回归解码ar_batch模式会把多个兼容请求的目标模型自回归解码合并到一个批中执行。对于解码这种访存受限的操作,批量执行通常比串行执行更高效。它适用于后端支持普通 AR 批量解码、但未安装 MTP 投机通道的场景。注意两点:它只做目标解码批量,不涉及投机草稿;是否可用取决于模型后端声明的路由能力——不兼容的组合会在加载时明确报错,而不是悄悄降级。mtp_batch:让 MTP 投机解码共享通道这是 MTPLX 并发能力最有看头的模式。以 Qwen 3.6 35B A3B 为例(详见 qwen35b-mtp-batch.md):1 个请求:走不变的单机 B1 MTP 通道,单请求零损耗;2–3 个请求:封入原生 B3 通道,避免用 B8 图跑 3 个请求时 5 个空位行白白消耗算力;4–8 个请求:封入 B8 通道。每一行请求共享同一次定形前向传播(lockstep 执行),但验收、修正采样和提交决策逐行独立——这正是共享调度,不共享上下文的含义。实测数据很有说服力:在throughput数值档位下,聚合吞吐达到349 TPS,而更保守的balanced档位为 259 TPS。三种数值档位供选择:档位执行方式精度契约throughput(默认)固定 B8 目标 B8 草稿允许有界的 BF16 几何漂移balancedB8 调度,关键投影用 B1 算术更接近 B1,但非逐位精确b1-exact每个请求串行走 B1 实现与 B1 完全一致的 token 行为该通道路线是fail-closed的:模型、几何、缓存布局任何一项不满足,加载时直接失败,绝不把并发请求偷偷改成 AR 或换用别的 kernel。hyper:把批量宽度全部押在单个请求上hyper是四个模式中最容易误解的一个——它本质不是并发模式:对外准入固定为 1,同时到达的其余请求按 FIFO 排队,语义与serial完全一致。它真正的区别在于宽度用在哪:批量行里装的不是第二个客户端,而是同一个请求自己生成的投机分支。在当前的单例底盘上,请求走的是未经改动的 serial 生成路径:单机 MTP oracle、分页 KV 缓存、编译验证 bank,没有 padding、没有 gather 窗口。因此服务启动时会拒绝与并发冲突的参数:--max-active-requests、--decode-batch-max、正的--batch-wait-ms以及agent/throughput预设。健康检查中scheduler.hyper字段会报告准入上限、队列深度与宽度回执。一句话记忆:mtp_batch用宽度服务更多请求,hyper用宽度服务同一个请求。如何为你的场景选型你的场景推荐模式理由单人单对话、追求稳定serial默认模式,无额外参数,行为最简单多任务并发,模型无 MTPar_batch批量解码提升聚合吞吐多个 AI 工具同时打一个 MTP 模型mtp_batch2–8 路真实并发,吞吐最高单请求极限速度(如深度 agent 长生成)hyper宽度全给投机分支,延迟最优选型口诀:要并行→mtp_batch要单请求快→hyper图省心→serial一键配置与验证并发是否真的发生调度模式属于构造期设置,修改后需要重启服务。临时指定:mtplx serve --model 模型名 --scheduler-mode mtp_batch或持久化保存(命令行参数会覆盖本次启动的保存值):mtplx config set scheduler_mode mtp_batch mtplx config show --json配置成功不等于并发真正发生。用健康接口验证实际执行:curl -s http://127.0.0.1:8000/health | jq .scheduler关键判据:发送过并发请求后,telemetry.last_real_width落在 2–8 之间、batch_histogram出现8:1之类的记录,才证明真实的多行 cohort 跑过了——只看配置的 mode 值是不够的。也可以打开内置仪表盘(mtplx dashboard)实时观察请求队列与吞吐曲线,相关观测字段说明见 concurrency.md。写在最后MTPLX 的并发调度把快分成了两个方向:横向的mtp_batch让多个请求一起跑,纵向的hyper让单个请求跑得更快。理解每种模式宽度用在哪里,你就能在延迟与吞吐之间做出不后悔的选择。更多模型专属的调度契约(批宽、深度、数值档位、基准回执)可查阅 docs/concurrency/ 下对应后端的实施指南。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考