1. 为什么你的 vLLM 服务总是“一上量就崩”如果你已经在本地把 vLLM 跑起来过大概率经历过这样的场景单条请求测试时首 token 延迟只有两三百毫秒感觉性能不错可一旦并发数上到几十整个服务就像被掐住脖子TTFT 直接飙到几秒甚至十几秒GPU 利用率却卡在 40% 上下晃悠。这不是你的显卡不行而是 Prefill 和 Decode 这两个阶段在打架。vLLM 推理引擎的核心价值就是把大模型推理拆成 Prefill预填充和 Decode解码两个本质不同的阶段来分别优化。Prefill 阶段一次性处理整段 prompt计算复杂度随输入长度平方增长是典型的计算密集型任务Decode 阶段每次只生成一个 token但要反复读取 KV Cache是典型的显存带宽密集型任务。两者混在同一个批次里跑计算单元和显存带宽互相抢资源结果就是谁都没跑满。这篇文章面向的是已经准备把 vLLM 推上生产环境、或者正在被并发吞吐问题困扰的工程师。我会从 Prefill/Decode 分离、PagedAttention、连续批处理这三个机制讲清楚它们到底解决了什么问题然后给出可直接复制的config.toml与settings.json配置骨架、启动参数模板最后用 TaoToken 统一 API 通道把多模型服务接进来配合压测动作和指标对比方法让你能自己验证调优效果。整套流程我都在实际环境里跑过参数含义和踩坑点会一并说明。2. 先把 TaoToken 通道准备好统一 Key 与 API 入口在讲 vLLM 部署之前先解决一个生产环境绕不开的问题你不可能只部署一个模型。线上往往同时跑着 7B 的轻量对话模型、32B 的代码补全模型、还有 70B 的复杂推理模型每个模型一套地址、一套鉴权客户端代码里全是硬编码的 endpoint改一次配置要发一次版。TaoToken 的作用就是把这些模型服务收敛到一个统一的 API 通道后面客户端只认一个 Key、一个 Base URL。你需要先拿到一个可用的 API Key。访问控制台地址https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite在 API Keys 页面创建一个新 Key。建议按环境拆分比如prod-vllm-cluster和staging-vllm-cluster各一个方便后续按 Key 维度做用量统计和限流。创建完成后把 Key 复制出来它只会完整显示一次。拿到 Key 之后统一入口的 Base URL 是https://taotoken.net/api。这个地址后面会同时用于 vLLM 自建服务的代理转发以及调用托管模型做效果对比。如果你需要查看完整的接入参数说明接入文档在https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite里面有各语言 SDK 的示例和字段定义。这里要强调一点TaoToken 在这里扮演的是统一网关角色负责鉴权、路由和用量统计不改变 vLLM 本身的推理逻辑。你的 vLLM 实例还是跑在自己的 GPU 机器上TaoToken 只是让客户端不用关心后端到底有几个模型、分别在哪台机器上。这种分层在生产环境里非常关键后面做灰度发布和模型切换时你会感谢这个设计。3. 可复制的 vLLM 配置骨架与启动参数模板3.1 config.toml服务级配置骨架vLLM 本身通过命令行参数启动但生产环境里参数往往有几十个散落在启动脚本里很难维护。我的做法是用一个config.toml集中管理再用启动脚本读取后拼成命令行。下面这份骨架可以直接拿去改# config.toml - vLLM 生产服务配置骨架 [server] host 0.0.0.0 port 8000 api_key sk-your-taotoken-key # 与 TaoToken 网关侧保持一致 served_model_name qwen2.5-32b-instruct [model] model_path /data/models/Qwen2.5-32B-Instruct tokenizer_path /data/models/Qwen2.5-32B-Instruct dtype auto quantization awq # 无量化需求时改为 null max_model_len 8192 # 按业务最长上下文设置别盲目拉满 gpu_memory_utilization 0.90 tensor_parallel_size 2 # 与 GPU 数量对齐 trust_remote_code true [batching] max_num_seqs 128 # 连续批处理的最大并发序列数 max_num_batched_tokens 8192 # 单批次 token 上限Prefill 阶段关键参数 enable_chunked_prefill true # 长 prompt 分块预填充降低 TTFT 抖动 enable_prefix_caching true # 公共前缀复用聊天场景收益明显 [scheduler] scheduler_policy fcfs # 先到先服务也可试 priority swap_space 8 # CPU 交换空间单位 GiB [observability] disable_log_stats false几个参数值得单独说。max_num_batched_tokens是 Prefill 阶段的核心旋钮它决定了单次前向能塞进多少 token。设得太小长 prompt 会被切成很多块TTFT 变高设得太大单批次占用显存过多Decode 阶段的请求会被挤出去排队。我一般从 8192 起步根据压测结果上下调整。enable_chunked_prefill打开后长 prompt 的 Prefill 会被拆成多个 chunk 与 Decode 交错执行好处是短请求不用等长请求的 Prefill 跑完TTFT 的 P99 会明显改善。3.2 settings.json客户端接入配置服务端配好之后客户端侧用一份settings.json统一管理接入信息。这份配置同时兼容直连 vLLM 和走 TaoToken 网关两种模式{ default_provider: taotoken, providers: { taotoken: { base_url: https://taotoken.net/api, api_key: sk-your-taotoken-key, models: { chat: qwen2.5-32b-instruct, code: deepseek-coder-33b, reasoning: qwen2.5-72b-instruct } }, vllm_local: { base_url: http://127.0.0.1:8000/v1, api_key: sk-your-taotoken-key, models: { chat: qwen2.5-32b-instruct } } }, request: { timeout_seconds: 120, max_retries: 2, stream: true } }注意vllm_local里的api_key要和 vLLM 启动时的--api-key一致而taotoken里的 Key 是网关侧的。两者可以相同也可以不同取决于你是否让网关直接透传。生产环境建议分开网关侧 Key 用于计费和限流后端 vLLM 的 Key 只在内网使用。3.3 启动脚本模板把上面的 toml 转成实际启动命令用一段 shell 脚本完成#!/usr/bin/env bash set -euo pipefail CONFIG_FILE./config.toml MODEL_PATH$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][model_path])) TP_SIZE$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][tensor_parallel_size])) MAX_LEN$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][max_model_len])) GPU_UTIL$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][gpu_memory_utilization])) MAX_SEQS$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[batching][max_num_seqs])) MAX_BATCH_TOKENS$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[batching][max_num_batched_tokens])) python3 -m vllm.entrypoints.openai.api_server \ --model $MODEL_PATH \ --served-model-name qwen2.5-32b-instruct \ --tensor-parallel-size $TP_SIZE \ --max-model-len $MAX_LEN \ --gpu-memory-utilization $GPU_UTIL \ --max-num-seqs $MAX_SEQS \ --max-num-batched-tokens $MAX_BATCH_TOKENS \ --enable-chunked-prefill \ --enable-prefix-caching \ --api-key sk-your-taotoken-key \ --host 0.0.0.0 --port 8000启动后观察日志里GPU KV cache size那一行它会告诉你当前配置下 KV Cache 能容纳多少 token。这个数字直接决定了你的并发上限如果比预期小很多说明gpu_memory_utilization或max_model_len设置不合理。4. 验证请求与成功结果从单条到并发压测4.1 单条请求验证服务起来后先用一条 curl 确认链路通curl -s http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-your-taotoken-key \ -d { model: qwen2.5-32b-instruct, messages: [{role: user, content: 用一句话解释 PagedAttention}], max_tokens: 128, stream: false } | python3 -m json.tool返回里能看到choices[0].message.content和usage字段就说明服务正常。usage.prompt_tokens和usage.completion_tokens分别对应 Prefill 和 Decode 的 token 数后面压测对比时会用到。4.2 并发压测动作单条请求只能验证功能验证性能必须上并发。我用的是 vLLM 自带的 benchmark 脚本也可以自己写一个基于 asyncio 的压测客户端。下面这个脚本模拟 64 并发、每请求生成 256 token 的场景# bench_vllm.py import asyncio, time, aiohttp, statistics BASE_URL http://127.0.0.1:8000/v1/chat/completions API_KEY sk-your-taotoken-key CONCURRENCY 64 MAX_TOKENS 256 async def one_request(session, idx): payload { model: qwen2.5-32b-instruct, messages: [{role: user, content: f请详细解释第 {idx} 个关于 KV Cache 的问题}], max_tokens: MAX_TOKENS, stream: False, } headers {Authorization: fBearer {API_KEY}} t0 time.perf_counter() async with session.post(BASE_URL, jsonpayload, headersheaders) as resp: data await resp.json() elapsed time.perf_counter() - t0 usage data.get(usage, {}) return elapsed, usage.get(completion_tokens, 0) async def main(): async with aiohttp.ClientSession() as session: t_start time.perf_counter() results await asyncio.gather(*[one_request(session, i) for i in range(CONCURRENCY)]) total_time time.perf_counter() - t_start latencies [r[0] for r in results] total_tokens sum(r[1] for r in results) print(f总耗时: {total_time:.2f}s) print(f吞吐: {total_tokens / total_time:.1f} tokens/s) print(fP50 延迟: {statistics.median(latencies):.2f}s) print(fP99 延迟: {sorted(latencies)[int(len(latencies)*0.99)-1]:.2f}s) asyncio.run(main())跑之前先pip install aiohttp。这个脚本输出的吞吐和 P99 延迟就是你的基线数据后面每改一个参数就重跑一次对比才有意义。4.3 指标对比方法调优不能凭感觉要固定变量。我的做法是维护一张对比表每次只改一个参数配置项基线值调优值吞吐(tokens/s)P99延迟(s)GPU利用率max_num_batched_tokens40968192待测待测待测enable_chunked_prefillfalsetrue待测待测待测enable_prefix_cachingfalsetrue待测待测待测quantizationnullawq待测待测待测压测时同步用nvidia-smi dmon -s u -d 1采集 GPU 利用率或者把 vLLM 的/metrics端点接进 Prometheus。重点看三个指标TTFT首 token 延迟、TPOT每 token 生成间隔、吞吐量。Prefill 优化主要影响 TTFTDecode 优化主要影响 TPOT连续批处理则同时影响吞吐和两者。5. 本篇常见错排查5.1 启动报显存不足OOM最常见的原因是gpu_memory_utilization设得太高或者max_model_len拉满导致 KV Cache 预留空间不够。先降到 0.85 试再逐步往上加。如果模型本身加 KV Cache 就超过单卡容量必须开tensor_parallel_size做张量并行或者上量化。注意max_model_len不是越大越好设成业务实际最长上下文加 512 的余量即可多出来的部分纯属浪费显存。5.2 并发上不去请求排队严重先看日志里Running: X reqs, Waiting: Y reqs这行。如果 Waiting 一直大于 0说明max_num_seqs或 KV Cache 容量不够。前者调大max_num_seqs后者要么降max_model_len要么加卡。还有一种情况是max_num_batched_tokens太小Prefill 阶段吞吐受限长 prompt 把批次占满Decode 请求进不来。这时候适当调大这个值或者打开enable_chunked_prefill让长短请求交错。5.3 首 token 延迟忽高忽低TTFT 抖动大通常有两个来源。一是长 prompt 的 Prefill 阻塞了短请求打开enable_chunked_prefill能显著改善。二是前缀缓存没生效每个请求都在重复计算相同的 system prompt。检查enable_prefix_caching是否打开以及请求里的公共前缀是否完全一致——差一个字符缓存就命中不了。另外scheduler_policy从fcfs换成priority也能让高优先级请求先拿到资源但需要客户端传优先级字段。5.4 走 TaoToken 网关时报 401先确认settings.json里的api_key和网关侧创建的一致注意不要有多余空格。如果直连 vLLM 正常、走网关报 401检查请求头是不是被中间层改写了。TaoToken 网关要求Authorization: Bearer key格式有些 HTTP 客户端会自动加别的头需要显式指定。另外确认 Base URL 是https://taotoken.net/api而不是带路径的完整地址路径部分由 SDK 自己拼。5.5 量化后输出质量下降明显AWQ 和 FP8 在大多数场景下质量损失很小但如果你的任务对数值精度敏感比如数学推理、代码生成建议先在小流量上对比量化前后的输出。对比方法很简单同一批 prompt 分别打给量化版和原始版用settings.json里的两个 provider 切换人工或自动评估差异。如果差异超出可接受范围就退回 FP16用增加 GPU 数量来换吞吐。6. 把多模型服务接进统一通道单机 vLLM 调优只是第一步生产环境真正的挑战是多模型、多实例的统一管理。假设你现在有三台机器分别跑 7B、32B、72B 三个模型客户端要按任务类型路由到不同模型。用 TaoToken 的模型对话能力可以先把托管模型接进来做兜底和对比地址是https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite在同一个 Key 下就能切换不同模型做效果验证。如果你在做长期的编码类应用或者 Agent 系统请求量大且需要稳定的配额保障可以了解 Coding Plan 方案入口在https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite。它适合把 vLLM 自建集群和托管模型混合使用的场景——高频简单请求走自建集群压成本复杂长上下文请求走托管通道保质量。实际接入时客户端只需要在settings.json里把default_provider指向taotoken然后在请求里指定models.chat、models.code等逻辑名称网关会自动路由到对应的后端。这样你的业务代码里不会出现任何 IP 地址和端口号模型扩容、迁移、灰度发布都只改网关配置客户端零改动。这套分层我在多个项目里用过是让推理服务从“能跑”到“好维护”的关键一步。 vLLM推理引擎深度解析：从Prefill/Decode原理到生产级部署实战（TaoToken统一API接入篇）
1. 为什么你的 vLLM 服务总是“一上量就崩”如果你已经在本地把 vLLM 跑起来过大概率经历过这样的场景单条请求测试时首 token 延迟只有两三百毫秒感觉性能不错可一旦并发数上到几十整个服务就像被掐住脖子TTFT 直接飙到几秒甚至十几秒GPU 利用率却卡在 40% 上下晃悠。这不是你的显卡不行而是 Prefill 和 Decode 这两个阶段在打架。vLLM 推理引擎的核心价值就是把大模型推理拆成 Prefill预填充和 Decode解码两个本质不同的阶段来分别优化。Prefill 阶段一次性处理整段 prompt计算复杂度随输入长度平方增长是典型的计算密集型任务Decode 阶段每次只生成一个 token但要反复读取 KV Cache是典型的显存带宽密集型任务。两者混在同一个批次里跑计算单元和显存带宽互相抢资源结果就是谁都没跑满。这篇文章面向的是已经准备把 vLLM 推上生产环境、或者正在被并发吞吐问题困扰的工程师。我会从 Prefill/Decode 分离、PagedAttention、连续批处理这三个机制讲清楚它们到底解决了什么问题然后给出可直接复制的config.toml与settings.json配置骨架、启动参数模板最后用 TaoToken 统一 API 通道把多模型服务接进来配合压测动作和指标对比方法让你能自己验证调优效果。整套流程我都在实际环境里跑过参数含义和踩坑点会一并说明。2. 先把 TaoToken 通道准备好统一 Key 与 API 入口在讲 vLLM 部署之前先解决一个生产环境绕不开的问题你不可能只部署一个模型。线上往往同时跑着 7B 的轻量对话模型、32B 的代码补全模型、还有 70B 的复杂推理模型每个模型一套地址、一套鉴权客户端代码里全是硬编码的 endpoint改一次配置要发一次版。TaoToken 的作用就是把这些模型服务收敛到一个统一的 API 通道后面客户端只认一个 Key、一个 Base URL。你需要先拿到一个可用的 API Key。访问控制台地址https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite在 API Keys 页面创建一个新 Key。建议按环境拆分比如prod-vllm-cluster和staging-vllm-cluster各一个方便后续按 Key 维度做用量统计和限流。创建完成后把 Key 复制出来它只会完整显示一次。拿到 Key 之后统一入口的 Base URL 是https://taotoken.net/api。这个地址后面会同时用于 vLLM 自建服务的代理转发以及调用托管模型做效果对比。如果你需要查看完整的接入参数说明接入文档在https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite里面有各语言 SDK 的示例和字段定义。这里要强调一点TaoToken 在这里扮演的是统一网关角色负责鉴权、路由和用量统计不改变 vLLM 本身的推理逻辑。你的 vLLM 实例还是跑在自己的 GPU 机器上TaoToken 只是让客户端不用关心后端到底有几个模型、分别在哪台机器上。这种分层在生产环境里非常关键后面做灰度发布和模型切换时你会感谢这个设计。3. 可复制的 vLLM 配置骨架与启动参数模板3.1 config.toml服务级配置骨架vLLM 本身通过命令行参数启动但生产环境里参数往往有几十个散落在启动脚本里很难维护。我的做法是用一个config.toml集中管理再用启动脚本读取后拼成命令行。下面这份骨架可以直接拿去改# config.toml - vLLM 生产服务配置骨架 [server] host 0.0.0.0 port 8000 api_key sk-your-taotoken-key # 与 TaoToken 网关侧保持一致 served_model_name qwen2.5-32b-instruct [model] model_path /data/models/Qwen2.5-32B-Instruct tokenizer_path /data/models/Qwen2.5-32B-Instruct dtype auto quantization awq # 无量化需求时改为 null max_model_len 8192 # 按业务最长上下文设置别盲目拉满 gpu_memory_utilization 0.90 tensor_parallel_size 2 # 与 GPU 数量对齐 trust_remote_code true [batching] max_num_seqs 128 # 连续批处理的最大并发序列数 max_num_batched_tokens 8192 # 单批次 token 上限Prefill 阶段关键参数 enable_chunked_prefill true # 长 prompt 分块预填充降低 TTFT 抖动 enable_prefix_caching true # 公共前缀复用聊天场景收益明显 [scheduler] scheduler_policy fcfs # 先到先服务也可试 priority swap_space 8 # CPU 交换空间单位 GiB [observability] disable_log_stats false几个参数值得单独说。max_num_batched_tokens是 Prefill 阶段的核心旋钮它决定了单次前向能塞进多少 token。设得太小长 prompt 会被切成很多块TTFT 变高设得太大单批次占用显存过多Decode 阶段的请求会被挤出去排队。我一般从 8192 起步根据压测结果上下调整。enable_chunked_prefill打开后长 prompt 的 Prefill 会被拆成多个 chunk 与 Decode 交错执行好处是短请求不用等长请求的 Prefill 跑完TTFT 的 P99 会明显改善。3.2 settings.json客户端接入配置服务端配好之后客户端侧用一份settings.json统一管理接入信息。这份配置同时兼容直连 vLLM 和走 TaoToken 网关两种模式{ default_provider: taotoken, providers: { taotoken: { base_url: https://taotoken.net/api, api_key: sk-your-taotoken-key, models: { chat: qwen2.5-32b-instruct, code: deepseek-coder-33b, reasoning: qwen2.5-72b-instruct } }, vllm_local: { base_url: http://127.0.0.1:8000/v1, api_key: sk-your-taotoken-key, models: { chat: qwen2.5-32b-instruct } } }, request: { timeout_seconds: 120, max_retries: 2, stream: true } }注意vllm_local里的api_key要和 vLLM 启动时的--api-key一致而taotoken里的 Key 是网关侧的。两者可以相同也可以不同取决于你是否让网关直接透传。生产环境建议分开网关侧 Key 用于计费和限流后端 vLLM 的 Key 只在内网使用。3.3 启动脚本模板把上面的 toml 转成实际启动命令用一段 shell 脚本完成#!/usr/bin/env bash set -euo pipefail CONFIG_FILE./config.toml MODEL_PATH$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][model_path])) TP_SIZE$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][tensor_parallel_size])) MAX_LEN$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][max_model_len])) GPU_UTIL$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[model][gpu_memory_utilization])) MAX_SEQS$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[batching][max_num_seqs])) MAX_BATCH_TOKENS$(python3 -c import tomllib;print(tomllib.load(open($CONFIG_FILE,rb))[batching][max_num_batched_tokens])) python3 -m vllm.entrypoints.openai.api_server \ --model $MODEL_PATH \ --served-model-name qwen2.5-32b-instruct \ --tensor-parallel-size $TP_SIZE \ --max-model-len $MAX_LEN \ --gpu-memory-utilization $GPU_UTIL \ --max-num-seqs $MAX_SEQS \ --max-num-batched-tokens $MAX_BATCH_TOKENS \ --enable-chunked-prefill \ --enable-prefix-caching \ --api-key sk-your-taotoken-key \ --host 0.0.0.0 --port 8000启动后观察日志里GPU KV cache size那一行它会告诉你当前配置下 KV Cache 能容纳多少 token。这个数字直接决定了你的并发上限如果比预期小很多说明gpu_memory_utilization或max_model_len设置不合理。4. 验证请求与成功结果从单条到并发压测4.1 单条请求验证服务起来后先用一条 curl 确认链路通curl -s http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-your-taotoken-key \ -d { model: qwen2.5-32b-instruct, messages: [{role: user, content: 用一句话解释 PagedAttention}], max_tokens: 128, stream: false } | python3 -m json.tool返回里能看到choices[0].message.content和usage字段就说明服务正常。usage.prompt_tokens和usage.completion_tokens分别对应 Prefill 和 Decode 的 token 数后面压测对比时会用到。4.2 并发压测动作单条请求只能验证功能验证性能必须上并发。我用的是 vLLM 自带的 benchmark 脚本也可以自己写一个基于 asyncio 的压测客户端。下面这个脚本模拟 64 并发、每请求生成 256 token 的场景# bench_vllm.py import asyncio, time, aiohttp, statistics BASE_URL http://127.0.0.1:8000/v1/chat/completions API_KEY sk-your-taotoken-key CONCURRENCY 64 MAX_TOKENS 256 async def one_request(session, idx): payload { model: qwen2.5-32b-instruct, messages: [{role: user, content: f请详细解释第 {idx} 个关于 KV Cache 的问题}], max_tokens: MAX_TOKENS, stream: False, } headers {Authorization: fBearer {API_KEY}} t0 time.perf_counter() async with session.post(BASE_URL, jsonpayload, headersheaders) as resp: data await resp.json() elapsed time.perf_counter() - t0 usage data.get(usage, {}) return elapsed, usage.get(completion_tokens, 0) async def main(): async with aiohttp.ClientSession() as session: t_start time.perf_counter() results await asyncio.gather(*[one_request(session, i) for i in range(CONCURRENCY)]) total_time time.perf_counter() - t_start latencies [r[0] for r in results] total_tokens sum(r[1] for r in results) print(f总耗时: {total_time:.2f}s) print(f吞吐: {total_tokens / total_time:.1f} tokens/s) print(fP50 延迟: {statistics.median(latencies):.2f}s) print(fP99 延迟: {sorted(latencies)[int(len(latencies)*0.99)-1]:.2f}s) asyncio.run(main())跑之前先pip install aiohttp。这个脚本输出的吞吐和 P99 延迟就是你的基线数据后面每改一个参数就重跑一次对比才有意义。4.3 指标对比方法调优不能凭感觉要固定变量。我的做法是维护一张对比表每次只改一个参数配置项基线值调优值吞吐(tokens/s)P99延迟(s)GPU利用率max_num_batched_tokens40968192待测待测待测enable_chunked_prefillfalsetrue待测待测待测enable_prefix_cachingfalsetrue待测待测待测quantizationnullawq待测待测待测压测时同步用nvidia-smi dmon -s u -d 1采集 GPU 利用率或者把 vLLM 的/metrics端点接进 Prometheus。重点看三个指标TTFT首 token 延迟、TPOT每 token 生成间隔、吞吐量。Prefill 优化主要影响 TTFTDecode 优化主要影响 TPOT连续批处理则同时影响吞吐和两者。5. 本篇常见错排查5.1 启动报显存不足OOM最常见的原因是gpu_memory_utilization设得太高或者max_model_len拉满导致 KV Cache 预留空间不够。先降到 0.85 试再逐步往上加。如果模型本身加 KV Cache 就超过单卡容量必须开tensor_parallel_size做张量并行或者上量化。注意max_model_len不是越大越好设成业务实际最长上下文加 512 的余量即可多出来的部分纯属浪费显存。5.2 并发上不去请求排队严重先看日志里Running: X reqs, Waiting: Y reqs这行。如果 Waiting 一直大于 0说明max_num_seqs或 KV Cache 容量不够。前者调大max_num_seqs后者要么降max_model_len要么加卡。还有一种情况是max_num_batched_tokens太小Prefill 阶段吞吐受限长 prompt 把批次占满Decode 请求进不来。这时候适当调大这个值或者打开enable_chunked_prefill让长短请求交错。5.3 首 token 延迟忽高忽低TTFT 抖动大通常有两个来源。一是长 prompt 的 Prefill 阻塞了短请求打开enable_chunked_prefill能显著改善。二是前缀缓存没生效每个请求都在重复计算相同的 system prompt。检查enable_prefix_caching是否打开以及请求里的公共前缀是否完全一致——差一个字符缓存就命中不了。另外scheduler_policy从fcfs换成priority也能让高优先级请求先拿到资源但需要客户端传优先级字段。5.4 走 TaoToken 网关时报 401先确认settings.json里的api_key和网关侧创建的一致注意不要有多余空格。如果直连 vLLM 正常、走网关报 401检查请求头是不是被中间层改写了。TaoToken 网关要求Authorization: Bearer key格式有些 HTTP 客户端会自动加别的头需要显式指定。另外确认 Base URL 是https://taotoken.net/api而不是带路径的完整地址路径部分由 SDK 自己拼。5.5 量化后输出质量下降明显AWQ 和 FP8 在大多数场景下质量损失很小但如果你的任务对数值精度敏感比如数学推理、代码生成建议先在小流量上对比量化前后的输出。对比方法很简单同一批 prompt 分别打给量化版和原始版用settings.json里的两个 provider 切换人工或自动评估差异。如果差异超出可接受范围就退回 FP16用增加 GPU 数量来换吞吐。6. 把多模型服务接进统一通道单机 vLLM 调优只是第一步生产环境真正的挑战是多模型、多实例的统一管理。假设你现在有三台机器分别跑 7B、32B、72B 三个模型客户端要按任务类型路由到不同模型。用 TaoToken 的模型对话能力可以先把托管模型接进来做兜底和对比地址是https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite在同一个 Key 下就能切换不同模型做效果验证。如果你在做长期的编码类应用或者 Agent 系统请求量大且需要稳定的配额保障可以了解 Coding Plan 方案入口在https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite。它适合把 vLLM 自建集群和托管模型混合使用的场景——高频简单请求走自建集群压成本复杂长上下文请求走托管通道保质量。实际接入时客户端只需要在settings.json里把default_provider指向taotoken然后在请求里指定models.chat、models.code等逻辑名称网关会自动路由到对应的后端。这样你的业务代码里不会出现任何 IP 地址和端口号模型扩容、迁移、灰度发布都只改网关配置客户端零改动。这套分层我在多个项目里用过是让推理服务从“能跑”到“好维护”的关键一步。