Xinference 部署 Qwen3-VL-Thinking 多模态推理模型全指南【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inferenceQwen3-VL-Thinking 是 Qwen 系列中同时具备**视觉理解vision、思维链推理reasoning与工具调用tools**能力的多模态大模型Xinference 通过内置模型注册表为其提供了从 2B 到 235B 共 23 个模型规格Model Spec覆盖 vLLM、Transformers、MLX 三种推理引擎。本文将带你完整掌握在 Xinference 中通过命令行与 RESTful API 启动、配置并调用 Qwen3-VL-Thinking 的方法并深入源码讲解其 MoE 架构、量化选择、多模态处理与推理参数调优的底层实现。模型能力总览根据内置注册表 llm_family.json 的定义Qwen3-VL-Thinking 的核心能力如下项目值Model NameQwen3-VL-ThinkingContext Length262144256K tokensLanguagesen英文、zh中文Abilitieschat、vision、reasoning、toolsModel Typeqwen3_vl_moeArchitectureQwen3VLMoeForConditionalGenerationMoE 架构Tool ParserqwenStop Tokens|endoftext|、|im_end|token id 151643、151645值得注意的是该模型在注册表中标记了reasoning 能力并通过reasoning_start_tag/reasoning_end_tag值为think//think在生成时输出显式的思维链内容。同时它支持tools能力配合qwen工具解析器可以在多模态场景下完成看图 - 思考 - 调用工具的完整链路。23 个内置模型规格Model Spec一览Qwen3-VL-Thinking 是典型的 MoEMixture of Experts模型同一规格下存在总参数 / 激活参数两个维度如 235B 总参数仅激活 22B因此官方在不同体量下提供了丰富的规格。下表按模型格式与参数量整理全部内置规格通用 GPU 推理规格vLLM / Transformers 引擎规格模型格式参数B激活参数B量化引擎模型 IDHF1pytorch23522nonevLLM, TransformersQwen/Qwen3-VL-235B-A22B-Thinking2fp823522fp8vLLM, TransformersQwen/Qwen3-VL-235B-A22B-Thinking-FP83awq23522Int4vLLM, TransformersQuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ4pytorch303nonevLLM, TransformersQwen/Qwen3-VL-30B-A3B-Thinking5fp8303fp8vLLM, TransformersQwen/Qwen3-VL-30B-A3B-Thinking-FP86awq3034bit, 8bitvLLM, Transformerscpatonn/Qwen3-VL-30B-A3B-Thinking-AWQ-{quantization}MLX 本地推理规格macOS / Apple Silicon规格模型格式参数B量化引擎模型 IDHF7mlx2354bit, 8bitMLXmlx-community/Qwen3-VL-235B-A22B-Thinking-{quantization}8mlx304bit, 8bitMLXmlx-community/Qwen3-VL-30B-A3B-Thinking-{quantization}9-11mlx24bit / 8bit / bf16MLXmlx-community/Qwen3-VL-2B-Thinking-{quantization}12-15mlx43bit / 4bit / 8bit / bf16MLXmlx-community/Qwen3-VL-4B-Thinking-{quantization}16-20mlx83bit / 4bit / 5bit / 8bit / bf16MLXmlx-community/Qwen3-VL-8B-Thinking-{quantization}21-22mlx303bit / bf16MLXmlx-community/Qwen3-VL-30B-A3B-Thinking-{quantization}23mlx2353bitMLXmlx-community/Qwen3-VL-235B-A22B-Thinking-3bit说明原文档共列出 23 个 Model Specqwen3-vl-thinking.rst以上表格与其一一对应。每个规格均同时提供 Hugging Face 与 ModelScope 两个模型源model_src中分别声明Xinference 下载时会按配置自动选择模型源。启动模型命令行实操启动 Qwen3-VL-Thinking 的统一命令模板如下xinference launch --model-engine ${engine} \ --model-name Qwen3-VL-Thinking \ --size-in-billions ${size} \ --model-format ${format} \ --quantization ${quantization}其中${engine}可从vllm/transformers/mlx中选择${size}、${format}、${quantization}必须与上表某个规格严格对应。下面给出几个可直接运行的示例示例 1H100 等大型 GPU 集群部署 235BBF16 原始精度xinference launch --model-engine vllm --model-name Qwen3-VL-Thinking \ --size-in-billions 235 --model-format pytorch --quantization none示例 2单卡 80GB 显存部署 30BFP8xinference launch --model-engine vllm --model-name Qwen3-VL-Thinking \ --size-in-billions 30 --model-format fp8 --quantization fp8示例 3Apple Silicon 笔记本本地部署 2BMLX 4bitxinference launch --model-engine mlx --model-name Qwen3-VL-Thinking \ --size-in-billions 2 --model-format mlx --quantization 4bit注意 MLX 规格中--size-in-billions取值包含 2、4、8、30、235对应量化取值 3bit/4bit/5bit/8bit/bf16均需在 llm_family.json 中精确匹配Xinference 会在启动时校验组合是否合法。引擎选择原则vLLM生产级高吞吐场景首选支持 PagedAttention 与连续批处理continuous batching适合 30B/235B 大规格多用户并发。Transformers兼容性最好适合单机调试、功能验证与依赖 PyTorch 生态的定制场景。MLX专为 Apple Silicon 优化让 2B/4B/8B 小规格模型可以在笔记本上本地运行无需独立 GPU。从源码看多模态模型如何被加载Qwen3-VL-Thinking 在 Transformers 引擎下的加载路径位于 qwen2_vl.py其中Qwen2VLChatModel通过装饰器注册了qwen2-vl-instruct、Qwen3-VL-Instruct、Qwen3-VL-Thinking等多个多模态模型L29-L41并支持Qwen3VLMoeForConditionalGeneration架构L51-L57。几个关键实现细节值得注意像素上下限自适应_sanitize_model_config中为模型设置了min_pixels 256 * 28 * 28、max_pixels 1280 * 28 * 28L59-L66即输入图像被自动缩放裁剪到 256~1280 个视觉 token 的像素范围避免超大图打爆显存同时也保留了足够的视觉细节。格式白名单校验match_json中明确声明该系列 Transformers 实现仅支持pytorch / gptq / awq / bnb / fp8 / fp4格式L68-L91这正是表格中 235B/30B 规格出现 pytorch、fp8、awq 三种格式的原因。Processor 加载load_processor通过AutoProcessor.from_pretrained加载 Qwen3 视觉处理器并把 min/max_pixels 参数直接传入L99-L110同时qwen-vl-utils被列为 Transformers 引擎的必需依赖见 llm_family.json 中的virtualenv.packages用于处理多模态消息格式。设备选择decide_device使用select_device处理auto设备策略支持多 GPU 自动拆分L93-L97235B 规格会按模型并行方式分布在多卡上。量化格式选型从精度到显存同一规格提供了多种量化选择核心取舍在于显存占用与推理精度格式精度适用场景pytorchnoneBF16/FP16追求最高精度需大显存235B 约需 470GBfp88-bit 浮点精度损失极小显存减半H100 等原生支持awqInt4 / 4bit / 8bit4/8-bit 整型显存占用最低适合消费级显卡与长上下文场景mlx 3bit~8bit / bf16混合精度Apple Silicon 本地推理按设备内存弹性选择对于 235B-A22B 这类 MoE 模型由于每次推理只激活 22B 参数即使不量化也能在张量并行下获得较好的吞吐而 MLX 的 3bit 版本235B则把完整模型压缩到适合大内存 Mac 本地运行的程度。调用模型OpenAI 兼容 RESTful API启动成功后Xinference 会暴露 OpenAI 兼容的 HTTP 接口默认http://localhost:9997。多模态与推理模型的调用示例如下import requests # 1. 启动模型 launch_payload { model_engine: vllm, model_name: Qwen3-VL-Thinking, size_in_billions: 30, model_format: fp8, quantization: fp8, } requests.post(http://localhost:9997/v1/models, jsonlaunch_payload) # 2. 调用 chat completions支持图片 思维链 resp requests.post( http://localhost:9997/v1/chat/completions, headers{Authorization: Bearer YOUR_API_KEY}, json{ model: Qwen3-VL-Thinking, messages: [ { role: user, content: [ {type: text, text: 这张图片里有什么}, {type: image_url, image_url: {url: https://example.com/photo.png}}, ], } ], }, ) print(resp.json()[choices][0][message])对于reasoning模型返回的message中可能同时包含reasoning_contentthink思维链与content正式回答两部分tools能力则通过tools/tool_choice参数声明函数签名模型会以tool_call结构返回调用结果。除 RESTful API 外也可以使用 Xinference Python Client 的Client().launch_model(...)以编程方式完成启动与调用或通过 Web UI默认http://localhost:9997/ui在图形界面中完成模型选择与 Launch。推理参数调优建议针对 262144 的超长上下文与多模态输入建议重点调整以下参数max_tokens推理模型的思维链输出较长建议预留 2048~8192避免回答被截断。temperaturereasoning 模型通常建议较低温度0.1~0.6以保持思考稳定性工具调用场景可配合top_p调低随机性。min_pixels / max_pixels仅在 Transformers 引擎下通过模型配置传入控制输入图像的视觉 token 数量直接影响显存与视觉精度。stream开启流式输出SSE可提升长思维链场景的首 token 延迟体验Xinference 的 eventStream 等前端工具已内置对该协议的支持。故障排查要点组合不合法--size-in-billions/--model-format/--quantization必须与规格表严格一致例如 235B 的 MLX 只有 3bit/4bit/8bit不存在 5bit启动前可用xinference list校验内置注册表。依赖缺失Transformers 引擎需要qwen-vl-utils与 transformers 多模态依赖vLLM 引擎需要#system_numpy#等运行时依赖Xinference 会通过virtualenv.packages自动创建隔离虚拟环境安装见 llm_family.json。显存不足235B 规格请优先选择 fp8 或 awq 量化并确认多卡张量并行配置正确本地开发建议从 2B/4B MLX 规格起步验证链路。模型源下载慢注册表同时声明了 Hugging Face 与 ModelScope 两个源可通过环境变量将模型源切换为 ModelScope 加速国内下载。延伸阅读模型能力与启动命令官方文档qwen3-vl-thinking.rst内置模型注册表含全部规格与依赖声明llm_family.jsonTransformers 多模态实现qwen2_vl.py推理参数与思维链标签定义llm_family.py启动与部署方式launch.rst、client_api.rst【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Xinference 部署 Qwen3-VL-Thinking 多模态推理模型全指南
Xinference 部署 Qwen3-VL-Thinking 多模态推理模型全指南【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inferenceQwen3-VL-Thinking 是 Qwen 系列中同时具备**视觉理解vision、思维链推理reasoning与工具调用tools**能力的多模态大模型Xinference 通过内置模型注册表为其提供了从 2B 到 235B 共 23 个模型规格Model Spec覆盖 vLLM、Transformers、MLX 三种推理引擎。本文将带你完整掌握在 Xinference 中通过命令行与 RESTful API 启动、配置并调用 Qwen3-VL-Thinking 的方法并深入源码讲解其 MoE 架构、量化选择、多模态处理与推理参数调优的底层实现。模型能力总览根据内置注册表 llm_family.json 的定义Qwen3-VL-Thinking 的核心能力如下项目值Model NameQwen3-VL-ThinkingContext Length262144256K tokensLanguagesen英文、zh中文Abilitieschat、vision、reasoning、toolsModel Typeqwen3_vl_moeArchitectureQwen3VLMoeForConditionalGenerationMoE 架构Tool ParserqwenStop Tokens|endoftext|、|im_end|token id 151643、151645值得注意的是该模型在注册表中标记了reasoning 能力并通过reasoning_start_tag/reasoning_end_tag值为think//think在生成时输出显式的思维链内容。同时它支持tools能力配合qwen工具解析器可以在多模态场景下完成看图 - 思考 - 调用工具的完整链路。23 个内置模型规格Model Spec一览Qwen3-VL-Thinking 是典型的 MoEMixture of Experts模型同一规格下存在总参数 / 激活参数两个维度如 235B 总参数仅激活 22B因此官方在不同体量下提供了丰富的规格。下表按模型格式与参数量整理全部内置规格通用 GPU 推理规格vLLM / Transformers 引擎规格模型格式参数B激活参数B量化引擎模型 IDHF1pytorch23522nonevLLM, TransformersQwen/Qwen3-VL-235B-A22B-Thinking2fp823522fp8vLLM, TransformersQwen/Qwen3-VL-235B-A22B-Thinking-FP83awq23522Int4vLLM, TransformersQuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ4pytorch303nonevLLM, TransformersQwen/Qwen3-VL-30B-A3B-Thinking5fp8303fp8vLLM, TransformersQwen/Qwen3-VL-30B-A3B-Thinking-FP86awq3034bit, 8bitvLLM, Transformerscpatonn/Qwen3-VL-30B-A3B-Thinking-AWQ-{quantization}MLX 本地推理规格macOS / Apple Silicon规格模型格式参数B量化引擎模型 IDHF7mlx2354bit, 8bitMLXmlx-community/Qwen3-VL-235B-A22B-Thinking-{quantization}8mlx304bit, 8bitMLXmlx-community/Qwen3-VL-30B-A3B-Thinking-{quantization}9-11mlx24bit / 8bit / bf16MLXmlx-community/Qwen3-VL-2B-Thinking-{quantization}12-15mlx43bit / 4bit / 8bit / bf16MLXmlx-community/Qwen3-VL-4B-Thinking-{quantization}16-20mlx83bit / 4bit / 5bit / 8bit / bf16MLXmlx-community/Qwen3-VL-8B-Thinking-{quantization}21-22mlx303bit / bf16MLXmlx-community/Qwen3-VL-30B-A3B-Thinking-{quantization}23mlx2353bitMLXmlx-community/Qwen3-VL-235B-A22B-Thinking-3bit说明原文档共列出 23 个 Model Specqwen3-vl-thinking.rst以上表格与其一一对应。每个规格均同时提供 Hugging Face 与 ModelScope 两个模型源model_src中分别声明Xinference 下载时会按配置自动选择模型源。启动模型命令行实操启动 Qwen3-VL-Thinking 的统一命令模板如下xinference launch --model-engine ${engine} \ --model-name Qwen3-VL-Thinking \ --size-in-billions ${size} \ --model-format ${format} \ --quantization ${quantization}其中${engine}可从vllm/transformers/mlx中选择${size}、${format}、${quantization}必须与上表某个规格严格对应。下面给出几个可直接运行的示例示例 1H100 等大型 GPU 集群部署 235BBF16 原始精度xinference launch --model-engine vllm --model-name Qwen3-VL-Thinking \ --size-in-billions 235 --model-format pytorch --quantization none示例 2单卡 80GB 显存部署 30BFP8xinference launch --model-engine vllm --model-name Qwen3-VL-Thinking \ --size-in-billions 30 --model-format fp8 --quantization fp8示例 3Apple Silicon 笔记本本地部署 2BMLX 4bitxinference launch --model-engine mlx --model-name Qwen3-VL-Thinking \ --size-in-billions 2 --model-format mlx --quantization 4bit注意 MLX 规格中--size-in-billions取值包含 2、4、8、30、235对应量化取值 3bit/4bit/5bit/8bit/bf16均需在 llm_family.json 中精确匹配Xinference 会在启动时校验组合是否合法。引擎选择原则vLLM生产级高吞吐场景首选支持 PagedAttention 与连续批处理continuous batching适合 30B/235B 大规格多用户并发。Transformers兼容性最好适合单机调试、功能验证与依赖 PyTorch 生态的定制场景。MLX专为 Apple Silicon 优化让 2B/4B/8B 小规格模型可以在笔记本上本地运行无需独立 GPU。从源码看多模态模型如何被加载Qwen3-VL-Thinking 在 Transformers 引擎下的加载路径位于 qwen2_vl.py其中Qwen2VLChatModel通过装饰器注册了qwen2-vl-instruct、Qwen3-VL-Instruct、Qwen3-VL-Thinking等多个多模态模型L29-L41并支持Qwen3VLMoeForConditionalGeneration架构L51-L57。几个关键实现细节值得注意像素上下限自适应_sanitize_model_config中为模型设置了min_pixels 256 * 28 * 28、max_pixels 1280 * 28 * 28L59-L66即输入图像被自动缩放裁剪到 256~1280 个视觉 token 的像素范围避免超大图打爆显存同时也保留了足够的视觉细节。格式白名单校验match_json中明确声明该系列 Transformers 实现仅支持pytorch / gptq / awq / bnb / fp8 / fp4格式L68-L91这正是表格中 235B/30B 规格出现 pytorch、fp8、awq 三种格式的原因。Processor 加载load_processor通过AutoProcessor.from_pretrained加载 Qwen3 视觉处理器并把 min/max_pixels 参数直接传入L99-L110同时qwen-vl-utils被列为 Transformers 引擎的必需依赖见 llm_family.json 中的virtualenv.packages用于处理多模态消息格式。设备选择decide_device使用select_device处理auto设备策略支持多 GPU 自动拆分L93-L97235B 规格会按模型并行方式分布在多卡上。量化格式选型从精度到显存同一规格提供了多种量化选择核心取舍在于显存占用与推理精度格式精度适用场景pytorchnoneBF16/FP16追求最高精度需大显存235B 约需 470GBfp88-bit 浮点精度损失极小显存减半H100 等原生支持awqInt4 / 4bit / 8bit4/8-bit 整型显存占用最低适合消费级显卡与长上下文场景mlx 3bit~8bit / bf16混合精度Apple Silicon 本地推理按设备内存弹性选择对于 235B-A22B 这类 MoE 模型由于每次推理只激活 22B 参数即使不量化也能在张量并行下获得较好的吞吐而 MLX 的 3bit 版本235B则把完整模型压缩到适合大内存 Mac 本地运行的程度。调用模型OpenAI 兼容 RESTful API启动成功后Xinference 会暴露 OpenAI 兼容的 HTTP 接口默认http://localhost:9997。多模态与推理模型的调用示例如下import requests # 1. 启动模型 launch_payload { model_engine: vllm, model_name: Qwen3-VL-Thinking, size_in_billions: 30, model_format: fp8, quantization: fp8, } requests.post(http://localhost:9997/v1/models, jsonlaunch_payload) # 2. 调用 chat completions支持图片 思维链 resp requests.post( http://localhost:9997/v1/chat/completions, headers{Authorization: Bearer YOUR_API_KEY}, json{ model: Qwen3-VL-Thinking, messages: [ { role: user, content: [ {type: text, text: 这张图片里有什么}, {type: image_url, image_url: {url: https://example.com/photo.png}}, ], } ], }, ) print(resp.json()[choices][0][message])对于reasoning模型返回的message中可能同时包含reasoning_contentthink思维链与content正式回答两部分tools能力则通过tools/tool_choice参数声明函数签名模型会以tool_call结构返回调用结果。除 RESTful API 外也可以使用 Xinference Python Client 的Client().launch_model(...)以编程方式完成启动与调用或通过 Web UI默认http://localhost:9997/ui在图形界面中完成模型选择与 Launch。推理参数调优建议针对 262144 的超长上下文与多模态输入建议重点调整以下参数max_tokens推理模型的思维链输出较长建议预留 2048~8192避免回答被截断。temperaturereasoning 模型通常建议较低温度0.1~0.6以保持思考稳定性工具调用场景可配合top_p调低随机性。min_pixels / max_pixels仅在 Transformers 引擎下通过模型配置传入控制输入图像的视觉 token 数量直接影响显存与视觉精度。stream开启流式输出SSE可提升长思维链场景的首 token 延迟体验Xinference 的 eventStream 等前端工具已内置对该协议的支持。故障排查要点组合不合法--size-in-billions/--model-format/--quantization必须与规格表严格一致例如 235B 的 MLX 只有 3bit/4bit/8bit不存在 5bit启动前可用xinference list校验内置注册表。依赖缺失Transformers 引擎需要qwen-vl-utils与 transformers 多模态依赖vLLM 引擎需要#system_numpy#等运行时依赖Xinference 会通过virtualenv.packages自动创建隔离虚拟环境安装见 llm_family.json。显存不足235B 规格请优先选择 fp8 或 awq 量化并确认多卡张量并行配置正确本地开发建议从 2B/4B MLX 规格起步验证链路。模型源下载慢注册表同时声明了 Hugging Face 与 ModelScope 两个源可通过环境变量将模型源切换为 ModelScope 加速国内下载。延伸阅读模型能力与启动命令官方文档qwen3-vl-thinking.rst内置模型注册表含全部规格与依赖声明llm_family.jsonTransformers 多模态实现qwen2_vl.py推理参数与思维链标签定义llm_family.py启动与部署方式launch.rst、client_api.rst【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考