noteQwen3.5模型基于混合结构397B总参/17B激活能力匹配 1T 参数的 Qwen3-Max原生多模态设计同量级下多模态任务表现优于 Qwen3-VL覆盖 201 种语言在代码生成、智能体推理与多模态理解方面表现卓越截止20260220还没公布Qwen3.5的paper但从PR信息来看Qwen-3.5 就是多模态版的 Qwen3 Next即把 ViT PatchMerger 接上 Qwen3 Next。自然地模型也支持 Text-Only 的输出。Qwen-3.5-MoE 在 Qwen-3.5 基础上将 LLM Backbone 的 FFN 替换为 Qwen3 风格的 MoETop-K Router Multi-Expert Shared Expert文章目录note一、Qwen3.5模型1、效率优化2、泛化能力提升3、多模态能力提升二、LLM infra优化三、推理优化四、模型效果1、Qwen3.5-397B-A17B模型1文本效果2视觉能力2、其他参数更小的模型Reference一、Qwen3.5模型基本信息类型带视觉编码器的因果语言模型训练阶段预训练与后训练语言模型参数参数总量3970亿激活参数量170亿隐藏层维度4096Token嵌入维度248320已填充层数60隐藏层结构15 * (3 * (门控 DeltaNet - MoE) - 1 * (门控注意力 - MoE))门控 DeltaNet 模块线性注意力头数量V值头64QK查询-键头16头维度128门控注意力模块注意力头数量Q查询头32KV键-值头2头维度256旋转位置嵌入维度64混合专家系统MoE专家总数512激活专家数10个路由专家 1个共享专家专家中间层维度1024输出与训练语言模型输出维度248320已填充MTP多步训练策略采用多步训练上下文长度原生支持262,144个token可扩展至最多1,010,000个token1、效率优化在 32k 上下文长度下Qwen3.5-397B-A17B 的吞吐量达到 Qwen3-Max 的 8.6 倍同时保持相当的性能表现。这得益于 Next 混合架构的三项关键设计更高稀疏度的 MoE单次推理仅激活 17B 参数按需调用专家模块门控 DeltaNet 与门控注意力混合机制兼顾长序列处理速度与推理质量多 token 预测单次前向推理预测多个 token显著提升生成效率2、泛化能力提升在同等规模下Qwen3.5-397B-A17B 超越 Qwen3-VL得益于三项设计原生多模态融合通过训练阶段的早期文本-视觉融合视觉与语言在统一表征空间中联合学习提升 GUI 理解、视频分析等跨模态任务的连贯性多语言覆盖扩展训练数据覆盖语言从 119 种扩展至 201 种强化全球用户的语言表达理解词表扩容至 250k编解码效率提升 10–60%尤其改善长尾语言与复杂表达的 tokenization 效果。3、多模态能力提升过去的多模态模型通常是“视觉编码器 语言模型”的拼接图片先被转成特征再喂给语言模型理解。我们在 Qwen3.5-397B-A17B 训练阶段就把文本和视觉数据融合让模型在统一的空间里同时学习“看”和“说”。一个模型端到端全搞定——从视觉推理、空间定位到 GUI 操作与视频理解任务连贯性显著提升。依托覆盖图像、视频、STEM 与 GUI 的多元视觉数据训练Qwen3.5 在同等规模下超越 Qwen3-VL真正迈向原生多模态 Agents。二、LLM infra优化通过训推分离架构的解耦式设计该框架显著提升了硬件利用率实现了动态负载均衡和细粒度的故障恢复。配合 FP8 训推、Rollout 路由回放、投机采样以及多轮 Rollout 锁定等技术我们进一步优化了系统吞吐提高了训推一致性。通过系统与算法协同设计该框架在严格控制样本陈旧性的基础上有效缓解了数据长尾问题提高了训练曲线的稳定性和性能上限。框架面向原生智能体工作流设计能够实现稳定、无缝的多轮环境交互消除了框架层的调度中断。这种解耦设计使得系统能够扩展百万级规模的 Agent 脚手架与环境从而显著增强模型的泛化能力。上述优化最终取得了 3×–5× 的端到端加速展现了卓越的稳定性、高效率与可扩展性。三、推理优化阿里这次发布的 Qwen3.5-397B-A17B 是个 3970 亿参数的多模态推理模型实际工作时用 170 亿活跃参数原本完整版要占 807GB 硬盘空间。Unsloth 通过 Dynamic 2.0 量化技术把模型压缩到 214GB让单张 24GB 显卡配合 256GB 内存就能跑到 25 tokens/秒。和传统量化方法不同Dynamic 2.0 不是简单粗暴地把所有层都压缩到 4-bit而是采用混合精度策略把对模型性能影响大的关键层保持在 8 或 16-bit只把次要层压缩到 4-bit。这种“智能压缩”让模型体积大幅缩小的同时还能保住大部分性能。链接https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF一定一定要注意不要直接下载这个目录下有很多模型Dynamic量化模型只有94GB但是文件夹除了这个模型以外还有其他3/4/5/6/7/8bit分组量化模型四、模型效果1、Qwen3.5-397B-A17B模型1文本效果评测维度GPT5.2Claude 4.5 OpusGemini-3 ProQwen3-Max-ThinkingK2.5-1T-A32BQwen3.5-397B-A17BKnowledgeMMLU-Pro87.489.589.885.787.187.8MMLU-Redux95.095.695.992.894.594.9SuperGPQA67.970.674.067.369.270.4C-Eval90.592.293.493.794.093.0Instruction FollowingIFEval94.890.993.593.493.992.6IFBench75.458.070.470.970.276.5MultiChallenge57.954.264.263.362.767.6Long ContextAA-LCR72.774.070.768.770.068.7LongBench v254.564.468.260.661.063.2STEMGPQA92.487.091.987.487.688.4HLE35.530.837.530.230.128.7HLE-Verified43.338.84837.6–37.6ReasoningLiveCodeBench v687.784.890.785.985.083.6HMMT Feb 2599.492.997.398.095.494.8HMMT Nov 2510093.393.394.791.192.7IMOAnswerBench86.384.083.383.981.880.9AIME2696.793.390.693.393.391.3General AgentBFCL-V463.177.572.567.768.372.9TAU2-Bench87.191.685.484.677.086.7VITA-Bench38.256.351.640.941.949.7DeepPlanning44.633.923.328.714.534.3Tool Decathlon43.843.536.418.827.838.3MCP-Mark57.542.353.933.529.546.1Search AgentHLE w/ tool45.543.445.849.850.248.3BrowseComp65.867.859.253.9–/74.969.0/78.6BrowseComp-zh76.162.466.860.9–70.3WideSearch76.876.468.057.972.774.0Seal-045.047.745.546.957.446.9MultilingualismMMMLU89.590.190.684.486.088.5MMLU-ProX83.785.787.778.582.384.7NOVA-6354.656.756.754.256.059.1INCLUDE87.586.290.582.383.385.6Global PIQA90.991.693.286.089.389.8PolyMATH62.579.081.664.743.173.3WMT2478.879.780.777.677.678.9MAXIFE88.479.287.584.072.888.2Coding AgentSWE-bench Verified80.080.976.275.376.876.4SWE-bench Multilingual72.077.565.066.773.069.3SecCodeBench68.768.662.457.561.368.3Terminal Bench 254.059.354.222.550.852.52视觉能力评测维度GPT5.2Claude 4.5 OpusGemini-3 ProQwen3-VL-235B-A22BK2.5-1T-A32BQwen3.5-397B-A17BSTEM and PuzzleMMMU86.780.787.280.684.385.0MMMU-Pro79.570.681.069.378.579.0MathVision83.074.386.674.684.288.6Mathvista(mini)83.180.087.985.890.190.3We-Math79.070.086.974.884.787.9DynaMath86.879.785.182.884.486.3ZEROBench93104912ZEROBench_sub33.228.439.028.433.541.0BabyVision34.414.249.722.236.552.3/43.3General VQARealWorldQA83.377.083.381.381.083.9MMStar77.173.283.178.780.583.8HallusionBench65.264.168.666.769.871.4MMBenchEN-DEV-v1.188.289.293.789.794.293.7SimpleVQA55.865.773.261.371.267.1Text Recognition and Document UnderstandingOmniDocBench1.585.787.788.584.588.890.8CharXiv(RQ)82.168.581.466.177.580.8MMLongBench-Doc–61.960.556.258.561.5CC-OCR70.376.979.081.579.782.0AI2D_TEST92.287.794.189.290.893.9OCRBench80.785.890.487.592.393.1Spatial IntelligenceERQA59.846.870.552.5–67.5CountBench91.990.697.393.794.197.2RefCOCO(avg)––84.191.187.892.3ODInW13––46.343.2–47.0EmbSpatialBench81.375.761.284.377.484.5RefSpatialBench––65.569.9–73.6LingoQA68.878.872.866.868.281.6V*75.967.088.085.977.095.8/91.1Hypersim–––11.0–12.5SUNRGBD–––34.9–38.3Nuscene–––13.9–16.0Video UnderstandingVideoMME(w sub.)8677.688.483.887.487.5VideoMME(w/o sub.)85.881.487.779.083.283.7VideoMMMU85.984.487.680.086.684.7MLVU (M-Avg)85.681.783.083.885.086.7MVBench78.167.274.175.273.577.6LVBench73.757.376.263.675.975.5MMVU80.877.377.571.180.475.4Visual AgentScreenSpot Pro–45.772.762.0–65.6OSWorld-Verified38.266.3–38.163.362.2AndroidWorld–––63.7–66.8Medical VQASLAKE76.976.481.354.781.679.9PMC-VQA58.959.962.341.263.364.2MedXpertQA-MM73.363.676.047.665.370.02、其他参数更小的模型0.8B / 2B → 极致轻量、快速响应端侧设备首选4B → 轻量级 Agent 的惊喜之选多模态能力出众9B → 体量精简实力已逼近更大规模模型 即刻体验 Hugging Face: https://huggingface.co/collections/Qwen/qwen35 ModelScope: https://modelscope.cn/collections/Qwen/Qwen35从文本指标上看qwen3.5 9bdense模型的效果和上一代的qwen3-30BA3B-Thinkging-2507的效果已经相当了在VL指标上看qwen3.5 9b/4b能力已经是超过上一代的qwen3-vl模型比如图片理解、文档理解、视频理解等具体参考https://modelscope.cn/models/Qwen/Qwen3.5-9BReference[1] Qwen3.5更少激活参数更强智能体能力[2] https://github.com/QwenLM/Qwen3.5?spma2ty_o06.30285417.0.0.72bcc921bSC8dmfileQwen3.5[3] https://qwen.ai/blog?idqwen3.5[4] https://modelscope.cn/models/Qwen/Qwen3.5-397B-A17B[5] https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF[6] Qwen3.5 Preview 代码解析PR #43830[7] https://github.com/huggingface/transformers/pull/43830[8] https://huggingface.co/Qwen/Qwen3.5-4B 有安装部署库注意事项[9] [Bug]: Qwen3.5-9B (BF16/AWQ) Illegal Memory Access in vLLM v0.17.0 (WSL2/RTX3090 Ti) #36408https://github.com/vllm-project/vllm/issues/36408
【MLLM】Qwen3.5模型和推理优化
发布时间：2026/7/14 5:03:47
noteQwen3.5模型基于混合结构397B总参/17B激活能力匹配 1T 参数的 Qwen3-Max原生多模态设计同量级下多模态任务表现优于 Qwen3-VL覆盖 201 种语言在代码生成、智能体推理与多模态理解方面表现卓越截止20260220还没公布Qwen3.5的paper但从PR信息来看Qwen-3.5 就是多模态版的 Qwen3 Next即把 ViT PatchMerger 接上 Qwen3 Next。自然地模型也支持 Text-Only 的输出。Qwen-3.5-MoE 在 Qwen-3.5 基础上将 LLM Backbone 的 FFN 替换为 Qwen3 风格的 MoETop-K Router Multi-Expert Shared Expert文章目录note一、Qwen3.5模型1、效率优化2、泛化能力提升3、多模态能力提升二、LLM infra优化三、推理优化四、模型效果1、Qwen3.5-397B-A17B模型1文本效果2视觉能力2、其他参数更小的模型Reference一、Qwen3.5模型基本信息类型带视觉编码器的因果语言模型训练阶段预训练与后训练语言模型参数参数总量3970亿激活参数量170亿隐藏层维度4096Token嵌入维度248320已填充层数60隐藏层结构15 * (3 * (门控 DeltaNet - MoE) - 1 * (门控注意力 - MoE))门控 DeltaNet 模块线性注意力头数量V值头64QK查询-键头16头维度128门控注意力模块注意力头数量Q查询头32KV键-值头2头维度256旋转位置嵌入维度64混合专家系统MoE专家总数512激活专家数10个路由专家 1个共享专家专家中间层维度1024输出与训练语言模型输出维度248320已填充MTP多步训练策略采用多步训练上下文长度原生支持262,144个token可扩展至最多1,010,000个token1、效率优化在 32k 上下文长度下Qwen3.5-397B-A17B 的吞吐量达到 Qwen3-Max 的 8.6 倍同时保持相当的性能表现。这得益于 Next 混合架构的三项关键设计更高稀疏度的 MoE单次推理仅激活 17B 参数按需调用专家模块门控 DeltaNet 与门控注意力混合机制兼顾长序列处理速度与推理质量多 token 预测单次前向推理预测多个 token显著提升生成效率2、泛化能力提升在同等规模下Qwen3.5-397B-A17B 超越 Qwen3-VL得益于三项设计原生多模态融合通过训练阶段的早期文本-视觉融合视觉与语言在统一表征空间中联合学习提升 GUI 理解、视频分析等跨模态任务的连贯性多语言覆盖扩展训练数据覆盖语言从 119 种扩展至 201 种强化全球用户的语言表达理解词表扩容至 250k编解码效率提升 10–60%尤其改善长尾语言与复杂表达的 tokenization 效果。3、多模态能力提升过去的多模态模型通常是“视觉编码器 语言模型”的拼接图片先被转成特征再喂给语言模型理解。我们在 Qwen3.5-397B-A17B 训练阶段就把文本和视觉数据融合让模型在统一的空间里同时学习“看”和“说”。一个模型端到端全搞定——从视觉推理、空间定位到 GUI 操作与视频理解任务连贯性显著提升。依托覆盖图像、视频、STEM 与 GUI 的多元视觉数据训练Qwen3.5 在同等规模下超越 Qwen3-VL真正迈向原生多模态 Agents。二、LLM infra优化通过训推分离架构的解耦式设计该框架显著提升了硬件利用率实现了动态负载均衡和细粒度的故障恢复。配合 FP8 训推、Rollout 路由回放、投机采样以及多轮 Rollout 锁定等技术我们进一步优化了系统吞吐提高了训推一致性。通过系统与算法协同设计该框架在严格控制样本陈旧性的基础上有效缓解了数据长尾问题提高了训练曲线的稳定性和性能上限。框架面向原生智能体工作流设计能够实现稳定、无缝的多轮环境交互消除了框架层的调度中断。这种解耦设计使得系统能够扩展百万级规模的 Agent 脚手架与环境从而显著增强模型的泛化能力。上述优化最终取得了 3×–5× 的端到端加速展现了卓越的稳定性、高效率与可扩展性。三、推理优化阿里这次发布的 Qwen3.5-397B-A17B 是个 3970 亿参数的多模态推理模型实际工作时用 170 亿活跃参数原本完整版要占 807GB 硬盘空间。Unsloth 通过 Dynamic 2.0 量化技术把模型压缩到 214GB让单张 24GB 显卡配合 256GB 内存就能跑到 25 tokens/秒。和传统量化方法不同Dynamic 2.0 不是简单粗暴地把所有层都压缩到 4-bit而是采用混合精度策略把对模型性能影响大的关键层保持在 8 或 16-bit只把次要层压缩到 4-bit。这种“智能压缩”让模型体积大幅缩小的同时还能保住大部分性能。链接https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF一定一定要注意不要直接下载这个目录下有很多模型Dynamic量化模型只有94GB但是文件夹除了这个模型以外还有其他3/4/5/6/7/8bit分组量化模型四、模型效果1、Qwen3.5-397B-A17B模型1文本效果评测维度GPT5.2Claude 4.5 OpusGemini-3 ProQwen3-Max-ThinkingK2.5-1T-A32BQwen3.5-397B-A17BKnowledgeMMLU-Pro87.489.589.885.787.187.8MMLU-Redux95.095.695.992.894.594.9SuperGPQA67.970.674.067.369.270.4C-Eval90.592.293.493.794.093.0Instruction FollowingIFEval94.890.993.593.493.992.6IFBench75.458.070.470.970.276.5MultiChallenge57.954.264.263.362.767.6Long ContextAA-LCR72.774.070.768.770.068.7LongBench v254.564.468.260.661.063.2STEMGPQA92.487.091.987.487.688.4HLE35.530.837.530.230.128.7HLE-Verified43.338.84837.6–37.6ReasoningLiveCodeBench v687.784.890.785.985.083.6HMMT Feb 2599.492.997.398.095.494.8HMMT Nov 2510093.393.394.791.192.7IMOAnswerBench86.384.083.383.981.880.9AIME2696.793.390.693.393.391.3General AgentBFCL-V463.177.572.567.768.372.9TAU2-Bench87.191.685.484.677.086.7VITA-Bench38.256.351.640.941.949.7DeepPlanning44.633.923.328.714.534.3Tool Decathlon43.843.536.418.827.838.3MCP-Mark57.542.353.933.529.546.1Search AgentHLE w/ tool45.543.445.849.850.248.3BrowseComp65.867.859.253.9–/74.969.0/78.6BrowseComp-zh76.162.466.860.9–70.3WideSearch76.876.468.057.972.774.0Seal-045.047.745.546.957.446.9MultilingualismMMMLU89.590.190.684.486.088.5MMLU-ProX83.785.787.778.582.384.7NOVA-6354.656.756.754.256.059.1INCLUDE87.586.290.582.383.385.6Global PIQA90.991.693.286.089.389.8PolyMATH62.579.081.664.743.173.3WMT2478.879.780.777.677.678.9MAXIFE88.479.287.584.072.888.2Coding AgentSWE-bench Verified80.080.976.275.376.876.4SWE-bench Multilingual72.077.565.066.773.069.3SecCodeBench68.768.662.457.561.368.3Terminal Bench 254.059.354.222.550.852.52视觉能力评测维度GPT5.2Claude 4.5 OpusGemini-3 ProQwen3-VL-235B-A22BK2.5-1T-A32BQwen3.5-397B-A17BSTEM and PuzzleMMMU86.780.787.280.684.385.0MMMU-Pro79.570.681.069.378.579.0MathVision83.074.386.674.684.288.6Mathvista(mini)83.180.087.985.890.190.3We-Math79.070.086.974.884.787.9DynaMath86.879.785.182.884.486.3ZEROBench93104912ZEROBench_sub33.228.439.028.433.541.0BabyVision34.414.249.722.236.552.3/43.3General VQARealWorldQA83.377.083.381.381.083.9MMStar77.173.283.178.780.583.8HallusionBench65.264.168.666.769.871.4MMBenchEN-DEV-v1.188.289.293.789.794.293.7SimpleVQA55.865.773.261.371.267.1Text Recognition and Document UnderstandingOmniDocBench1.585.787.788.584.588.890.8CharXiv(RQ)82.168.581.466.177.580.8MMLongBench-Doc–61.960.556.258.561.5CC-OCR70.376.979.081.579.782.0AI2D_TEST92.287.794.189.290.893.9OCRBench80.785.890.487.592.393.1Spatial IntelligenceERQA59.846.870.552.5–67.5CountBench91.990.697.393.794.197.2RefCOCO(avg)––84.191.187.892.3ODInW13––46.343.2–47.0EmbSpatialBench81.375.761.284.377.484.5RefSpatialBench––65.569.9–73.6LingoQA68.878.872.866.868.281.6V*75.967.088.085.977.095.8/91.1Hypersim–––11.0–12.5SUNRGBD–––34.9–38.3Nuscene–––13.9–16.0Video UnderstandingVideoMME(w sub.)8677.688.483.887.487.5VideoMME(w/o sub.)85.881.487.779.083.283.7VideoMMMU85.984.487.680.086.684.7MLVU (M-Avg)85.681.783.083.885.086.7MVBench78.167.274.175.273.577.6LVBench73.757.376.263.675.975.5MMVU80.877.377.571.180.475.4Visual AgentScreenSpot Pro–45.772.762.0–65.6OSWorld-Verified38.266.3–38.163.362.2AndroidWorld–––63.7–66.8Medical VQASLAKE76.976.481.354.781.679.9PMC-VQA58.959.962.341.263.364.2MedXpertQA-MM73.363.676.047.665.370.02、其他参数更小的模型0.8B / 2B → 极致轻量、快速响应端侧设备首选4B → 轻量级 Agent 的惊喜之选多模态能力出众9B → 体量精简实力已逼近更大规模模型 即刻体验 Hugging Face: https://huggingface.co/collections/Qwen/qwen35 ModelScope: https://modelscope.cn/collections/Qwen/Qwen35从文本指标上看qwen3.5 9bdense模型的效果和上一代的qwen3-30BA3B-Thinkging-2507的效果已经相当了在VL指标上看qwen3.5 9b/4b能力已经是超过上一代的qwen3-vl模型比如图片理解、文档理解、视频理解等具体参考https://modelscope.cn/models/Qwen/Qwen3.5-9BReference[1] Qwen3.5更少激活参数更强智能体能力[2] https://github.com/QwenLM/Qwen3.5?spma2ty_o06.30285417.0.0.72bcc921bSC8dmfileQwen3.5[3] https://qwen.ai/blog?idqwen3.5[4] https://modelscope.cn/models/Qwen/Qwen3.5-397B-A17B[5] https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF[6] Qwen3.5 Preview 代码解析PR #43830[7] https://github.com/huggingface/transformers/pull/43830[8] https://huggingface.co/Qwen/Qwen3.5-4B 有安装部署库注意事项[9] [Bug]: Qwen3.5-9B (BF16/AWQ) Illegal Memory Access in vLLM v0.17.0 (WSL2/RTX3090 Ti) #36408https://github.com/vllm-project/vllm/issues/36408
)
