社区反应迅速月之暗面放出 Kimi K3 完整权重之后社区动作比预想快“在 M1 Max 上跑 Kimi K3”的帖子今天登上了 Hacker News 首页。Deltafin 项目支持本地运行这是一个名为“Deltafin”的小型研究项目支持在 Apple Silicon Mac 上本地运行 Kimi K32.8 万亿参数。HN 讨论帖评论两极分化HN 讨论帖的评论两极分化严重。一边说“0.3 token 每秒这东西有什么意义”另一边说“你想想2.8 万亿参数在你的桌面电脑上跑。”两边都有道理但这个争论跳过了更有意思的问题——K3 能在 Mac 上跑起来并非有人想方设法去压缩它而是这件事从一开始就写在了架构里。Raschka 架构笔记Raschka 在 K3 开源完整权重 48 小时内就出了一篇架构笔记。他的第一句判断很简单“本质上是 Kimi Linear 的规模化生产版本。”Kimi Linear 是 Moonshot 去年的工作只有 48B 参数。现在 K3 把它放大到了约 2.8 万亿加了一个关键组件LatentMoE。LatentMoE 概念及优势这个概念不是 Kimi 首创——NVIDIA 的 Nemotron 3 Ultra 也用了类似方案——但 K3 是第一个把它做到这个体量的。核心思路是把标准 MoE 里的大线性层通过下投影压缩。通俗来讲模型虽然整体巨大但每次推理只激活一小部分专家其余老老实实待在磁盘或网络存储上。一个 MoE 模型对本地推理天然友好不是靠事后裁剪是架构生来如此。MXFP4 原生训练第二个设计是 MXFP4 原生训练。K3 从训练第一天起就是 MXFP4 格式。这意味着下载下来的权重不需要经历一次额外的量化步骤——下载即用。对服务器这不重要对一台 Mac 很重要。1.6TB 的权重文件如果还需要再转换一轮格式大多数人连试都不会试。K3 把这个步骤省了。NoPE 设计第三个更激进NoPE。K3 移除了全部 RoPE 位置编码全模型不用任何位置嵌入。Raschka 说据他所知这是第一个在“前沿级别”模型上这么干的。其他架构的做法更保守——Gemma - 4 在滑动窗口注意力层用 RoPE全局注意力层用 NoPE。K3 则一刀切。去掉 RoPE 与本地推理的关系为什么这跟本地推理有关因为去掉 RoPE 意味着计算路径更短。HN 上有人解释了这是怎么回事因果掩码本身就隐含位置信息KDA 层从 Gated DeltaNet 派生本质上是 RNN - like天然理解序列顺序而且 K3 在第一个注意力层之前堆了 3 个 KDA 层——位置信息在注意力启动之前就已经被学到了。没有 RoPE少了一步计算在每一点速度都很重要的场景下这不算小事。deltafin 项目串联架构特性deltafin 这个项目就是把这些架构特性串起来的。它做的事不复杂K3 的 MXFP4 专家权重按需从 HTTP 流式传输到本地磁盘缓存用 fused NEON 内核和 Metal/MPS 做推理。逐 token 拉专家推理完就放。项目提供 OpenAI 兼容的 API 接口支持确定性解码——每次跑同样的 prompt 会得到完全相同的输出。antirez 在 M5 Max 上搞定 K3Redis 作者 antirez 几乎同时在做同一件事但更硬核一些他在 M5 Max 上搞定了 K3。antirez 读取权重及后续计划antirez 用 M5 Max 128GB 直接从 Hugging Face 流式读取 K3 的 1.6TB 权重。“有点慢”他承认。但从他后续的推文来看这不只是一个好玩的项目。他在等两台 512GB Mac Studio——“进行 Q2 精度量化至少聊天场景下可以达到可接受的速度。”他的判断是 K3 在 MXFP4 上训练的“感觉量化效果会很不错”。再谈 HN 争论再回到 HN 那条争论。速度与应用场景0.3 tok/s 确实慢。随着 KV cache 增长会越来越慢——完整 1M token 上下文下 cache 就占约 27GB。但问题不是速度是用什么场景来衡量。如果你是坐在屏幕前等回复0.3 tok/s 是折磨。如果你是把一批测试用例挂上去过夜跑评估或者用 LLM - as - judge 做离线打标那这个速度完全没问题。有人说得挺到位“OpenAI 和 Anthropic 的批量 API 给你打五折。这个是打九八折。”与以往不同的路数更关键的是这次和以前不一样。传统大模型与 K3 的对比以前的路数是大模型发布 - 社区费尽全力做量化、裁剪、蒸馏 - 勉强塞进消费级硬件性能打折扣。K3 的路数是反过来的模型架构本身的设计选择——LatentMoE、MXFP4 原生训练、NoPE——让它在发布的时候就已经准备好了被人在各种硬件上跑。不是“有没有办法压缩”而是“用不着压缩”。K3 架构思路的意义不是说每个大模型都应该这么设计。但如果开源权重的核心价值在于任何人、任何机器都能用那 K3 的架构思路——让一台 Mac 也能跑 2.8 万亿参数——本身就是在扩大“开源”两个字的实际含义。未来速度提升的期待接下来要看的是两台通过 Thunderbolt 5 连接的 Mac Studio 512GB 能不能把速度推到“可交互”的水平。antirez 觉得行。其他人可以等着看。
月之暗面放出 Kimi K3 完整权重，Mac 本地运行潜力几何？
发布时间：2026/7/30 7:01:55
社区反应迅速月之暗面放出 Kimi K3 完整权重之后社区动作比预想快“在 M1 Max 上跑 Kimi K3”的帖子今天登上了 Hacker News 首页。Deltafin 项目支持本地运行这是一个名为“Deltafin”的小型研究项目支持在 Apple Silicon Mac 上本地运行 Kimi K32.8 万亿参数。HN 讨论帖评论两极分化HN 讨论帖的评论两极分化严重。一边说“0.3 token 每秒这东西有什么意义”另一边说“你想想2.8 万亿参数在你的桌面电脑上跑。”两边都有道理但这个争论跳过了更有意思的问题——K3 能在 Mac 上跑起来并非有人想方设法去压缩它而是这件事从一开始就写在了架构里。Raschka 架构笔记Raschka 在 K3 开源完整权重 48 小时内就出了一篇架构笔记。他的第一句判断很简单“本质上是 Kimi Linear 的规模化生产版本。”Kimi Linear 是 Moonshot 去年的工作只有 48B 参数。现在 K3 把它放大到了约 2.8 万亿加了一个关键组件LatentMoE。LatentMoE 概念及优势这个概念不是 Kimi 首创——NVIDIA 的 Nemotron 3 Ultra 也用了类似方案——但 K3 是第一个把它做到这个体量的。核心思路是把标准 MoE 里的大线性层通过下投影压缩。通俗来讲模型虽然整体巨大但每次推理只激活一小部分专家其余老老实实待在磁盘或网络存储上。一个 MoE 模型对本地推理天然友好不是靠事后裁剪是架构生来如此。MXFP4 原生训练第二个设计是 MXFP4 原生训练。K3 从训练第一天起就是 MXFP4 格式。这意味着下载下来的权重不需要经历一次额外的量化步骤——下载即用。对服务器这不重要对一台 Mac 很重要。1.6TB 的权重文件如果还需要再转换一轮格式大多数人连试都不会试。K3 把这个步骤省了。NoPE 设计第三个更激进NoPE。K3 移除了全部 RoPE 位置编码全模型不用任何位置嵌入。Raschka 说据他所知这是第一个在“前沿级别”模型上这么干的。其他架构的做法更保守——Gemma - 4 在滑动窗口注意力层用 RoPE全局注意力层用 NoPE。K3 则一刀切。去掉 RoPE 与本地推理的关系为什么这跟本地推理有关因为去掉 RoPE 意味着计算路径更短。HN 上有人解释了这是怎么回事因果掩码本身就隐含位置信息KDA 层从 Gated DeltaNet 派生本质上是 RNN - like天然理解序列顺序而且 K3 在第一个注意力层之前堆了 3 个 KDA 层——位置信息在注意力启动之前就已经被学到了。没有 RoPE少了一步计算在每一点速度都很重要的场景下这不算小事。deltafin 项目串联架构特性deltafin 这个项目就是把这些架构特性串起来的。它做的事不复杂K3 的 MXFP4 专家权重按需从 HTTP 流式传输到本地磁盘缓存用 fused NEON 内核和 Metal/MPS 做推理。逐 token 拉专家推理完就放。项目提供 OpenAI 兼容的 API 接口支持确定性解码——每次跑同样的 prompt 会得到完全相同的输出。antirez 在 M5 Max 上搞定 K3Redis 作者 antirez 几乎同时在做同一件事但更硬核一些他在 M5 Max 上搞定了 K3。antirez 读取权重及后续计划antirez 用 M5 Max 128GB 直接从 Hugging Face 流式读取 K3 的 1.6TB 权重。“有点慢”他承认。但从他后续的推文来看这不只是一个好玩的项目。他在等两台 512GB Mac Studio——“进行 Q2 精度量化至少聊天场景下可以达到可接受的速度。”他的判断是 K3 在 MXFP4 上训练的“感觉量化效果会很不错”。再谈 HN 争论再回到 HN 那条争论。速度与应用场景0.3 tok/s 确实慢。随着 KV cache 增长会越来越慢——完整 1M token 上下文下 cache 就占约 27GB。但问题不是速度是用什么场景来衡量。如果你是坐在屏幕前等回复0.3 tok/s 是折磨。如果你是把一批测试用例挂上去过夜跑评估或者用 LLM - as - judge 做离线打标那这个速度完全没问题。有人说得挺到位“OpenAI 和 Anthropic 的批量 API 给你打五折。这个是打九八折。”与以往不同的路数更关键的是这次和以前不一样。传统大模型与 K3 的对比以前的路数是大模型发布 - 社区费尽全力做量化、裁剪、蒸馏 - 勉强塞进消费级硬件性能打折扣。K3 的路数是反过来的模型架构本身的设计选择——LatentMoE、MXFP4 原生训练、NoPE——让它在发布的时候就已经准备好了被人在各种硬件上跑。不是“有没有办法压缩”而是“用不着压缩”。K3 架构思路的意义不是说每个大模型都应该这么设计。但如果开源权重的核心价值在于任何人、任何机器都能用那 K3 的架构思路——让一台 Mac 也能跑 2.8 万亿参数——本身就是在扩大“开源”两个字的实际含义。未来速度提升的期待接下来要看的是两台通过 Thunderbolt 5 连接的 Mac Studio 512GB 能不能把速度推到“可交互”的水平。antirez 觉得行。其他人可以等着看。
