德国 AI 实验室 Aleph Alpha 在 10 月 3 日发布了开源权重模型 Kolibri总参数量 78B采用 Apache 2.0 许可证。这是一个混合专家架构MoE模型每次推理仅激活 3.46B 参数在英文数学和代码测试中达到 90 分以上同时对德语提供了较强支持。架构与训练Kolibri 采用 50 层结构全部使用 MoE共 384 个专家。预训练使用 768 块 B200 GPU历时 21 天完成于 9 月 11 日结束。模型处理了超过 200T token 的原始数据知识截止日期为 6 月 18 日。训练数据中英语占比约 62%代码占比 14%德语 token 约 4.3T占总训练数据约 21.3%。预训练期间遇到 38 次非计划中断。预训练后模型经过 3.44T token 的中训阶段和 200B token 的长上下文适配。Kolibri 支持最长 1M token 的上下文通过混合注意力机制实现:10 层处理完整上下文其余 40 层使用 512 token 的滑动窗口。测试表现官方给出的测试成绩:AIME 2025 英文 96.9德文 87.5AIME 2026 英文 96.0德文 90.0HumanEval 92.7这些分数显示 Kolibri 在数学推理和代码生成任务上有较好表现。德语测试分数略低于英语但仍在 87.5 到 90.0 之间。Kolibri OriginAleph Alpha 同时发布了 Kolibri Origin这是一个更小的前序版本总参数 30.6B激活参数 3.27B于 6 月 11 日完成预训练。Origin 使用 7.5T 训练 token支持 65k token 上下文窗口。适用场景Kolibri 通过 MoE 架构降低了推理成本激活参数仅占总参数的约 4.4%。对于需要处理德语内容或超长文档的应用Kolibri 提供了开源选择。Apache 2.0 许可证允许商业使用和修改。模型知识截止于 6 月 18 日不包含之后的信息。对于需要最新知识的场景需要配合外部检索或更新机制使用。 Aleph Alpha 开源 78B 参数 MoE 模型 Kolibri
德国 AI 实验室 Aleph Alpha 在 10 月 3 日发布了开源权重模型 Kolibri总参数量 78B采用 Apache 2.0 许可证。这是一个混合专家架构MoE模型每次推理仅激活 3.46B 参数在英文数学和代码测试中达到 90 分以上同时对德语提供了较强支持。架构与训练Kolibri 采用 50 层结构全部使用 MoE共 384 个专家。预训练使用 768 块 B200 GPU历时 21 天完成于 9 月 11 日结束。模型处理了超过 200T token 的原始数据知识截止日期为 6 月 18 日。训练数据中英语占比约 62%代码占比 14%德语 token 约 4.3T占总训练数据约 21.3%。预训练期间遇到 38 次非计划中断。预训练后模型经过 3.44T token 的中训阶段和 200B token 的长上下文适配。Kolibri 支持最长 1M token 的上下文通过混合注意力机制实现:10 层处理完整上下文其余 40 层使用 512 token 的滑动窗口。测试表现官方给出的测试成绩:AIME 2025 英文 96.9德文 87.5AIME 2026 英文 96.0德文 90.0HumanEval 92.7这些分数显示 Kolibri 在数学推理和代码生成任务上有较好表现。德语测试分数略低于英语但仍在 87.5 到 90.0 之间。Kolibri OriginAleph Alpha 同时发布了 Kolibri Origin这是一个更小的前序版本总参数 30.6B激活参数 3.27B于 6 月 11 日完成预训练。Origin 使用 7.5T 训练 token支持 65k token 上下文窗口。适用场景Kolibri 通过 MoE 架构降低了推理成本激活参数仅占总参数的约 4.4%。对于需要处理德语内容或超长文档的应用Kolibri 提供了开源选择。Apache 2.0 许可证允许商业使用和修改。模型知识截止于 6 月 18 日不包含之后的信息。对于需要最新知识的场景需要配合外部检索或更新机制使用。