DeepSeek-V3 大语言模型简单介绍一DeepSeek大语言模型概述1.1、DeepSeek工作的两个核心阶段1.2、核心技术架构1.3、数据与训练细节1.4、局限性与风险总结二DeepSeek-V3 大语言模型工作原理2.1 DeepSeek-V3核心架构概览2.2、三大核心技术突破2.3、训练方法论的创新2.4、推理阶段的优化2.5、性能表现总结三DeepSeek-V3 大语言模型简单例子例子请帮我写一个Python函数计算斐波那契数列第一步输入处理Tokenization第二步专家路由MoE架构的关键第三步注意力计算MLA机制第四步多token预测MTP第五步专家协作生成回答第六步代码生成的具体决策第七步多token预测的实际效果一DeepSeek大语言模型概述1.1、DeepSeek工作的两个核心阶段DeepSeek的工作流程主要分为训练阶段和推理阶段两个部分。模型训练阶段训练阶段是模型的学习期就像学生上学的过程通过大量学习来掌握知识和技能。① 预训练Pre-training 模型通过海量的互联网公开数据、书籍、文章等进行自监督学习目标是掌握通用的语言理解与生成能力学习语言的模式、语法和知识关联DeepSeek-V3使用了14.8万亿个高质量token进行预训练规模相当惊人预训练完成后模型能理解并生成连贯的文本但还不太会精准回答问题——就像一个博学但不懂得如何考试的书呆子② 优化训练微调 在预训练基础上通过特定任务的数据进一步调整模型参数采用有监督微调SFT 和强化学习RL 等方法教会模型根据指令回答问题符合人类的偏好和需求DeepSeek-R1更是开创性地大规模使用强化学习仅用极少标注数据就大幅提升了推理能力模型推理阶段推理阶段是模型真正为你服务的时刻。当你输入问题时模型通过计算预测下一个最可能出现的词元token逐字逐句地生成回答。关键特点是自回归生成方式模型基于你输入的上下文通过概率计算预测最可能接续的词汇序列。这不是简单检索或复制粘贴 训练数据而是基于对语言结构和语义关系的深度理解动态生成符合语境的回答。1.2、核心技术架构DeepSeek采用了一系列创新技术让它既强大又高效。混合专家架构MoE这是DeepSeek最核心的技术之一特性 说明总参数 高达6710亿保证了强大的知识储备激活参数 处理每个token时只激活370亿参数优势 既有大模型的强大能力又大幅降低推理成本和响应延迟打个比方就像一家大型咨询公司虽然有6710位专家但接到具体问题时只派出最相关的37位专家组成团队处理既专业又高效。1.3. 多头潜在注意力MLAMLA通过低秩压缩技术显著减少了推理时的键值缓存KV Cache显存占用。这意味着支持更长的上下文窗口最高128K tokens在有限显存资源下也能处理长文本可以维持复杂的中间状态比如在编写代码时同时记住需求、现有代码结构和之前的调试记录1.4 DeepSeek稀疏注意力DSA这是DeepSeek V3.2引入的重大创新传统全注意力的问题每个token都要和所有token计算关系计算量随序列长度呈平方增长O(n²)DSA的突破细粒度稀疏不必让每个token和所有token计算关系而是智能地选择最相关的几个计算复杂度从O(n²)降到了O(nk)k是远小于n的常数训练即支持稀疏在训练阶段就使用DSA让模型学会适应稀疏模式效果在几乎不影响输出质量的前提下大幅提升长文本处理效率API成本降低50%以上GRPO强化学习算法DeepSeek-R1-Zero使用的创新算法与传统的PPO算法不同GRPO将同一问题生成的N条候选答案划为一组以组内平均奖励为基线计算相对优势值。这样不需要额外训练价值模型降低了训练复杂度提高了效率。1.3、数据与训练细节训练数据构成DeepSeek对训练数据进行了精心设计提高数学和编程样本比例增强推理能力扩大多语言覆盖不限于中英文文档打包技术提高GPU利用率同时保证数据完整性FIMFill-in-the-Middle策略特别针对代码编辑和补全场景优化推理模式的创新DeepSeek提供了两种工作模式非思考模式deepseek-chat适用于常规对话、内容生成响应速度更快思考模式deepseek-reasoner适用于复杂逻辑推理、多步骤规划模型会生成详细的思维链Chain-of-Thought展示完整的思考过程在API层面将reasoning_content推理内容与content最终内容解耦让思考过程透明化1.4、局限性与风险DeepSeek官方也坦诚地指出了当前技术的局限性幻觉现象可能生成错误、遗漏或不符合事实的内容这是当前AI产业的共同挑战技术不成熟人工智能仍处于早期阶段滥用风险包括隐私保护、版权、数据安全等DeepSeek通过多种方式降低风险选取高质量训练数据、优化对齐策略、使用检索增强生成RAG技术以及在界面添加提示标识提醒用户内容由AI生成。总结DeepSeek的工作原理可以概括为通过大规模预训练掌握语言能力经过微调和强化学习对齐人类需求在推理时采用创新的MoE架构和稀疏注意力机制高效生成回答。它不仅在技术上追求高性能还通过开源策略让全球开发者都能使用和改进。二DeepSeek-V3 大语言模型工作原理2.1 DeepSeek-V3核心架构概览DeepSeek-V3是一个采用混合专家MoE架构的大语言模型总参数达到6710亿但每次推理时仅激活370亿参数。这种设计让它既有大模型的强大能力又保持了高效的推理速度。核心参数 数值 技术特点总参数量 671B 大规模知识储备激活参数量 37B/每个token 稀疏激活高效推理Transformer层数 61层 深度网络结构模型维度 7168维 高维特征表示词表大小 128K Byte-level BPE分词训练数据 14.8T token 高质量多领域语料2.2、三大核心技术突破混合专家架构MoE的深度优化DeepSeek-V3的MoE设计非常精妙专家配置1个共享专家为所有token提供基础特征256个路由专家动态选择最相关的专家Top-8激活策略每个token激活8个最相关专家而不是之前说的8-16个这是V3的确切配置跨节点限制最多4个跨节点专家优化通信效率创新点无辅助损失负载均衡V3开创了一种无辅助损失的负载均衡策略在标准MoE中常用额外损失项防止单个专家过载V3移除了这一开销同时保持负载均衡专家专业化不同专家会自然擅长不同领域代码、数学、语言等这正是MoE的核心理念多头潜在注意力MLAMLA是DeepSeek的核心创新通过低秩压缩技术大幅压缩KV缓存KV联合压缩维度从7168压缩至512减少显存占用Query低秩压缩压缩维度1536去耦合共享Key每头64维优化长上下文稳定性分层自适应缓存动态管理不同层的缓存策略效果在支持128K tokens长上下文的同时显著降低推理内存需求。多token预测技术MTPDeepSeek-V3引入了多token预测训练目标在训练过程中模型不仅要预测下一个token还要同时预测后续多个token这种前瞻性训练提高了数据效率和生成文本的连贯性有助于模型在长文本生成中保持更好的规划能力2.3、训练方法论的创新训练数据规模与质量DeepSeek-V3在14.8万亿个高质量token上进行预训练远超许多开源模型如LLaMA 2的约2万亿token。数据特点多领域覆盖网页文本、书籍、学术论文、代码、论坛等多语言支持优化了分词器支持128K词汇的多语言压缩代码数据增强采用FIMFill-in-the-Middle策略特别针对代码编辑和补全场景优化分阶段训练策略阶段 上下文长度 目的基础预训练 4K token 学习通用语言知识和模式第一阶段扩展 32K token 初步扩展长文本处理能力第二阶段扩展 128K token 最终实现超长上下文支持这种渐进式训练方法让模型能够平稳地适应长文本在LongBench测试中表现优异。训练效率突破DeepSeek-V3的训练成本仅为约278万H800 GPU小时约560万美元比GPT-4的估计训练成本低一个数量级。这得益于DualPipe并行策略通过双向流水线并行隐藏跨节点通信实现计算-通信的近似完全重叠FP8混合精度训练业界率先使用FP8进行混合精度训练的开源模型之一3D并行加速张量并行、流水线并行和数据并行协同在512块A100上实现92%的扩展效率2.4、推理阶段的优化预填充Prefilling与解码Decoding分离策略预填充阶段处理输入文本构建KV缓存解码阶段逐token生成回复利用缓存加速这种分离设计提高了推理吞吐量量化与压缩FP8权重存储默认使用FP8精度内存占用比FP16减少一半INT8/4位量化支持提供多种量化选项在保持98%精度的同时模型体积可缩小75%推理框架支持DeepSeek-V3已获得主流推理框架支持SGLang支持FP8量化和KV压缩vLLM高吞吐推理优化TensorRT-LLMNVIDIA GPU加速LightLLM轻量化部署2.5、性能表现基准测试成绩评测基准 DeepSeek-V3 对比说明MMLU 87.1% 知识理解任务MMLU-Pro 81.2% 更复杂的知识推理GSM8K 89.3% 数学应用题HumanEval 65.2% 代码生成AIME 2024 59.4% 数学竞赛V3-0324版成本效率优势DeepSeek-V3的API定价极具竞争力输入价格缓存命中 $0.07/百万token未命中 $0.27/百万token输出价格$1.10/百万token六、局限性与未来方向官方技术报告也坦诚指出了当前挑战多模态对齐的鲁棒性在极端光照或遮挡的图像输入下性能可能下降低资源语言支持非洲方言等语言的翻译质量仍有提升空间并发稳定性极端负载下的尾延时控制需要优化路由复杂性MoE跨节点路由带来运维挑战未来方向包括引入神经架构搜索NAS自动优化MoE结构探索联邦学习以保护数据隐私开发自进化训练框架使模型能持续从用户反馈中学习总结DeepSeek-V3的工作原理可以概括为通过6710亿参数的MoE架构实现大规模知识存储借助MLA注意力机制高效处理长文本采用FP8混合精度训练和DualPipe并行策略大幅降低训练成本在推理时通过稀疏激活仅使用370亿参数从而实现高性能与高效率的平衡。它不仅是技术上的突破更通过开源策略和超高性价比的API让先进AI技术更加普惠三DeepSeek-V3 大语言模型简单例子例子请帮我写一个Python函数计算斐波那契数列假设你向我提问“请帮我写一个Python函数计算斐波那契数列”第一步输入处理Tokenization当你输入这个问题时首先发生的是分词过程。DeepSeek-V3使用Byte-level BPE分词器将你的问题拆分成tokentext“请” [token_id: 1001]“帮” [token_id: 2345]“我” [token_id: 7890]“写” [token_id: 4567]“一个” [token_id: 8901]“Python” [token_id: 23456]“函数” [token_id: 34567]“” [token_id: 11]“计算” [token_id: 56789]“斐波那契” [token_id: 67890] # 可能拆分为多个token“数列” [token_id: 78901]“” [token_id: 22]技术细节DeepSeek-V3的词表大小为128K能高效处理中英文混合输入。第二步专家路由MoE架构的关键现在这些token被送入模型每个token都需要选择最合适的专家来处理。DeepSeek-V3有1个共享专家所有token都必须经过256个路由专家每个token只选择8个假设Python这个token经过路由计算专家ID 专家擅长领域 匹配得分专家#42 编程语言语法 0.92专家#78 Python库函数 0.89专家#15 代码生成 0.85专家#103 算法实现 0.83… … …重要特点DeepSeek-V3采用无辅助损失负载均衡不需要额外损失函数就能让专家自动专业化。专家#42可能已经见过数百万行Python代码因此特别擅长处理编程相关的token。第三步注意力计算MLA机制模型开始理解上下文关系。这里用到了多头潜在注意力MLA传统注意力需要存储每个token的完整键值对7168维而MLA通过低秩压缩将其压缩到512维。比如在处理计算斐波那契数列这个短语时斐波那契和数列之间有强关联计算和函数也有关联MLA通过压缩表示依然能捕捉这些关系但显存占用大幅减少技术细节MLA的键值联合压缩从7168维降至512维压缩比达14:1这让DeepSeek-V3能处理128K tokens的超长上下文而不耗尽显存。第四步多token预测MTP当模型开始生成回答时多token预测MTP技术发挥作用传统模型只预测下一个tokentext输入请帮我写一个Python函数计算斐波那契数列预测1当然选择概率最高的预测2可以基于当然继续预测预测3让我基于当然可以继续预测DeepSeek-V3的MTP训练时学会同时预测未来多个tokentext当前位置正在预测当然可以让我主预测“当然”概率0.95次级预测1“让我”基于当前上下文同时预测次级预测2“为您”再下一个可能的token这种前瞻性让生成的文本更连贯尤其在代码生成时能保持更好的结构性。第五步专家协作生成回答现在模型开始生成回答。这个过程是自回归的——每次生成一个token然后把新token加入上下文继续生成下一个。生成的第一个token需要多个专家协作共享专家提供基础语言能力专家#42编程语法贡献Python语法知识专家#78Python库确保使用正确的函数名专家#103算法提供斐波那契算法的实现方式生成过程示例textToken 1: “当然” [激活专家共享专家 #15(对话) #22(礼貌表达)]Token 2: “可以” [激活专家共享专家 #15 #23(肯定回应)]Token 3: “” [激活专家共享专家 #11(标点)]Token 4: “我” [激活专家共享专家 #15 #34(第一人称)]Token 5: “来” [激活专家共享专家 #15 #56(动作动词)]…Token 10: “def” [激活专家共享专家 #42(编程语法) #78(Python)]Token 11: “fibonacci” [激活专家共享专家 #42 #103(算法)]Token 12: “(” [激活专家共享专家 #42]Token 13: “n” [激活专家共享专家 #42 #103]Token 14: “)” [激活专家共享专家 #42]Token 15: “:” [激活专家共享专家 #42]…关键点每个token只激活370亿参数总6710亿参数的5.5%所以推理速度快、成本低。第六步代码生成的具体决策当生成具体代码时模型内部进行了复杂的决策textdef fibonacci(n):if n 0:return []elif n 1:return [0]elif n 2:return [0, 1]else:fib [0, 1]for i in range(2, n):fib.append(fib[i-1] fib[i-2])return fib模型决策过程边界条件处理专家#103算法提供了递归/迭代的权衡选择了清晰的迭代实现列表初始化专家#78Python库贡献了列表操作的最佳实践循环结构专家#42编程语法确保for循环语法正确索引计算专家#103确保fib[i-1] fib[i-2]正确对应斐波那契递推关系第七步多token预测的实际效果得益于MTP训练模型在生成这个代码时能够保持结构性当生成到第10个token的def时模型已经预知接下来需要函数名、参数、冒号生成fib.append(…)时模型已经规划好后续需要正确的索引整个代码块的缩进层次保持一致这是MTP训练带来的结构感总结这个例子揭示了什么通过这个简单的例子我们可以看到DeepSeek-V3的工作流程分词将文本转换为token IDMoE路由每个token智能选择最擅长的专家671B总参数中只激活37BMLA注意力高效处理上下文关系节省显存MTP生成逐token生成但具有前瞻性专家协作不同领域的专家共同贡献知识最终输出生成符合要求的代码整个过程高效、智能而且每个环节都有技术创新支撑。这就是为什么DeepSeek-V3能在保持高性能的同时大幅降低计算成本
DeepSeek-V3 大语言模型简单介绍
发布时间：2026/5/19 3:41:48
DeepSeek-V3 大语言模型简单介绍一DeepSeek大语言模型概述1.1、DeepSeek工作的两个核心阶段1.2、核心技术架构1.3、数据与训练细节1.4、局限性与风险总结二DeepSeek-V3 大语言模型工作原理2.1 DeepSeek-V3核心架构概览2.2、三大核心技术突破2.3、训练方法论的创新2.4、推理阶段的优化2.5、性能表现总结三DeepSeek-V3 大语言模型简单例子例子请帮我写一个Python函数计算斐波那契数列第一步输入处理Tokenization第二步专家路由MoE架构的关键第三步注意力计算MLA机制第四步多token预测MTP第五步专家协作生成回答第六步代码生成的具体决策第七步多token预测的实际效果一DeepSeek大语言模型概述1.1、DeepSeek工作的两个核心阶段DeepSeek的工作流程主要分为训练阶段和推理阶段两个部分。模型训练阶段训练阶段是模型的学习期就像学生上学的过程通过大量学习来掌握知识和技能。① 预训练Pre-training 模型通过海量的互联网公开数据、书籍、文章等进行自监督学习目标是掌握通用的语言理解与生成能力学习语言的模式、语法和知识关联DeepSeek-V3使用了14.8万亿个高质量token进行预训练规模相当惊人预训练完成后模型能理解并生成连贯的文本但还不太会精准回答问题——就像一个博学但不懂得如何考试的书呆子② 优化训练微调 在预训练基础上通过特定任务的数据进一步调整模型参数采用有监督微调SFT 和强化学习RL 等方法教会模型根据指令回答问题符合人类的偏好和需求DeepSeek-R1更是开创性地大规模使用强化学习仅用极少标注数据就大幅提升了推理能力模型推理阶段推理阶段是模型真正为你服务的时刻。当你输入问题时模型通过计算预测下一个最可能出现的词元token逐字逐句地生成回答。关键特点是自回归生成方式模型基于你输入的上下文通过概率计算预测最可能接续的词汇序列。这不是简单检索或复制粘贴 训练数据而是基于对语言结构和语义关系的深度理解动态生成符合语境的回答。1.2、核心技术架构DeepSeek采用了一系列创新技术让它既强大又高效。混合专家架构MoE这是DeepSeek最核心的技术之一特性 说明总参数 高达6710亿保证了强大的知识储备激活参数 处理每个token时只激活370亿参数优势 既有大模型的强大能力又大幅降低推理成本和响应延迟打个比方就像一家大型咨询公司虽然有6710位专家但接到具体问题时只派出最相关的37位专家组成团队处理既专业又高效。1.3. 多头潜在注意力MLAMLA通过低秩压缩技术显著减少了推理时的键值缓存KV Cache显存占用。这意味着支持更长的上下文窗口最高128K tokens在有限显存资源下也能处理长文本可以维持复杂的中间状态比如在编写代码时同时记住需求、现有代码结构和之前的调试记录1.4 DeepSeek稀疏注意力DSA这是DeepSeek V3.2引入的重大创新传统全注意力的问题每个token都要和所有token计算关系计算量随序列长度呈平方增长O(n²)DSA的突破细粒度稀疏不必让每个token和所有token计算关系而是智能地选择最相关的几个计算复杂度从O(n²)降到了O(nk)k是远小于n的常数训练即支持稀疏在训练阶段就使用DSA让模型学会适应稀疏模式效果在几乎不影响输出质量的前提下大幅提升长文本处理效率API成本降低50%以上GRPO强化学习算法DeepSeek-R1-Zero使用的创新算法与传统的PPO算法不同GRPO将同一问题生成的N条候选答案划为一组以组内平均奖励为基线计算相对优势值。这样不需要额外训练价值模型降低了训练复杂度提高了效率。1.3、数据与训练细节训练数据构成DeepSeek对训练数据进行了精心设计提高数学和编程样本比例增强推理能力扩大多语言覆盖不限于中英文文档打包技术提高GPU利用率同时保证数据完整性FIMFill-in-the-Middle策略特别针对代码编辑和补全场景优化推理模式的创新DeepSeek提供了两种工作模式非思考模式deepseek-chat适用于常规对话、内容生成响应速度更快思考模式deepseek-reasoner适用于复杂逻辑推理、多步骤规划模型会生成详细的思维链Chain-of-Thought展示完整的思考过程在API层面将reasoning_content推理内容与content最终内容解耦让思考过程透明化1.4、局限性与风险DeepSeek官方也坦诚地指出了当前技术的局限性幻觉现象可能生成错误、遗漏或不符合事实的内容这是当前AI产业的共同挑战技术不成熟人工智能仍处于早期阶段滥用风险包括隐私保护、版权、数据安全等DeepSeek通过多种方式降低风险选取高质量训练数据、优化对齐策略、使用检索增强生成RAG技术以及在界面添加提示标识提醒用户内容由AI生成。总结DeepSeek的工作原理可以概括为通过大规模预训练掌握语言能力经过微调和强化学习对齐人类需求在推理时采用创新的MoE架构和稀疏注意力机制高效生成回答。它不仅在技术上追求高性能还通过开源策略让全球开发者都能使用和改进。二DeepSeek-V3 大语言模型工作原理2.1 DeepSeek-V3核心架构概览DeepSeek-V3是一个采用混合专家MoE架构的大语言模型总参数达到6710亿但每次推理时仅激活370亿参数。这种设计让它既有大模型的强大能力又保持了高效的推理速度。核心参数 数值 技术特点总参数量 671B 大规模知识储备激活参数量 37B/每个token 稀疏激活高效推理Transformer层数 61层 深度网络结构模型维度 7168维 高维特征表示词表大小 128K Byte-level BPE分词训练数据 14.8T token 高质量多领域语料2.2、三大核心技术突破混合专家架构MoE的深度优化DeepSeek-V3的MoE设计非常精妙专家配置1个共享专家为所有token提供基础特征256个路由专家动态选择最相关的专家Top-8激活策略每个token激活8个最相关专家而不是之前说的8-16个这是V3的确切配置跨节点限制最多4个跨节点专家优化通信效率创新点无辅助损失负载均衡V3开创了一种无辅助损失的负载均衡策略在标准MoE中常用额外损失项防止单个专家过载V3移除了这一开销同时保持负载均衡专家专业化不同专家会自然擅长不同领域代码、数学、语言等这正是MoE的核心理念多头潜在注意力MLAMLA是DeepSeek的核心创新通过低秩压缩技术大幅压缩KV缓存KV联合压缩维度从7168压缩至512减少显存占用Query低秩压缩压缩维度1536去耦合共享Key每头64维优化长上下文稳定性分层自适应缓存动态管理不同层的缓存策略效果在支持128K tokens长上下文的同时显著降低推理内存需求。多token预测技术MTPDeepSeek-V3引入了多token预测训练目标在训练过程中模型不仅要预测下一个token还要同时预测后续多个token这种前瞻性训练提高了数据效率和生成文本的连贯性有助于模型在长文本生成中保持更好的规划能力2.3、训练方法论的创新训练数据规模与质量DeepSeek-V3在14.8万亿个高质量token上进行预训练远超许多开源模型如LLaMA 2的约2万亿token。数据特点多领域覆盖网页文本、书籍、学术论文、代码、论坛等多语言支持优化了分词器支持128K词汇的多语言压缩代码数据增强采用FIMFill-in-the-Middle策略特别针对代码编辑和补全场景优化分阶段训练策略阶段 上下文长度 目的基础预训练 4K token 学习通用语言知识和模式第一阶段扩展 32K token 初步扩展长文本处理能力第二阶段扩展 128K token 最终实现超长上下文支持这种渐进式训练方法让模型能够平稳地适应长文本在LongBench测试中表现优异。训练效率突破DeepSeek-V3的训练成本仅为约278万H800 GPU小时约560万美元比GPT-4的估计训练成本低一个数量级。这得益于DualPipe并行策略通过双向流水线并行隐藏跨节点通信实现计算-通信的近似完全重叠FP8混合精度训练业界率先使用FP8进行混合精度训练的开源模型之一3D并行加速张量并行、流水线并行和数据并行协同在512块A100上实现92%的扩展效率2.4、推理阶段的优化预填充Prefilling与解码Decoding分离策略预填充阶段处理输入文本构建KV缓存解码阶段逐token生成回复利用缓存加速这种分离设计提高了推理吞吐量量化与压缩FP8权重存储默认使用FP8精度内存占用比FP16减少一半INT8/4位量化支持提供多种量化选项在保持98%精度的同时模型体积可缩小75%推理框架支持DeepSeek-V3已获得主流推理框架支持SGLang支持FP8量化和KV压缩vLLM高吞吐推理优化TensorRT-LLMNVIDIA GPU加速LightLLM轻量化部署2.5、性能表现基准测试成绩评测基准 DeepSeek-V3 对比说明MMLU 87.1% 知识理解任务MMLU-Pro 81.2% 更复杂的知识推理GSM8K 89.3% 数学应用题HumanEval 65.2% 代码生成AIME 2024 59.4% 数学竞赛V3-0324版成本效率优势DeepSeek-V3的API定价极具竞争力输入价格缓存命中 $0.07/百万token未命中 $0.27/百万token输出价格$1.10/百万token六、局限性与未来方向官方技术报告也坦诚指出了当前挑战多模态对齐的鲁棒性在极端光照或遮挡的图像输入下性能可能下降低资源语言支持非洲方言等语言的翻译质量仍有提升空间并发稳定性极端负载下的尾延时控制需要优化路由复杂性MoE跨节点路由带来运维挑战未来方向包括引入神经架构搜索NAS自动优化MoE结构探索联邦学习以保护数据隐私开发自进化训练框架使模型能持续从用户反馈中学习总结DeepSeek-V3的工作原理可以概括为通过6710亿参数的MoE架构实现大规模知识存储借助MLA注意力机制高效处理长文本采用FP8混合精度训练和DualPipe并行策略大幅降低训练成本在推理时通过稀疏激活仅使用370亿参数从而实现高性能与高效率的平衡。它不仅是技术上的突破更通过开源策略和超高性价比的API让先进AI技术更加普惠三DeepSeek-V3 大语言模型简单例子例子请帮我写一个Python函数计算斐波那契数列假设你向我提问“请帮我写一个Python函数计算斐波那契数列”第一步输入处理Tokenization当你输入这个问题时首先发生的是分词过程。DeepSeek-V3使用Byte-level BPE分词器将你的问题拆分成tokentext“请” [token_id: 1001]“帮” [token_id: 2345]“我” [token_id: 7890]“写” [token_id: 4567]“一个” [token_id: 8901]“Python” [token_id: 23456]“函数” [token_id: 34567]“” [token_id: 11]“计算” [token_id: 56789]“斐波那契” [token_id: 67890] # 可能拆分为多个token“数列” [token_id: 78901]“” [token_id: 22]技术细节DeepSeek-V3的词表大小为128K能高效处理中英文混合输入。第二步专家路由MoE架构的关键现在这些token被送入模型每个token都需要选择最合适的专家来处理。DeepSeek-V3有1个共享专家所有token都必须经过256个路由专家每个token只选择8个假设Python这个token经过路由计算专家ID 专家擅长领域 匹配得分专家#42 编程语言语法 0.92专家#78 Python库函数 0.89专家#15 代码生成 0.85专家#103 算法实现 0.83… … …重要特点DeepSeek-V3采用无辅助损失负载均衡不需要额外损失函数就能让专家自动专业化。专家#42可能已经见过数百万行Python代码因此特别擅长处理编程相关的token。第三步注意力计算MLA机制模型开始理解上下文关系。这里用到了多头潜在注意力MLA传统注意力需要存储每个token的完整键值对7168维而MLA通过低秩压缩将其压缩到512维。比如在处理计算斐波那契数列这个短语时斐波那契和数列之间有强关联计算和函数也有关联MLA通过压缩表示依然能捕捉这些关系但显存占用大幅减少技术细节MLA的键值联合压缩从7168维降至512维压缩比达14:1这让DeepSeek-V3能处理128K tokens的超长上下文而不耗尽显存。第四步多token预测MTP当模型开始生成回答时多token预测MTP技术发挥作用传统模型只预测下一个tokentext输入请帮我写一个Python函数计算斐波那契数列预测1当然选择概率最高的预测2可以基于当然继续预测预测3让我基于当然可以继续预测DeepSeek-V3的MTP训练时学会同时预测未来多个tokentext当前位置正在预测当然可以让我主预测“当然”概率0.95次级预测1“让我”基于当前上下文同时预测次级预测2“为您”再下一个可能的token这种前瞻性让生成的文本更连贯尤其在代码生成时能保持更好的结构性。第五步专家协作生成回答现在模型开始生成回答。这个过程是自回归的——每次生成一个token然后把新token加入上下文继续生成下一个。生成的第一个token需要多个专家协作共享专家提供基础语言能力专家#42编程语法贡献Python语法知识专家#78Python库确保使用正确的函数名专家#103算法提供斐波那契算法的实现方式生成过程示例textToken 1: “当然” [激活专家共享专家 #15(对话) #22(礼貌表达)]Token 2: “可以” [激活专家共享专家 #15 #23(肯定回应)]Token 3: “” [激活专家共享专家 #11(标点)]Token 4: “我” [激活专家共享专家 #15 #34(第一人称)]Token 5: “来” [激活专家共享专家 #15 #56(动作动词)]…Token 10: “def” [激活专家共享专家 #42(编程语法) #78(Python)]Token 11: “fibonacci” [激活专家共享专家 #42 #103(算法)]Token 12: “(” [激活专家共享专家 #42]Token 13: “n” [激活专家共享专家 #42 #103]Token 14: “)” [激活专家共享专家 #42]Token 15: “:” [激活专家共享专家 #42]…关键点每个token只激活370亿参数总6710亿参数的5.5%所以推理速度快、成本低。第六步代码生成的具体决策当生成具体代码时模型内部进行了复杂的决策textdef fibonacci(n):if n 0:return []elif n 1:return [0]elif n 2:return [0, 1]else:fib [0, 1]for i in range(2, n):fib.append(fib[i-1] fib[i-2])return fib模型决策过程边界条件处理专家#103算法提供了递归/迭代的权衡选择了清晰的迭代实现列表初始化专家#78Python库贡献了列表操作的最佳实践循环结构专家#42编程语法确保for循环语法正确索引计算专家#103确保fib[i-1] fib[i-2]正确对应斐波那契递推关系第七步多token预测的实际效果得益于MTP训练模型在生成这个代码时能够保持结构性当生成到第10个token的def时模型已经预知接下来需要函数名、参数、冒号生成fib.append(…)时模型已经规划好后续需要正确的索引整个代码块的缩进层次保持一致这是MTP训练带来的结构感总结这个例子揭示了什么通过这个简单的例子我们可以看到DeepSeek-V3的工作流程分词将文本转换为token IDMoE路由每个token智能选择最擅长的专家671B总参数中只激活37BMLA注意力高效处理上下文关系节省显存MTP生成逐token生成但具有前瞻性专家协作不同领域的专家共同贡献知识最终输出生成符合要求的代码整个过程高效、智能而且每个环节都有技术创新支撑。这就是为什么DeepSeek-V3能在保持高性能的同时大幅降低计算成本
