本文介绍了大模型推理部署中常见的并行策略包括数据并行DP、张量并行TP、序列并行SP/CP、层并行PP和专家并行EP。针对GPU显存不足或算力不足的问题详细解释了各并行策略的基本原理和应用场景帮助读者快速掌握大模型推理部署的核心技术。1 DP策略1.1 基本原理DP(Data Parallel)数据并行是用来应对数据并发量比较大的一种策略。DP的做法是在不同的GPU上跑LLM模型的多个副本每个模型副本都独立去处理对应的用户请求组。它的原理跟开多个推理实例并发处理是一样的区别在于开DP的时候多个模型副本共用一个推理实例由这个推理实例里的调度器来把请求分配给不同DP的模型副本。2 TP策略2.1 基本原理Tensor Parallelism也就是张量并行简单说就是把模型的每一层拆分开放到不同的GPU上去跑用户输入的数据会在这些GPU之间传递处理每个GPU算出的局部结果最后再拼到一起形成完整的输出。张量并行的计算依据是矩阵的分块运算这种运算方式不会影响最终的计算结果。张量并行在大模型推理里用得特别多主要就是为了减少单张显卡的显存占用同时也能分担计算压力。3 SP策略3.1 基本原理SP(Seqeunce Parallel)序列并行指的是把长序列拆成多个片段分到不同的GPU设备上同时处理属于一种模型并行的策略。示意图如下3.2 SP与其它策略结合Megatron中TP与SP结合的例子负载均衡中SP与DP结合案例4 PP策略4.1 基本原理PPPipeline Parallel流水线并行是把模型按层拆分到不同设备上数据像流水线一样在各个设备之间依次流转处理。这种并行方式最早是在模型训练中得到广泛应用的相关可以参考Megatron2。在PP的前向和后向计算过程中会产生空泡问题训练时需要想办法把这些空泡消除掉。而在推理任务里流水线并行虽然只需要做前向传播但实际能用的场景并不多一般只有在GPU显存实在装不下对应的模型权重时才会考虑使用。5 EP策略5.1 基本原理EPExpert Parallel是MoE模型里用到的一种并行策略简单说就是把不同的专家网络分到不同的GPU上。每张GPU只存一部分专家参数一张卡上可以放一个或者多个专家。输入的数据会通过路由机制分到对应的专家所在的GPU上做计算最后再把计算结果汇总到一起。这样做能明显扩大模型的总参数量同时还能控制好单个GPU的内存占用很适合用来训练超大的稀疏模型。现在比较常见的做法是把EP和DP结合起来用一般Attention部分用DPFFN部分用EP。不过用EP做切分的时候容易出现负载不均衡的情况这个问题可以通过EPLB来解决。6 其它策略6.1 CP策略CPContext Parallel上下文并行和序列并行SP都是从序列维度来做划分的并行策略而且这两种方式最早都是在训练并行的场景里被提出来的。它们的发展过程是这样的最先出现的是SP策略主要用来处理模型前向和反向传播过程里除了Attention计算之外因为序列切分产生的内存和计算消耗问题。之后为了进一步解决Attention模块本身的序列并行难题Megatron框架就引入了CP策略。这两种策略的原理比较接近只是针对的计算阶段不一样。6.2 Ulysses并行Ulysses的全称是DeepSpeed‑Ulysses它的核心逻辑是这样的打开序列并行之后在多头Attention运算开始之前多个GPU设备之间会先做数据交换这样单个GPU就能拿到完整的序列。等Attention计算结束之后再通过集合通信把序列恢复成原来被切分的样子。总结在做大模型推理的时候现在主流的推理框架基本都支持好几种并行策略。这些策略各有各的优势和不足主要是为了解决不同层面上的性能和资源问题。实际挑选用哪种的时候要结合具体场景来综合判断比如模型参数量、PD/AF分离的需求、硬件拓扑的特点这些因素都要考虑进去。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
大模型推理部署必看：收藏这5种并行策略，小白也能轻松上手！
发布时间：2026/7/9 9:24:06
本文介绍了大模型推理部署中常见的并行策略包括数据并行DP、张量并行TP、序列并行SP/CP、层并行PP和专家并行EP。针对GPU显存不足或算力不足的问题详细解释了各并行策略的基本原理和应用场景帮助读者快速掌握大模型推理部署的核心技术。1 DP策略1.1 基本原理DP(Data Parallel)数据并行是用来应对数据并发量比较大的一种策略。DP的做法是在不同的GPU上跑LLM模型的多个副本每个模型副本都独立去处理对应的用户请求组。它的原理跟开多个推理实例并发处理是一样的区别在于开DP的时候多个模型副本共用一个推理实例由这个推理实例里的调度器来把请求分配给不同DP的模型副本。2 TP策略2.1 基本原理Tensor Parallelism也就是张量并行简单说就是把模型的每一层拆分开放到不同的GPU上去跑用户输入的数据会在这些GPU之间传递处理每个GPU算出的局部结果最后再拼到一起形成完整的输出。张量并行的计算依据是矩阵的分块运算这种运算方式不会影响最终的计算结果。张量并行在大模型推理里用得特别多主要就是为了减少单张显卡的显存占用同时也能分担计算压力。3 SP策略3.1 基本原理SP(Seqeunce Parallel)序列并行指的是把长序列拆成多个片段分到不同的GPU设备上同时处理属于一种模型并行的策略。示意图如下3.2 SP与其它策略结合Megatron中TP与SP结合的例子负载均衡中SP与DP结合案例4 PP策略4.1 基本原理PPPipeline Parallel流水线并行是把模型按层拆分到不同设备上数据像流水线一样在各个设备之间依次流转处理。这种并行方式最早是在模型训练中得到广泛应用的相关可以参考Megatron2。在PP的前向和后向计算过程中会产生空泡问题训练时需要想办法把这些空泡消除掉。而在推理任务里流水线并行虽然只需要做前向传播但实际能用的场景并不多一般只有在GPU显存实在装不下对应的模型权重时才会考虑使用。5 EP策略5.1 基本原理EPExpert Parallel是MoE模型里用到的一种并行策略简单说就是把不同的专家网络分到不同的GPU上。每张GPU只存一部分专家参数一张卡上可以放一个或者多个专家。输入的数据会通过路由机制分到对应的专家所在的GPU上做计算最后再把计算结果汇总到一起。这样做能明显扩大模型的总参数量同时还能控制好单个GPU的内存占用很适合用来训练超大的稀疏模型。现在比较常见的做法是把EP和DP结合起来用一般Attention部分用DPFFN部分用EP。不过用EP做切分的时候容易出现负载不均衡的情况这个问题可以通过EPLB来解决。6 其它策略6.1 CP策略CPContext Parallel上下文并行和序列并行SP都是从序列维度来做划分的并行策略而且这两种方式最早都是在训练并行的场景里被提出来的。它们的发展过程是这样的最先出现的是SP策略主要用来处理模型前向和反向传播过程里除了Attention计算之外因为序列切分产生的内存和计算消耗问题。之后为了进一步解决Attention模块本身的序列并行难题Megatron框架就引入了CP策略。这两种策略的原理比较接近只是针对的计算阶段不一样。6.2 Ulysses并行Ulysses的全称是DeepSpeed‑Ulysses它的核心逻辑是这样的打开序列并行之后在多头Attention运算开始之前多个GPU设备之间会先做数据交换这样单个GPU就能拿到完整的序列。等Attention计算结束之后再通过集合通信把序列恢复成原来被切分的样子。总结在做大模型推理的时候现在主流的推理框架基本都支持好几种并行策略。这些策略各有各的优势和不足主要是为了解决不同层面上的性能和资源问题。实际挑选用哪种的时候要结合具体场景来综合判断比如模型参数量、PD/AF分离的需求、硬件拓扑的特点这些因素都要考虑进去。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
