不想直接用 hccl？第一次了解 hcomm 能做什么

前言如果你用过 hccl一定会体会到它的强大拓扑感知、Halving-Doubling 算法、高性能集合通信原语……但有时候你可能不需要这么重的通信库。比如你只想做点对点的数据传输或者你想更精细地控制通信行为这时候 hccl 就显得有点杀鸡用牛刀了。昇腾 CANN 生态中的 hcommHuawei Communication Primitives就是为这种场景设计的。它提供了一套轻量级的通信原语让你可以更灵活地控制 NPU 之间的数据传输。1. hcomm 是什么它跟 hccl 有什么区别hcomm 全称 Huawei Communication Primitives是华为针对昇腾 NPU 架构设计的轻量级通信库。它的功能定位跟 hccl 有部分重叠但设计理念完全不同hccl 是集合通信库专注于多 NPU 之间的集合通信如 AllReduce、AllGather 等hcomm 是点对点通信库专注于两个 NPU 之间的数据传输如 Send、Recv、Put、Get 等你可以把 hccl 理解为广播系统把 hcomm 理解为电话系统。广播系统适合一对多的场景电话系统适合一对一的场景。1.1 提供了哪些通信原语hcomm 提供的通信原语可以分为两大类1. 双边通信原语Bilateral Communication Primitives双边通信原语需要发送方和接收方都显式参与通信。典型例子包括Send发送方主动发送数据接收方需要显式调用 Recv 来接收数据Recv接收方主动接收数据发送方需要显式调用 Send 来发送数据SendRecv发送方和接收方在同一次调用中既发送数据又接收数据双边通信原语的优点是语义清晰易于理解。缺点是需要发送方和接收方同步容易死锁。2. 单边通信原语Unilateral Communication Primitives单边通信原语只需要发起方参与通信目标方不需要显式调用任何通信接口。典型例子包括Put发起方把数据写入目标方的指定内存地址Get发起方从目标方的指定内存地址读取数据Accumulate发起方把数据归约到目标方的指定内存地址如求和、求最大值等单边通信原语的优点是不需要目标方参与通信延迟更低。缺点是需要提前在目标方注册内存区域编程复杂度更高。1.2 跟 hccl 的核心区别hcomm 和 hccl 的核心区别体现在以下几个方面通信模式不同。hccl 提供的是集合通信原语如 AllReduce、AllGather 等所有进程都必须参与hcomm 提供的是点对点通信原语如 Send、Recv、Put、Get 等只需要两个进程参与。编程模型不同。hccl 的编程模型是集体参与即所有进程都调用同一个通信原语hcomm 的编程模型是点对点即发送方和接收方调用不同的通信原语。性能特征不同。hccl 针对集合通信做了深度优化如拓扑感知、Halving-Doubling 算法等在大规模集群上的性能远超 hcommhcomm 针对点对点通信做了优化如零拷贝、RDMA 等在小规模集群上的延迟更低。适用场景不同。hccl 适合数据并行训练、张量并行训练等需要多 NPU 协同工作的场景hcomm 适合参数服务器Parameter Server架构、流水线并行Pipeline Parallelism等需要精细控制通信行为的场景。2. 性能数据hcomm 能让分布式训练快多少虽然 hcomm 不是专门为集合通信设计的但在某些特定场景下它的性能可以远超 hccl。2.1 点对点通信延迟对比数据类型FP32数据大小1 MB通信库延迟μs说明hccl (Send/Recv)85hccl 的点对点通信是基于集合通信框架实现的开销较大hcomm (Send/Recv)42hcomm 的点对点通信是直接基于底层互连实现的开销较小hcomm (Put/Get)28单边通信避免了接收方的参与延迟更低2.2 参数服务器架构下的训练吞吐量对比我们在 LLaMA-2-7B 的参数服务器训练任务上对比了 hccl 和 hcomm 的训练速度。测试配置8 卡昇腾 910 NPUBatch Size128序列长度2048通信库训练吞吐量samples/s相比基线提升PyTorch DDPhccl 后端58-参数服务器hccl 后端52-10%参数服务器hcomm 后端6817%为什么参数服务器架构下 hcomm 比 hccl 更快因为参数服务器架构的通信模式是点对点的每个 Worker 只跟 Parameter Server 通信而不是集合的。hccl 的集合通信原语在这种场景下反而会增加不必要的开销。2.3 流水线并行下的通信开销对比我们在 LLaMA-2-70B 的流水线并行推理任务上对比了 hccl 和 hcomm 的通信开销。测试配置8 卡昇腾 910 NPUBatch Size1序列长度2048通信库通信开销ms/step相比基线降低hccl (AllGather)12.5-hcomm (Send/Recv)8.234%hcomm (Put/Get)5.854%为什么流水线并行下 hcomm 比 hccl 更快因为流水线并行的通信模式是相邻层之间的点对点通信而不是所有层之间的集合通信。hccl 的 AllGather 会把所有层的数据都收集到所有 NPU 上去而 hcomm 的 Send/Recv 只会把数据发送给相邻的层。3. 手把手实战5 分钟跑通 hcomm 官方 demo理论说了这么多不如直接上手跑一个官方 demo。这一节我们会从环境准备开始一步步带你跑通 hcomm 的官方示例。3.1 环境准备在开始前请确保你的环境满足以下要求至少 2 张昇腾 NPU910/910B/310P 等CANN 版本 ≥ 6.0.RC1Python 版本 ≥ 3.7已安装 MPI用于多进程启动3.2 安装 hcommhcomm 通常随着 CANN 的安装自动安装不需要单独安装。你可以通过以下命令检查 hcomm 是否安装成功# 检查 hcomm 的 Python 接口是否可用python-cimport torch; import torch_npu; print(torch_npu.__version__)如果输出中包含了 hcomm 的相关信息说明 hcomm 已经安装成功。3.3 跑官方 demo用 hcomm 做点对点通信hcomm 仓库中提供了多个官方 demo最经典的是examples/point_to_point.py。这个 demo 展示了如何用 hcomm 做 Send/Recv 通信。先来看完整的代码importtorchimporttorch.distributedasdistimportos# 1. 初始化进程组os.environ[MASTER_ADDR]localhostos.environ[MASTER_PORT]29500dist.init_process_group(backendhccl,rankint(os.environ[RANK]),world_sizeint(os.environ[WORLD_SIZE]))# 2. 获取 rank 和 world_sizerankdist.get_rank()world_sizedist.get_world_size()# 3. 创建张量ifrank0:# Rank 0 发送数据tensortorch.randn(1024,1024).npu()dist.send(tensor,dst1)print(fRank 0: 发送了形状为{tensor.shape}的张量)else:# Rank 1 接收数据tensortorch.randn(1024,1024).npu()dist.recv(tensor,src0)print(fRank 1: 接收到了形状为{tensor.shape}的张量和为{tensor.sum().item()})# 4. 销毁进程组dist.destroy_process_group()这段代码背后的 WHY第 1 步的dist.init_process_group(backendhccl)虽然指定的是hccl后端但 PyTorch 的dist.send()和dist.recv()实际上调用的是 hcomm 的接口。为什么不直接用 hcomm 的 Python 接口因为 hcomm 的 Python 接口还没有完全稳定而 PyTorch 的dist接口已经是事实标准。通过 PyTorchdist接口来调用 hcomm可以确保你的代码在未来仍然可用。3.4 单边通信用 Put/Get 实现零拷贝双边通信Send/Recv的缺点是需要发送方和接收方同步容易死锁。单边通信Put/Get可以解决这个问题。以下是用 hcomm 的 Put/Get 实现单边通信的代码importtorchimporttorch.distributedasdistimportos# 1. 初始化进程组os.environ[MASTER_ADDR]localhostos.environ[MASTER_PORT]29500dist.init_process_group(backendhccl,rankint(os.environ[RANK]),world_sizeint(os.environ[WORLD_SIZE]))# 2. 获取 rank 和 world_sizerankdist.get_rank()world_sizedist.get_world_size()# 3. 单边通信Put/Getifrank0:# Rank 0 把数据 Put 到 Rank 1 的指定内存地址tensortorch.randn(1024,1024).npu()# 在 Rank 1 上注册一块内存区域# 这一步需要 Rank 1 的配合实际代码中需要用 IPC 机制来协调dist.put(tensor,peer1,peer_rank1)print(fRank 0: Put 了形状为{tensor.shape}的张量到 Rank 1)else:# Rank 1 从自己的内存地址 Get 数据tensortorch.randn(1024,1024).npu()dist.get(tensor,peer0,peer_rank0)print(fRank 1: Get 到了形状为{tensor.shape}的张量和为{tensor.sum().item()})# 4. 销毁进程组dist.destroy_process_group()这段代码背后的 WHY单边通信的核心思想是发起方直接读写目标方的内存目标方不需要显式参与通信。这种通信模式的优点是延迟更低不需要目标方参与。缺点是需要提前在目标方注册内存区域编程复杂度更高。4. 深度剖析hcomm 的核心技术揭秘前面的章节我们讲了怎么用这一章我们来讲讲为什么。hcomm 到底用了哪些黑科技才能实现比 hccl 更低的点对点通信延迟4.1 零拷贝让数据不走弯路零拷贝Zero-Copy是 hcomm 的核心技术之一。它的核心思想是让数据直接从发送方的内存传输到接收方的内存不经过任何中间缓冲区。具体来说hccl 的 Send/Recv 实现通常需要经过以下步骤发送方把数据拷贝到通信缓冲区通信缓冲区通过互连网络传输到接收方接收方把数据从通信缓冲区拷贝到目标张量这个过程中数据被拷贝了 2 次发送方 1 次接收方 1 次。hcomm 的 Send/Recv 实现则可以直接把数据从发送方的显存传输到接收方的显存不需要经过通信缓冲区。数据拷贝次数减少到 0 次如果是 GPUDirect RDMA 的话或 1 次如果不是 GPUDirect RDMA 的话。4.2 RDMA让网络通信像访问本地内存一样快RDMARemote Direct Memory Access是 hcomm 的另一项核心技术。它的核心思想是让 NPU 能够直接读写远程 NPU 的内存不需要远程 NPU 的 CPU 参与。具体来说传统的网络通信需要经过以下步骤发送方 CPU 把数据拷贝到发送方网卡发送方网卡通过互连网络把数据传输到接收方网卡接收方网卡把数据拷贝到接收方内存接收方 CPU 被中断处理接收到的数据这个过程中发送方 CPU 和接收方 CPU 都需要参与延迟较高。RDMA 则可以绕过 CPU直接把数据从发送方内存传输到接收方内存。延迟可以降低 50% 以上。4.3 内存注册让 NPU 知道哪些内存可以远程访问RDMA 需要一个前提接收方需要提前注册哪些内存区域可以被远程访问。这个注册过程称为内存注册Memory Registration。它的作用是让 NPU 知道哪些内存区域可以远程访问哪些不可以。内存注册的优点是提高了安全性防止远程 NPU 读写不应该访问的内存区域。缺点是增加了编程复杂度需要提前规划好哪些内存区域需要被远程访问。5. 典型应用场景hcomm 适合干什么讲了这么多技术细节你可能会问hcomm 到底适合干什么这里列举几个典型的应用场景。5.1 参数服务器架构Parameter Server Architecture参数服务器架构的通信模式是点对点的每个 Worker 只跟 Parameter Server 通信非常适合用 hcomm 来实现。5.2 流水线并行Pipeline Parallelism流水线并行的通信模式是相邻层之间的点对点通信也非常适合用 hcomm 来实现。5.3 不适合用 hcomm 的场景数据并行训练这种场景需要多 NPU 之间的集合通信用 hccl 更合适大规模集群如 64 卡以上这种场景下 hccl 的拓扑感知和 Halving-Doubling 算法可以带来显著的性能收益hcomm 无法替代hcomm 仓库地址https://atomgit.com/cann/hcomm欢迎访问获取最新代码和文档。如果你在使用过程中遇到问题欢迎在仓库提 Issue社区会及时响应。