前言在昇腾 CANN 的算子开发体系中Ascend C 提供了高层抽象的编程接口屏蔽了底层硬件细节。但在某些高性能场景下开发者需要更精细地控制计算单元的行为这时候就轮到 PTO 登场了。PTOProgrammable Tensor Engine是昇腾的虚拟指令集架构pypto 则是它的 Python 接口工具链。这篇文章用 pypto 从零实现一个 ReLU 算子把虚拟指令集的开发流程走一遍。PTO 是什么虚拟指令集 vs 物理指令集昇腾 NPU 上实际执行的是物理指令集它与硬件架构深度绑定不同代际的芯片指令格式可能存在差异。PTO 作为虚拟指令集位于物理指令集之上提供了一套稳定的编程抽象。可以把 PTO 理解为昇腾版的汇编中间层你用 PTO 指令写算子逻辑PTO 编译器负责将其翻译成目标芯片的物理指令。这种设计带来两个好处一是跨代兼容。同一份 PTO 代码可以在 Ascend 910、Ascend 910PR 等不同芯片上运行编译器自动处理指令映射。类比来说PTO 就像 Java 字节码物理指令则是各平台的机器码。二是可移植性。虚拟指令集的设计可以吸收不同硬件实现的共性屏蔽差异。比如昇腾达芬奇架构的 Cube 单元矩阵计算、Vector 单元向量计算在 PTO 层都映射到统一的张量操作指令。PTO 的核心指令类型包括数据搬运指令GM全局内存与 UB统一缓冲区之间的数据传输如data_move向量计算指令Vector 单元的加减乘除、激活函数等如adds、muls、relu矩阵计算指令Cube 单元的矩阵乘累加如mmad控制流指令循环、分支、同步等这些指令不是 Python 函数调用而是要经过编译器转换为二进制指令流最终在 NPU 上执行。pypto 的作用就是提供一套 Python API让你可以用代码的方式构建 PTO 指令序列。PTO 编译器Python 接口的设计pypto 的 Python 接口设计遵循三个原则类型安全、静态可分析、与 Ascend C 一致的概念模型。核心数据结构pypto 中最基础的概念是 TensorShape 和 TensorDescfrompyptoimportTensorShape,TensorDesc,DataType# 定义张量形状高度、宽度、每个元素的数据类型shapeTensorShape(height1024,width1)descTensorDesc(shapeshape,dtypeDataType.FLOAT16)TensorDesc 描述了张量的元信息包括形状、数据类型、内存布局等。编译器根据这些信息进行指令生成和优化。指令构建流程用 pypto 开发算子的一般流程定义输入输出张量的描述信息创建 PTO 模块设置入口函数在函数体中构建指令序列编译生成二进制指令流在 NPU 上执行或仿真验证这个过程与写传统汇编程序类似区别在于你用的是 Python 代码来描述指令序列而不是手写汇编文本。内存模型PTO 的内存模型与昇腾硬件架构对应GMGlobal Memory全局内存容量大但延迟高UBUnified Buffer统一缓冲区片上高速缓存Vector 单元直接从这里读写L1 BufferCube 单元的专用缓存用于矩阵计算的中间结果算子开发的核心任务之一就是规划数据在 GM、UB、L1 之间的搬运路径。数据局部性对性能影响极大——UB 能容纳的数据量有限需要分块搬运处理。简单算子开发用 pypto 写一个 ReLUReLURectified Linear Unit是最简单的激活函数之一y max(0, x)。用 pypto 实现它可以完整体验 PTO 开发的各个环节。环境准备首先确保 CANN 环境已正确安装pypto 通常随 CANN 包一起提供。检查环境# 检查 CANN 版本npu-smi info# 检查 pypto 是否可用python-cimport pypto; print(pypto.__version__)如果导入失败可能需要设置 PYTHONPATH 或安装对应的 CANN 版本。定义张量描述ReLU 算子的输入输出形状相同数据类型通常为 FLOAT16frompyptoimportTensorShape,TensorDesc,DataType,Module# 输入张量1024 个 float16 元素input_shapeTensorShape(height1024,width1)input_descTensorDesc(shapeinput_shape,dtypeDataType.FLOAT16)# 输出张量与输入相同output_descTensorDesc(shapeinput_shape,dtypeDataType.FLOAT16)这里 height1024 表示张量长度width1 是为了符合昇腾的内存布局约定NC1HWC0 格式的简化表示。构建 PTO 模块创建模块并定义算子函数moduleModule(namerelu_op)module.entrydefrelu_kernel(input_ptr,output_ptr,elem_count): ReLU 算子入口函数 参数 input_ptr输入数据在 GM 中的地址 output_ptr输出数据在 GM 中的地址 elem_count元素总数 # 申请 UB 空间用于输入输出ub_inputmodule.alloc_ub(input_desc,nameub_input)ub_outputmodule.alloc_ub(output_desc,nameub_output)# 从 GM 搬运数据到 UBmodule.data_move(dstub_input,srcinput_ptr,countelem_count,directionGM_TO_UB)# 执行 ReLU 计算y max(0, x)# PTO 提供原生的 relu 指令Vector 单元直接执行module.relu(dstub_output,srcub_input,countelem_count)# 将结果从 UB 搬运回 GMmodule.data_move(dstoutput_ptr,srcub_output,countelem_count,directionUB_TO_GM)这段代码的逻辑很直观数据从 GM 搬进 UB做 ReLU 计算再搬回 GM。但有几个细节值得注意一是alloc_ub的作用。UB 是有限资源需要显式申请。复杂的算子可能需要多个 UB 缓存区这时候就要仔细规划 UB 使用量避免溢出。二是data_move的方向参数。PTO 中数据搬运是有方向的GM_TO_UB 和 UB_TO_GM 是最常见的两种。三是relu指令的向量特性。这是一条向量化指令一次处理多个元素。Vector 单元的典型宽度是 256 或 512 字节具体取决于芯片型号。编译与生成指令流模块定义完成后调用编译器# 编译生成 PTO 指令流binarymodule.compile(targetascend910)# 保存为文件withopen(relu_kernel.pto,wb)asf:f.write(binary)target参数指定目标芯片型号。编译器会根据芯片特性进行指令调度和优化。编译产物是一个二进制文件包含可直接在 NPU 上执行的指令序列。你也可以通过module.print_asm()查看文本形式的汇编输出方便调试。调试方法PTO 仿真和硬件验证算子开发不可能一蹴而就调试是必不可少的环节。PTO 提供了仿真执行和硬件验证两种方式。PTO 仿真器pypto 内置了指令级仿真器可以在没有 NPU 硬件的情况下验证算子逻辑importnumpyasnpfrompypto.simulatorimportSimulator# 准备测试数据input_datanp.random.randn(1024).astype(np.float16)*2# 正负值都有expected_outputnp.maximum(input_data,0)# NumPy 的 ReLU 结果# 创建仿真器并加载模块simSimulator(module)# 执行仿真output_datasim.run(input_ptrinput_data)# 对比结果np.testing.assert_allclose(output_data,expected_output,rtol1e-3)print(仿真验证通过)仿真器的优点是速度快、可复现适合功能验证阶段。但它不模拟真实的性能行为执行时间只能参考不能用于性能调优。硬件验证功能验证通过后需要在真实 NPU 上运行。这需要编写一个 Host 程序来加载和执行编译好的 PTO 模块importacl# AscendCL Python 接口# 初始化 ACLacl.init()# 加载编译好的 PTO 模块model_idacl.pto.load(relu_kernel.pto)# 分配设备内存input_size1024*2# float16 2 bytesinput_dev,_acl.malloc_host(input_size)output_dev,_acl.malloc_host(input_size)# 拷贝输入数据到设备input_hostnp.random.randn(1024).astype(np.float16)acl.memcpy(input_dev,input_host.nbytes,input_host,input_host.nbytes)# 执行算子acl.pto.execute(model_id,[input_dev],[output_dev],[1024])# 拷贝结果回主机output_hostnp.zeros(1024,dtypenp.float16)acl.memcpy(output_host,output_host.nbytes,output_dev,output_host.nbytes)# 验证结果expectednp.maximum(input_host,0)np.testing.assert_allclose(output_host,expected,rtol1e-3)# 释放资源acl.free(input_dev)acl.free(output_dev)acl.pto.unload(model_id)acl.finalize()硬件验证的关键步骤是内存管理和执行流控制。ACL 提供了统一的设备内存分配和拷贝接口PTO 模块加载后通过execute调用。常见调试技巧PTO 开发中常见的问题和排查方法数据搬运错误如果输出全是零或随机值首先检查data_move的方向参数和 count 是否正确。UB 地址和 GM 地址不要搞混。UB 空间溢出复杂算子可能申请多个 UB 缓冲区总和超过硬件容量会报错。可以通过module.print_memory_usage()查看内存规划。指令不生效某些 PTO 指令有特定的使用约束比如mmad要求输入张量的形状必须是 Cube 单元支持的格式。查阅 PTO 指令手册确认约束条件。性能不达预期数据局部性是性能关键。尽量减少 GM 和 UB 之间的搬运次数合理设置分块大小以充分利用 UB 空间。应用场景自定义算子的快速原型pypto 的典型应用场景是自定义算子的原型开发和性能优化。复杂算子开发当 Ascend C 提供的标准 API 无法满足需求时可以用 PTO 实现更底层的控制。比如某些特殊的矩阵分解算法需要精细控制 Cube 单元的计算流程PTO 可以直接映射到硬件行为。性能调优Ascend C 编译器自动生成的指令序列可能存在优化空间。通过手写 PTO 指令可以进行指令级调优合并连续的相同操作减少指令发射开销调整数据搬运和计算的流水线隐藏内存延迟利用双缓冲等技术提高 UB 利用率算子融合多个小算子串联执行时频繁的 GM 读写成为性能瓶颈。用 PTO 可以将多个算子融合成一个模块数据在 UB 中流转避免往返 GM# 融合算子示例ReLU Scale Biasmodule.relu(dstub_temp,srcub_input,countn)module.muls(dstub_temp,srcub_temp,scalarscale,countn)module.adds(dstub_output,srcub_temp,scalarbias,countn)融合后的算子只需一次 GM 读入和一次 GM 写出中间结果保留在 UB 中。新算子验证在正式提交算子到 CANN 算子库之前可以用 pypto 快速验证算法思路。PTO 代码比 Ascend C 更接近硬件执行模型适合性能分析阶段的快速迭代。如果验证通过再考虑用 Ascend C 重写享受更好的可移植性和编译器优化。PTO 和 Ascend C 不是替代关系而是不同层次的开发工具。小结PTO 作为昇腾的虚拟指令集在 Ascend C 和物理硬件之间架起了一座桥梁。pypto 提供的 Python 接口让开发者可以用熟悉的编程语言来操作 PTO降低了入门门槛。这篇文章用 ReLU 算子演示了 PTO 开发的完整流程从张量描述定义到指令序列构建再到仿真和硬件验证。虽然 ReLU 本身很简单但它涵盖了 PTO 编程的核心要素——内存模型、指令类型、编译流程。真正的算子开发会复杂得多但基本方法论是一样的理解硬件架构规划数据流用指令描述计算。PTO 给了你直接对话昇腾 NPU 的能力剩下的就看你的想象力了。如果你需要处理 Ascend C 无法高效表达的算子或者想深入理解昇腾硬件的执行模型pypto 是一个值得投入时间学习的工具。仓库地址https://atomgit.com/cann/pypto
CANN pypto 工具链：PTO 虚拟指令集开发入门
发布时间：2026/5/28 22:41:09
前言在昇腾 CANN 的算子开发体系中Ascend C 提供了高层抽象的编程接口屏蔽了底层硬件细节。但在某些高性能场景下开发者需要更精细地控制计算单元的行为这时候就轮到 PTO 登场了。PTOProgrammable Tensor Engine是昇腾的虚拟指令集架构pypto 则是它的 Python 接口工具链。这篇文章用 pypto 从零实现一个 ReLU 算子把虚拟指令集的开发流程走一遍。PTO 是什么虚拟指令集 vs 物理指令集昇腾 NPU 上实际执行的是物理指令集它与硬件架构深度绑定不同代际的芯片指令格式可能存在差异。PTO 作为虚拟指令集位于物理指令集之上提供了一套稳定的编程抽象。可以把 PTO 理解为昇腾版的汇编中间层你用 PTO 指令写算子逻辑PTO 编译器负责将其翻译成目标芯片的物理指令。这种设计带来两个好处一是跨代兼容。同一份 PTO 代码可以在 Ascend 910、Ascend 910PR 等不同芯片上运行编译器自动处理指令映射。类比来说PTO 就像 Java 字节码物理指令则是各平台的机器码。二是可移植性。虚拟指令集的设计可以吸收不同硬件实现的共性屏蔽差异。比如昇腾达芬奇架构的 Cube 单元矩阵计算、Vector 单元向量计算在 PTO 层都映射到统一的张量操作指令。PTO 的核心指令类型包括数据搬运指令GM全局内存与 UB统一缓冲区之间的数据传输如data_move向量计算指令Vector 单元的加减乘除、激活函数等如adds、muls、relu矩阵计算指令Cube 单元的矩阵乘累加如mmad控制流指令循环、分支、同步等这些指令不是 Python 函数调用而是要经过编译器转换为二进制指令流最终在 NPU 上执行。pypto 的作用就是提供一套 Python API让你可以用代码的方式构建 PTO 指令序列。PTO 编译器Python 接口的设计pypto 的 Python 接口设计遵循三个原则类型安全、静态可分析、与 Ascend C 一致的概念模型。核心数据结构pypto 中最基础的概念是 TensorShape 和 TensorDescfrompyptoimportTensorShape,TensorDesc,DataType# 定义张量形状高度、宽度、每个元素的数据类型shapeTensorShape(height1024,width1)descTensorDesc(shapeshape,dtypeDataType.FLOAT16)TensorDesc 描述了张量的元信息包括形状、数据类型、内存布局等。编译器根据这些信息进行指令生成和优化。指令构建流程用 pypto 开发算子的一般流程定义输入输出张量的描述信息创建 PTO 模块设置入口函数在函数体中构建指令序列编译生成二进制指令流在 NPU 上执行或仿真验证这个过程与写传统汇编程序类似区别在于你用的是 Python 代码来描述指令序列而不是手写汇编文本。内存模型PTO 的内存模型与昇腾硬件架构对应GMGlobal Memory全局内存容量大但延迟高UBUnified Buffer统一缓冲区片上高速缓存Vector 单元直接从这里读写L1 BufferCube 单元的专用缓存用于矩阵计算的中间结果算子开发的核心任务之一就是规划数据在 GM、UB、L1 之间的搬运路径。数据局部性对性能影响极大——UB 能容纳的数据量有限需要分块搬运处理。简单算子开发用 pypto 写一个 ReLUReLURectified Linear Unit是最简单的激活函数之一y max(0, x)。用 pypto 实现它可以完整体验 PTO 开发的各个环节。环境准备首先确保 CANN 环境已正确安装pypto 通常随 CANN 包一起提供。检查环境# 检查 CANN 版本npu-smi info# 检查 pypto 是否可用python-cimport pypto; print(pypto.__version__)如果导入失败可能需要设置 PYTHONPATH 或安装对应的 CANN 版本。定义张量描述ReLU 算子的输入输出形状相同数据类型通常为 FLOAT16frompyptoimportTensorShape,TensorDesc,DataType,Module# 输入张量1024 个 float16 元素input_shapeTensorShape(height1024,width1)input_descTensorDesc(shapeinput_shape,dtypeDataType.FLOAT16)# 输出张量与输入相同output_descTensorDesc(shapeinput_shape,dtypeDataType.FLOAT16)这里 height1024 表示张量长度width1 是为了符合昇腾的内存布局约定NC1HWC0 格式的简化表示。构建 PTO 模块创建模块并定义算子函数moduleModule(namerelu_op)module.entrydefrelu_kernel(input_ptr,output_ptr,elem_count): ReLU 算子入口函数 参数 input_ptr输入数据在 GM 中的地址 output_ptr输出数据在 GM 中的地址 elem_count元素总数 # 申请 UB 空间用于输入输出ub_inputmodule.alloc_ub(input_desc,nameub_input)ub_outputmodule.alloc_ub(output_desc,nameub_output)# 从 GM 搬运数据到 UBmodule.data_move(dstub_input,srcinput_ptr,countelem_count,directionGM_TO_UB)# 执行 ReLU 计算y max(0, x)# PTO 提供原生的 relu 指令Vector 单元直接执行module.relu(dstub_output,srcub_input,countelem_count)# 将结果从 UB 搬运回 GMmodule.data_move(dstoutput_ptr,srcub_output,countelem_count,directionUB_TO_GM)这段代码的逻辑很直观数据从 GM 搬进 UB做 ReLU 计算再搬回 GM。但有几个细节值得注意一是alloc_ub的作用。UB 是有限资源需要显式申请。复杂的算子可能需要多个 UB 缓存区这时候就要仔细规划 UB 使用量避免溢出。二是data_move的方向参数。PTO 中数据搬运是有方向的GM_TO_UB 和 UB_TO_GM 是最常见的两种。三是relu指令的向量特性。这是一条向量化指令一次处理多个元素。Vector 单元的典型宽度是 256 或 512 字节具体取决于芯片型号。编译与生成指令流模块定义完成后调用编译器# 编译生成 PTO 指令流binarymodule.compile(targetascend910)# 保存为文件withopen(relu_kernel.pto,wb)asf:f.write(binary)target参数指定目标芯片型号。编译器会根据芯片特性进行指令调度和优化。编译产物是一个二进制文件包含可直接在 NPU 上执行的指令序列。你也可以通过module.print_asm()查看文本形式的汇编输出方便调试。调试方法PTO 仿真和硬件验证算子开发不可能一蹴而就调试是必不可少的环节。PTO 提供了仿真执行和硬件验证两种方式。PTO 仿真器pypto 内置了指令级仿真器可以在没有 NPU 硬件的情况下验证算子逻辑importnumpyasnpfrompypto.simulatorimportSimulator# 准备测试数据input_datanp.random.randn(1024).astype(np.float16)*2# 正负值都有expected_outputnp.maximum(input_data,0)# NumPy 的 ReLU 结果# 创建仿真器并加载模块simSimulator(module)# 执行仿真output_datasim.run(input_ptrinput_data)# 对比结果np.testing.assert_allclose(output_data,expected_output,rtol1e-3)print(仿真验证通过)仿真器的优点是速度快、可复现适合功能验证阶段。但它不模拟真实的性能行为执行时间只能参考不能用于性能调优。硬件验证功能验证通过后需要在真实 NPU 上运行。这需要编写一个 Host 程序来加载和执行编译好的 PTO 模块importacl# AscendCL Python 接口# 初始化 ACLacl.init()# 加载编译好的 PTO 模块model_idacl.pto.load(relu_kernel.pto)# 分配设备内存input_size1024*2# float16 2 bytesinput_dev,_acl.malloc_host(input_size)output_dev,_acl.malloc_host(input_size)# 拷贝输入数据到设备input_hostnp.random.randn(1024).astype(np.float16)acl.memcpy(input_dev,input_host.nbytes,input_host,input_host.nbytes)# 执行算子acl.pto.execute(model_id,[input_dev],[output_dev],[1024])# 拷贝结果回主机output_hostnp.zeros(1024,dtypenp.float16)acl.memcpy(output_host,output_host.nbytes,output_dev,output_host.nbytes)# 验证结果expectednp.maximum(input_host,0)np.testing.assert_allclose(output_host,expected,rtol1e-3)# 释放资源acl.free(input_dev)acl.free(output_dev)acl.pto.unload(model_id)acl.finalize()硬件验证的关键步骤是内存管理和执行流控制。ACL 提供了统一的设备内存分配和拷贝接口PTO 模块加载后通过execute调用。常见调试技巧PTO 开发中常见的问题和排查方法数据搬运错误如果输出全是零或随机值首先检查data_move的方向参数和 count 是否正确。UB 地址和 GM 地址不要搞混。UB 空间溢出复杂算子可能申请多个 UB 缓冲区总和超过硬件容量会报错。可以通过module.print_memory_usage()查看内存规划。指令不生效某些 PTO 指令有特定的使用约束比如mmad要求输入张量的形状必须是 Cube 单元支持的格式。查阅 PTO 指令手册确认约束条件。性能不达预期数据局部性是性能关键。尽量减少 GM 和 UB 之间的搬运次数合理设置分块大小以充分利用 UB 空间。应用场景自定义算子的快速原型pypto 的典型应用场景是自定义算子的原型开发和性能优化。复杂算子开发当 Ascend C 提供的标准 API 无法满足需求时可以用 PTO 实现更底层的控制。比如某些特殊的矩阵分解算法需要精细控制 Cube 单元的计算流程PTO 可以直接映射到硬件行为。性能调优Ascend C 编译器自动生成的指令序列可能存在优化空间。通过手写 PTO 指令可以进行指令级调优合并连续的相同操作减少指令发射开销调整数据搬运和计算的流水线隐藏内存延迟利用双缓冲等技术提高 UB 利用率算子融合多个小算子串联执行时频繁的 GM 读写成为性能瓶颈。用 PTO 可以将多个算子融合成一个模块数据在 UB 中流转避免往返 GM# 融合算子示例ReLU Scale Biasmodule.relu(dstub_temp,srcub_input,countn)module.muls(dstub_temp,srcub_temp,scalarscale,countn)module.adds(dstub_output,srcub_temp,scalarbias,countn)融合后的算子只需一次 GM 读入和一次 GM 写出中间结果保留在 UB 中。新算子验证在正式提交算子到 CANN 算子库之前可以用 pypto 快速验证算法思路。PTO 代码比 Ascend C 更接近硬件执行模型适合性能分析阶段的快速迭代。如果验证通过再考虑用 Ascend C 重写享受更好的可移植性和编译器优化。PTO 和 Ascend C 不是替代关系而是不同层次的开发工具。小结PTO 作为昇腾的虚拟指令集在 Ascend C 和物理硬件之间架起了一座桥梁。pypto 提供的 Python 接口让开发者可以用熟悉的编程语言来操作 PTO降低了入门门槛。这篇文章用 ReLU 算子演示了 PTO 开发的完整流程从张量描述定义到指令序列构建再到仿真和硬件验证。虽然 ReLU 本身很简单但它涵盖了 PTO 编程的核心要素——内存模型、指令类型、编译流程。真正的算子开发会复杂得多但基本方法论是一样的理解硬件架构规划数据流用指令描述计算。PTO 给了你直接对话昇腾 NPU 的能力剩下的就看你的想象力了。如果你需要处理 Ascend C 无法高效表达的算子或者想深入理解昇腾硬件的执行模型pypto 是一个值得投入时间学习的工具。仓库地址https://atomgit.com/cann/pypto
