如果你会写 NumPy就应该能在 NPU 上跑出结果。asnumpy 做的事情看起来简单但要做好并不容易。我之前帮同事查一个性能问题发现他的代码里有个循环——用np.sum对一个三维数组沿着两个轴做规约在 CPU 上跑了 15 秒。整个推理流程被这个循环卡死了。他问我有没有办法加速我说你用的 NumPy 不支持 GPU/NPU换个接口试试。他说「那要重写吗」不用重写。用 asnumpy 就行。一、asnumpy 是做什么的asnumpy 是 CANN 生态中的一个 NPU 原生计算库它让你用 NumPy 风格的 API 在昇腾 NPU 上做计算。它不是 NumPy 的替代品而是 NumPy 的昇腾加速通道。你在代码里写的np.sum()换成asnumpy.sum()逻辑不用变但计算跑在 NPU 上而不是 CPU 上。从架构位置看asnumpy 在 CANN 五层架构中横跨计算服务层和执行层。它不直接调用硬件指令而是通过调用底层算子——AscendCL 执行层的算子来完成计算。你可以把它理解成一个 NumPy 语法的算子编排层。链接https://atomgit.com/cann/asnumpy二、环境准备开始之前确认环境# 1. 确认 NPU 驱动正常npu-smi info# 你应该看到类似Device 0, Memory: 32768 MB# 2. 确认 CANN 包已安装cat/usr/local/Ascend/ascend-toolkit/version.cfg# 应显示 CANN 8.0 或更高版本⚠️踩坑预警如果你用的是 Atlas A3 服务器的 AICC 环境CANN 的安装路径可能在/home/ma-user/Ascend/而不是默认的/usr/local/Ascend/。先确认路径再做后续操作否则import会找不到动态库。三、第一个 asnumpy 程序从最简单的开始——在 NPU 上创建一个数组并做加法importasnumpy# 在 NPU 上创建数组aasnumpy.array([1.0,2.0,3.0,4.0])basnumpy.array([5.0,6.0,7.0,8.0])# NPU 设备上做加法casnumpy.add(a,b)# 把结果拉回主机resultc.to_host()print(fa b {result})# 输出: a b [ 6. 8. 10. 12.]跟 NumPy 比区别只有两个array创建在 NPU 显存上不是在 CPU 内存上需要用to_host()把结果从 NPU 显存搬回 CPU 才能打印或存盘有一件事值得注意to_host()会触发一次显存→内存的数据拷贝。如果你的计算结果是中间产物、马上要被下一轮计算消费不要频繁to_host()。在 NPU 上流转只在最终要取出结果时才搬一次。四、实战案例矩阵乘法性能对比asnumpy 真正的价值在大规模计算上。下面用一个矩阵乘法对比 CPU 和 NPU 的性能差异importasnumpyimporttime SIZE4096# 4096x4096 矩阵# CPU 版本NumPyimportnumpyasnp a_cpunp.random.randn(SIZE,SIZE).astype(np.float32)b_cpunp.random.randn(SIZE,SIZE).astype(np.float32)starttime.time()c_cpunp.matmul(a_cpu,b_cpu)cpu_timetime.time()-start# NPU 版本asnumpy# 先在主机内存预热一次避免第一次包含 JIT 编译时间a_npuasnumpy.from_array(a_cpu)b_npuasnumpy.from_array(b_cpu)# 预热_asnumpy.matmul(a_npu,b_npu)# 计时starttime.time()c_npuasnumpy.matmul(a_npu,b_npu)npu_timetime.time()-startprint(fCPU 耗时:{cpu_time:.3f}s)print(fNPU 耗时:{npu_time:.3f}s)print(f加速比:{cpu_time/npu_time:.1f}x)这个测试的关键细节是预热warmup。第一次在 NPU 上调用算子时会有 JIT 编译开销如果不预热就拿第一次的时间当性能数据会被误报成「NPU 比 CPU 还慢」。实际用户拿到的数据应该是预热后的稳态性能。在 4096x4096 规模的 FP32 矩阵乘法上单卡 Ascend 910 对比 16 核 CPU加速比通常在15-20 倍。注意这不是说 NPU 在任何规模上都比 CPU 快——小规模比如 128x128数据传输开销可能吃掉加速收益大规模才是 asnumpy 的主场。五、常用操作速查这里列出常用操作及其 asnumpy 与 NumPy 的对比操作NumPyasnumpy创建数组np.array([1,2,3])asnumpy.array([1,2,3])从主机导入-asnumpy.from_array(arr)导出回主机-np_arr asnp_arr.to_host()矩阵乘法np.matmul(a,b)asnumpy.matmul(a,b)逐元素乘法a * basnumpy.multiply(a,b)求和np.sum(a, axis0)asnumpy.sum(a, axis0)形状变换a.reshape(2,3)asnumpy.reshape(a,(2,3))转置a.Tasnumpy.transpose(a)三角函数np.sin(a)asnumpy.sin(a)大部分常用操作的接口名和 NumPy 一致差异主要在数据驻留位置NPU 显存 vs CPU 内存。注意asnumpy.sum支持axis参数——这个在早期版本里是没有的CANN 8.0 后才完整支持多轴规约。六、三个必知的坑坑一别在循环里 to_host()# ❌ 错误做法每步都搬回主机forxininputs:resultasnumpy.process(x).to_host()# 每次搬一次数据results.append(result)# ✅ 正确做法在 NPU 上累积只搬一次batch_dataasnumpy.stack(inputs)# 一次搬到 NPUbatch_resultasnumpy.process(batch_data)# 全在 NPU 上算resultsbatch_result.to_host()# 最后搬一次每做一次to_host()数据就要穿越一次 PCIe 总线。在大规模计算中这个开销比计算本身还大。坑二小规模计算用 NumPy 即可如果数据量很小比如 100x100 矩阵搬一次数据的开销可能比计算本身大几倍。asnumpy 的优势在大规模计算——BatchSize 越大NPU 的并行度利用率越高对比 CPU 的加速效果越明显。坑三数据类型需要显式指定NumPy 会默认用float64但昇腾 NPU 对float64的支持需要手动开启。如果你不指定 dtype可能会触发隐式转换导致精度问题。建议 float32 场景全程显式声明# ✅ 显式指定 float32aasnumpy.array(data,dtypefloat32)七、进阶方向掌握基础操作后可以往三个方向发展NPU 原生广播机制asnumpy 的广播语义和 NumPy 兼容但在 NPU 上的实现是通过算子融合来优化的。如果你在低维和高维数组之间做操作asnumpy 会自动寻找最优的融合路径不需要手动调。与 AscendCL 混合使用asnumpy 的可访问性不错但有些高级功能比如自定义算子、Stream 管理需要下沉到 AscendCL 层面。你可以用 asnumpy 处理数据预处理和结果后处理用 AscendCL 的 IR 构图 API 处理核心推理逻辑。性能监控通过asnumpy.profiler可以收集每次操作的时间消耗和显存占用帮助你发现性能瓶颈。在大批量计算任务中profiler 数据是判断「是不是去搬结果了」的有效依据。链接https://atomgit.com/cann/asnumpy
asnumpy 实战：用 NumPy 语法在昇腾 NPU 上跑计算
发布时间：2026/5/23 23:00:48
如果你会写 NumPy就应该能在 NPU 上跑出结果。asnumpy 做的事情看起来简单但要做好并不容易。我之前帮同事查一个性能问题发现他的代码里有个循环——用np.sum对一个三维数组沿着两个轴做规约在 CPU 上跑了 15 秒。整个推理流程被这个循环卡死了。他问我有没有办法加速我说你用的 NumPy 不支持 GPU/NPU换个接口试试。他说「那要重写吗」不用重写。用 asnumpy 就行。一、asnumpy 是做什么的asnumpy 是 CANN 生态中的一个 NPU 原生计算库它让你用 NumPy 风格的 API 在昇腾 NPU 上做计算。它不是 NumPy 的替代品而是 NumPy 的昇腾加速通道。你在代码里写的np.sum()换成asnumpy.sum()逻辑不用变但计算跑在 NPU 上而不是 CPU 上。从架构位置看asnumpy 在 CANN 五层架构中横跨计算服务层和执行层。它不直接调用硬件指令而是通过调用底层算子——AscendCL 执行层的算子来完成计算。你可以把它理解成一个 NumPy 语法的算子编排层。链接https://atomgit.com/cann/asnumpy二、环境准备开始之前确认环境# 1. 确认 NPU 驱动正常npu-smi info# 你应该看到类似Device 0, Memory: 32768 MB# 2. 确认 CANN 包已安装cat/usr/local/Ascend/ascend-toolkit/version.cfg# 应显示 CANN 8.0 或更高版本⚠️踩坑预警如果你用的是 Atlas A3 服务器的 AICC 环境CANN 的安装路径可能在/home/ma-user/Ascend/而不是默认的/usr/local/Ascend/。先确认路径再做后续操作否则import会找不到动态库。三、第一个 asnumpy 程序从最简单的开始——在 NPU 上创建一个数组并做加法importasnumpy# 在 NPU 上创建数组aasnumpy.array([1.0,2.0,3.0,4.0])basnumpy.array([5.0,6.0,7.0,8.0])# NPU 设备上做加法casnumpy.add(a,b)# 把结果拉回主机resultc.to_host()print(fa b {result})# 输出: a b [ 6. 8. 10. 12.]跟 NumPy 比区别只有两个array创建在 NPU 显存上不是在 CPU 内存上需要用to_host()把结果从 NPU 显存搬回 CPU 才能打印或存盘有一件事值得注意to_host()会触发一次显存→内存的数据拷贝。如果你的计算结果是中间产物、马上要被下一轮计算消费不要频繁to_host()。在 NPU 上流转只在最终要取出结果时才搬一次。四、实战案例矩阵乘法性能对比asnumpy 真正的价值在大规模计算上。下面用一个矩阵乘法对比 CPU 和 NPU 的性能差异importasnumpyimporttime SIZE4096# 4096x4096 矩阵# CPU 版本NumPyimportnumpyasnp a_cpunp.random.randn(SIZE,SIZE).astype(np.float32)b_cpunp.random.randn(SIZE,SIZE).astype(np.float32)starttime.time()c_cpunp.matmul(a_cpu,b_cpu)cpu_timetime.time()-start# NPU 版本asnumpy# 先在主机内存预热一次避免第一次包含 JIT 编译时间a_npuasnumpy.from_array(a_cpu)b_npuasnumpy.from_array(b_cpu)# 预热_asnumpy.matmul(a_npu,b_npu)# 计时starttime.time()c_npuasnumpy.matmul(a_npu,b_npu)npu_timetime.time()-startprint(fCPU 耗时:{cpu_time:.3f}s)print(fNPU 耗时:{npu_time:.3f}s)print(f加速比:{cpu_time/npu_time:.1f}x)这个测试的关键细节是预热warmup。第一次在 NPU 上调用算子时会有 JIT 编译开销如果不预热就拿第一次的时间当性能数据会被误报成「NPU 比 CPU 还慢」。实际用户拿到的数据应该是预热后的稳态性能。在 4096x4096 规模的 FP32 矩阵乘法上单卡 Ascend 910 对比 16 核 CPU加速比通常在15-20 倍。注意这不是说 NPU 在任何规模上都比 CPU 快——小规模比如 128x128数据传输开销可能吃掉加速收益大规模才是 asnumpy 的主场。五、常用操作速查这里列出常用操作及其 asnumpy 与 NumPy 的对比操作NumPyasnumpy创建数组np.array([1,2,3])asnumpy.array([1,2,3])从主机导入-asnumpy.from_array(arr)导出回主机-np_arr asnp_arr.to_host()矩阵乘法np.matmul(a,b)asnumpy.matmul(a,b)逐元素乘法a * basnumpy.multiply(a,b)求和np.sum(a, axis0)asnumpy.sum(a, axis0)形状变换a.reshape(2,3)asnumpy.reshape(a,(2,3))转置a.Tasnumpy.transpose(a)三角函数np.sin(a)asnumpy.sin(a)大部分常用操作的接口名和 NumPy 一致差异主要在数据驻留位置NPU 显存 vs CPU 内存。注意asnumpy.sum支持axis参数——这个在早期版本里是没有的CANN 8.0 后才完整支持多轴规约。六、三个必知的坑坑一别在循环里 to_host()# ❌ 错误做法每步都搬回主机forxininputs:resultasnumpy.process(x).to_host()# 每次搬一次数据results.append(result)# ✅ 正确做法在 NPU 上累积只搬一次batch_dataasnumpy.stack(inputs)# 一次搬到 NPUbatch_resultasnumpy.process(batch_data)# 全在 NPU 上算resultsbatch_result.to_host()# 最后搬一次每做一次to_host()数据就要穿越一次 PCIe 总线。在大规模计算中这个开销比计算本身还大。坑二小规模计算用 NumPy 即可如果数据量很小比如 100x100 矩阵搬一次数据的开销可能比计算本身大几倍。asnumpy 的优势在大规模计算——BatchSize 越大NPU 的并行度利用率越高对比 CPU 的加速效果越明显。坑三数据类型需要显式指定NumPy 会默认用float64但昇腾 NPU 对float64的支持需要手动开启。如果你不指定 dtype可能会触发隐式转换导致精度问题。建议 float32 场景全程显式声明# ✅ 显式指定 float32aasnumpy.array(data,dtypefloat32)七、进阶方向掌握基础操作后可以往三个方向发展NPU 原生广播机制asnumpy 的广播语义和 NumPy 兼容但在 NPU 上的实现是通过算子融合来优化的。如果你在低维和高维数组之间做操作asnumpy 会自动寻找最优的融合路径不需要手动调。与 AscendCL 混合使用asnumpy 的可访问性不错但有些高级功能比如自定义算子、Stream 管理需要下沉到 AscendCL 层面。你可以用 asnumpy 处理数据预处理和结果后处理用 AscendCL 的 IR 构图 API 处理核心推理逻辑。性能监控通过asnumpy.profiler可以收集每次操作的时间消耗和显存占用帮助你发现性能瓶颈。在大批量计算任务中profiler 数据是判断「是不是去搬结果了」的有效依据。链接https://atomgit.com/cann/asnumpy
