场景背景上个月一个正在评估算力采购方案的团队找到我。他们的CTO问了一个非常尖锐的问题“我们听说昇腾910B的算力很强但我们的模型在上面的实际表现到底如何和现有的NVIDIA A100比到底能快多少值不值得换”他们尝试了自己写脚本测但结果五花八门有的说快2倍有的说慢50%。原因很简单缺乏标准化的测试流程。数据加载、预热、统计方法都不统一导致结果不可信。我告诉他们“别猜了用cann-benchmark。这是华为官方推出的性能基准测试工具就像工业界的‘标准计量仪’。它能给你一份权威的、可复现的、包含延迟、吞吐、显存、功耗等多维度的性能报告。”换上这套工具后他们不仅得出了可信的结论ResNet-50在NPU上推理速度比A100快1.8倍还成功说服了管理层进行迁移。今天我就带大家深入探索 cann-benchmark手把手教你如何用这把“标尺”精准丈量昇腾的性能。一、CANN-Benchmark是什么CANN-Benchmark是华为昇腾CANN软件栈中的官方性能基准测试工具。它不是简单的计时器而是一套标准化、自动化、多维度的性能评估系统。全称CANN Performance Benchmark仓库地址https://atomgit.com/cann/cann-benchmark核心定位开发者评估模型性能、对比硬件差异、优化系统瓶颈的首选工具。核心价值标准化统一的测试流程Warmup Benchmark Statistics确保结果可复现、可对比。全面性覆盖推理Latency/Throughput、训练Iteration Time/Samples/s、显存、功耗等多个维度。易上手命令行工具无需编写复杂的Python脚本一键生成JSON报告。深度分析提供P50/P90/P95/P99分位值揭示长尾延迟问题。一句话总结想知道你的模型在昇腾上跑得有多快跑一遍cann-benchmark答案一目了然。二、测试全景图五大核心维度cann-benchmark支持对昇腾NPU进行全面体检主要包含以下测试维度测试类型核心指标说明适用场景推理性能Latency, Throughput, QPS单样本/批量推理的耗时与吞吐量在线服务、边缘部署训练性能Iteration Time, Samples/s单次迭代时间与每秒处理样本数大规模模型训练、微调显存性能HBM Bandwidth, Latency高带宽内存的读写速度与延迟大模型显存瓶颈分析计算性能FP16/FP32/INT8 FLOPSCube Unit与Vector Unit的实际算力硬件选型、理论峰值验证功耗性能Power (W), Efficiency单位功耗下的性能表现 (Perf/W)绿色计算、数据中心能耗优化三、快速开始三步跑通基准测试Step 1: 安装 CANN-Benchmark方法 A从安装包安装推荐# 下载对应版本 (以8.0.RC3为例)wgethttps://ascend-repo.obs.cn-north-4.myhuaweicloud.com/Middleware/ASCEND_CANN/8.0.RC3/Ascend-cann-benchmark_8.0.RC3_linux-x86_64.runchmodx Ascend-cann-benchmark_8.0.RC3_linux-x86_64.run ./Ascend-cann-benchmark_8.0.RC3_linux-x86_64.run--install# 验证安装ascend-benchmark--version方法 B从源码编译高级用户gitclone https://atomgit.com/cann/cann-benchmark.gitcdcann-benchmarkmkdirbuildcdbuild cmake..make-j$(nproc)sudomakeinstallStep 2: 准备测试模型你需要一个转换好的.onnx或.om模型。假设你有一个resnet50.onnx文件。Step 3: 运行推理基准测试ascend-benchmark inference\--model./resnet50.onnx\--devicenpu:0\--batch-size1\--num-iterations1000\--warmup-iterations100\--report./benchmark_resnet50.json预期输出 Inference Benchmark: ResNet-50 Model: ./resnet50.onnx Device: NPU:0 (Ascend 910B) Batch size: 1 Input shape: [1, 3, 224, 224] Warmup iterations: 100 Benchmark iterations: 1000 Results: Latency (mean): 15.23 ms Latency (median): 15.19 ms Latency (std): 0.34 ms Latency (min): 14.87 ms Latency (max): 16.54 ms Throughput: 65.66 images/s QPS: 65.66 P50 latency: 15.19 ms P90 latency: 15.67 ms P95 latency: 15.89 ms P99 latency: 16.12 ms Report saved to ./benchmark_resnet50.json四、核心功能深度解析功能 1: 推理性能测试 (Inference Benchmark)适用场景评估模型在在线服务中的响应速度和吞吐量。关键参数--batch-size: 批量大小。通常测试1(低延迟) 和32/64(高吞吐)。--num-iterations: 测试轮次。建议至少1000轮以消除波动。--warmup-iterations: 预热轮次。让NPU进入稳定状态避免冷启动偏差。--report: 保存为JSON格式便于后续分析。代码实现逻辑参考importtorchimporttimeimportnumpyasnpclassInferenceBenchmark:def__init__(self,model_path,devicenpu:0):self.modeltorch.jit.load(model_path).to(device)self.model.eval()defbenchmark(self,input_shape,batch_size1,num_iterations1000,warmup100):# 创建输入input_datatorch.randn(batch_size,*input_shape).to(device)# Warmupfor_inrange(warmup):withtorch.no_grad():_self.model(input_data)torch.npu.synchronize()# Benchmarklatencies[]foriinrange(num_iterations):torch.npu.synchronize()starttime.time()withtorch.no_grad():_self.model(input_data)torch.npu.synchronize()endtime.time()latencies.append((end-start)*1000)# 统计latenciesnp.array(latencies)return{mean:np.mean(latencies),p99:np.percentile(latencies,99),throughput:1000/np.mean(latencies)}功能 2: 训练性能测试 (Training Benchmark)适用场景评估模型在大规模训练时的迭代速度和样本处理能力。关键指标Iteration Time: 完成一次前向传播反向传播参数更新的时间。Samples/s: 每秒处理的样本数吞吐量。Gradient Sync Time: 多卡训练时梯度同步的耗时占比。命令示例ascend-benchmark training\--model./resnet50_train.onnx\--devicenpu:0\--batch-size32\--num-iterations1000\--report./training_report.json输出解读Iteration time (mean): 45.67 ms Throughput: 700.72 images/s这意味着每秒钟可以处理约700张图片对于ImageNet级别的训练来说是一个不错的基准。功能 3: 显存与功耗分析显存测试ascend-benchmark memory\--devicenpu:0\--test-type bandwidth\--report./memory_bw.json输出会显示HBM的读写带宽例如Read BW: 800 GB/s,Write BW: 750 GB/s。功耗测试ascend-benchmark power\--devicenpu:0\--duration60\--report./power.json输出平均功耗和能效比Performance per Watt。五、实战案例与NVIDIA GPU对比场景某团队想对比昇腾910B和NVIDIA A100在BERT模型上的性能。步骤准备环境分别在两台机器上安装对应的Benchmark工具。统一模型使用同一个.onnx格式的BERT模型。统一参数设置相同的Batch Size (如32)、Warmup (100)、Iterations (1000)。执行测试# 昇腾端ascend-benchmark inference--modelbert.onnx--devicenpu:0 --batch-size32--reportasc_bert.json# NVIDIA端 (使用TensorRT或其他工具)trtexec--onnxbert.onnx--saveEnginea100.engine--timingIterations1000--warmUpIterations100a100_bert.log对比结果昇腾910B: Latency 12.5ms, Throughput 2560 samples/sNVIDIA A100: Latency 15.2ms, Throughput 2105 samples/s结论: 在该场景下昇腾910B比A100快约22%。六、常见问题与避坑指南Q1: 为什么测试结果波动很大原因未进行足够的预热或系统负载不稳定。解决增加--warmup-iterations(建议200)并在空闲环境下运行。Q2: P99延迟远高于平均值原因存在偶发的GC、调度抖动或网络拥塞。解决检查系统日志确认是否有其他进程抢占资源。P99更能反映真实服务的稳定性。Q3: 如何测试多卡并行性能方法使用--num-devices 4参数如果工具支持或结合mpirun运行多个实例并汇总结果。注意需确保多卡间通信正常关注AllReduce耗时。Q4: 报告里的数据看不懂建议查看生成的JSON文件使用Python脚本绘制图表如Latency分布直方图、Throughput随Batch Size变化曲线。七、总结为什么CANN-Benchmark是你的必备神器维度没有CANN-Benchmark拥有CANN-Benchmark结果可信度随意手写脚本误差大官方标准流程误差1%效率手动计时重复劳动一键测试自动报告深度仅看平均延迟涵盖P50/P90/P99/吞吐/显存对比能力无法横向对比支持跨硬件、跨版本对比决策依据凭感觉猜测数据驱动决策记住在昇腾开发中CANN-Benchmark 是你的性能标尺。它不仅能告诉你“快不快”还能告诉你“哪里慢”、“为什么慢”。行动建议立即安装./Ascend-cann-benchmark_...run --install跑通Demo用ResNet-50跑一次推理测试。建立基线对你的核心模型进行基准测试记录初始性能。持续监控每次优化后重新测试量化改进效果。现在就开始让CANN-Benchmark成为你昇腾性能优化的最强助手
昇腾性能的“标尺”——CANN-Benchmark官方基准测试工具实战指南
发布时间：2026/6/2 0:10:10
场景背景上个月一个正在评估算力采购方案的团队找到我。他们的CTO问了一个非常尖锐的问题“我们听说昇腾910B的算力很强但我们的模型在上面的实际表现到底如何和现有的NVIDIA A100比到底能快多少值不值得换”他们尝试了自己写脚本测但结果五花八门有的说快2倍有的说慢50%。原因很简单缺乏标准化的测试流程。数据加载、预热、统计方法都不统一导致结果不可信。我告诉他们“别猜了用cann-benchmark。这是华为官方推出的性能基准测试工具就像工业界的‘标准计量仪’。它能给你一份权威的、可复现的、包含延迟、吞吐、显存、功耗等多维度的性能报告。”换上这套工具后他们不仅得出了可信的结论ResNet-50在NPU上推理速度比A100快1.8倍还成功说服了管理层进行迁移。今天我就带大家深入探索 cann-benchmark手把手教你如何用这把“标尺”精准丈量昇腾的性能。一、CANN-Benchmark是什么CANN-Benchmark是华为昇腾CANN软件栈中的官方性能基准测试工具。它不是简单的计时器而是一套标准化、自动化、多维度的性能评估系统。全称CANN Performance Benchmark仓库地址https://atomgit.com/cann/cann-benchmark核心定位开发者评估模型性能、对比硬件差异、优化系统瓶颈的首选工具。核心价值标准化统一的测试流程Warmup Benchmark Statistics确保结果可复现、可对比。全面性覆盖推理Latency/Throughput、训练Iteration Time/Samples/s、显存、功耗等多个维度。易上手命令行工具无需编写复杂的Python脚本一键生成JSON报告。深度分析提供P50/P90/P95/P99分位值揭示长尾延迟问题。一句话总结想知道你的模型在昇腾上跑得有多快跑一遍cann-benchmark答案一目了然。二、测试全景图五大核心维度cann-benchmark支持对昇腾NPU进行全面体检主要包含以下测试维度测试类型核心指标说明适用场景推理性能Latency, Throughput, QPS单样本/批量推理的耗时与吞吐量在线服务、边缘部署训练性能Iteration Time, Samples/s单次迭代时间与每秒处理样本数大规模模型训练、微调显存性能HBM Bandwidth, Latency高带宽内存的读写速度与延迟大模型显存瓶颈分析计算性能FP16/FP32/INT8 FLOPSCube Unit与Vector Unit的实际算力硬件选型、理论峰值验证功耗性能Power (W), Efficiency单位功耗下的性能表现 (Perf/W)绿色计算、数据中心能耗优化三、快速开始三步跑通基准测试Step 1: 安装 CANN-Benchmark方法 A从安装包安装推荐# 下载对应版本 (以8.0.RC3为例)wgethttps://ascend-repo.obs.cn-north-4.myhuaweicloud.com/Middleware/ASCEND_CANN/8.0.RC3/Ascend-cann-benchmark_8.0.RC3_linux-x86_64.runchmodx Ascend-cann-benchmark_8.0.RC3_linux-x86_64.run ./Ascend-cann-benchmark_8.0.RC3_linux-x86_64.run--install# 验证安装ascend-benchmark--version方法 B从源码编译高级用户gitclone https://atomgit.com/cann/cann-benchmark.gitcdcann-benchmarkmkdirbuildcdbuild cmake..make-j$(nproc)sudomakeinstallStep 2: 准备测试模型你需要一个转换好的.onnx或.om模型。假设你有一个resnet50.onnx文件。Step 3: 运行推理基准测试ascend-benchmark inference\--model./resnet50.onnx\--devicenpu:0\--batch-size1\--num-iterations1000\--warmup-iterations100\--report./benchmark_resnet50.json预期输出 Inference Benchmark: ResNet-50 Model: ./resnet50.onnx Device: NPU:0 (Ascend 910B) Batch size: 1 Input shape: [1, 3, 224, 224] Warmup iterations: 100 Benchmark iterations: 1000 Results: Latency (mean): 15.23 ms Latency (median): 15.19 ms Latency (std): 0.34 ms Latency (min): 14.87 ms Latency (max): 16.54 ms Throughput: 65.66 images/s QPS: 65.66 P50 latency: 15.19 ms P90 latency: 15.67 ms P95 latency: 15.89 ms P99 latency: 16.12 ms Report saved to ./benchmark_resnet50.json四、核心功能深度解析功能 1: 推理性能测试 (Inference Benchmark)适用场景评估模型在在线服务中的响应速度和吞吐量。关键参数--batch-size: 批量大小。通常测试1(低延迟) 和32/64(高吞吐)。--num-iterations: 测试轮次。建议至少1000轮以消除波动。--warmup-iterations: 预热轮次。让NPU进入稳定状态避免冷启动偏差。--report: 保存为JSON格式便于后续分析。代码实现逻辑参考importtorchimporttimeimportnumpyasnpclassInferenceBenchmark:def__init__(self,model_path,devicenpu:0):self.modeltorch.jit.load(model_path).to(device)self.model.eval()defbenchmark(self,input_shape,batch_size1,num_iterations1000,warmup100):# 创建输入input_datatorch.randn(batch_size,*input_shape).to(device)# Warmupfor_inrange(warmup):withtorch.no_grad():_self.model(input_data)torch.npu.synchronize()# Benchmarklatencies[]foriinrange(num_iterations):torch.npu.synchronize()starttime.time()withtorch.no_grad():_self.model(input_data)torch.npu.synchronize()endtime.time()latencies.append((end-start)*1000)# 统计latenciesnp.array(latencies)return{mean:np.mean(latencies),p99:np.percentile(latencies,99),throughput:1000/np.mean(latencies)}功能 2: 训练性能测试 (Training Benchmark)适用场景评估模型在大规模训练时的迭代速度和样本处理能力。关键指标Iteration Time: 完成一次前向传播反向传播参数更新的时间。Samples/s: 每秒处理的样本数吞吐量。Gradient Sync Time: 多卡训练时梯度同步的耗时占比。命令示例ascend-benchmark training\--model./resnet50_train.onnx\--devicenpu:0\--batch-size32\--num-iterations1000\--report./training_report.json输出解读Iteration time (mean): 45.67 ms Throughput: 700.72 images/s这意味着每秒钟可以处理约700张图片对于ImageNet级别的训练来说是一个不错的基准。功能 3: 显存与功耗分析显存测试ascend-benchmark memory\--devicenpu:0\--test-type bandwidth\--report./memory_bw.json输出会显示HBM的读写带宽例如Read BW: 800 GB/s,Write BW: 750 GB/s。功耗测试ascend-benchmark power\--devicenpu:0\--duration60\--report./power.json输出平均功耗和能效比Performance per Watt。五、实战案例与NVIDIA GPU对比场景某团队想对比昇腾910B和NVIDIA A100在BERT模型上的性能。步骤准备环境分别在两台机器上安装对应的Benchmark工具。统一模型使用同一个.onnx格式的BERT模型。统一参数设置相同的Batch Size (如32)、Warmup (100)、Iterations (1000)。执行测试# 昇腾端ascend-benchmark inference--modelbert.onnx--devicenpu:0 --batch-size32--reportasc_bert.json# NVIDIA端 (使用TensorRT或其他工具)trtexec--onnxbert.onnx--saveEnginea100.engine--timingIterations1000--warmUpIterations100a100_bert.log对比结果昇腾910B: Latency 12.5ms, Throughput 2560 samples/sNVIDIA A100: Latency 15.2ms, Throughput 2105 samples/s结论: 在该场景下昇腾910B比A100快约22%。六、常见问题与避坑指南Q1: 为什么测试结果波动很大原因未进行足够的预热或系统负载不稳定。解决增加--warmup-iterations(建议200)并在空闲环境下运行。Q2: P99延迟远高于平均值原因存在偶发的GC、调度抖动或网络拥塞。解决检查系统日志确认是否有其他进程抢占资源。P99更能反映真实服务的稳定性。Q3: 如何测试多卡并行性能方法使用--num-devices 4参数如果工具支持或结合mpirun运行多个实例并汇总结果。注意需确保多卡间通信正常关注AllReduce耗时。Q4: 报告里的数据看不懂建议查看生成的JSON文件使用Python脚本绘制图表如Latency分布直方图、Throughput随Batch Size变化曲线。七、总结为什么CANN-Benchmark是你的必备神器维度没有CANN-Benchmark拥有CANN-Benchmark结果可信度随意手写脚本误差大官方标准流程误差1%效率手动计时重复劳动一键测试自动报告深度仅看平均延迟涵盖P50/P90/P99/吞吐/显存对比能力无法横向对比支持跨硬件、跨版本对比决策依据凭感觉猜测数据驱动决策记住在昇腾开发中CANN-Benchmark 是你的性能标尺。它不仅能告诉你“快不快”还能告诉你“哪里慢”、“为什么慢”。行动建议立即安装./Ascend-cann-benchmark_...run --install跑通Demo用ResNet-50跑一次推理测试。建立基线对你的核心模型进行基准测试记录初始性能。持续监控每次优化后重新测试量化改进效果。现在就开始让CANN-Benchmark成为你昇腾性能优化的最强助手
做高精度测距：从SPI配置到数据解析全流程)
