CANNBot-DSL 全景图Flash Attention、Kimi Delta Attention、点云卷积……6大昇腾NPU算子示例一文读懂【免费下载链接】cannbot-dsl基于 CANNBot-DSL 的 Ascend NPU 复杂算子示例集合。项目地址: https://gitcode.com/cann/cannbot-dsl本文带你一文读懂CANNBot-DSLcann/cannbot-dsl——一个基于 CANNBot-DSL 的Ascend NPU 复杂算子示例集合。项目收录了 Flash Attention、Kimi Delta AttentionFlashKDA、VoxelConv 点云卷积、PointNet 点云特征抽象、Matmul 矩阵乘、RmsNorm 归一化共6 大典型算子每个算子都附带完整实现、精度测试与性能对比数据是新手学习昇腾 NPU 算子开发的绝佳入门材料。 目标硬件NPU ARCH 3510Ascend 950PR / Ascend 950DT运行环境为 CANN torch_npu。CANNBot-DSL 是什么为什么值得学传统的昇腾算子开发通常需要手写 AscendC 代码要手动管理 GM、L1、L0 多级内存搬运开发门槛较高。而 CANNBot-DSL 采用DSL领域特定语言显式内存编程模型你只需描述tile 几何形状和数据流如 GM → L1 → L0 → 向量计算 → GM编译器自动生成底层 CAPI 指令序列并自动完成多核并行调度与流水线优化相比手写 AscendC大幅降低复杂算子的开发门槛这也是本仓库所有示例的开发方式。 想深入原理每个算子的samples/目录下都有详细 README 和实现源码值得一读。6大算子速览覆盖大模型、点云、基础算子三大场景算子一句话介绍应用场景实现文件⚡flash_attnFlash Attention 融合注意力大模型 prefill / decode 推理samples/flash_attn/flash_attn.pyflash_kdaKimi Delta Attention prefill 融合算子线性注意力大模型Kimisamples/flash_kda/flash_kda.pyvoxel_convVoxelNet 2D 卷积自动驾驶 3D 点云检测samples/voxel_conv/voxel_conv.py✨pointnet_saPointNet Set Abstraction 的 MLPmax-pool点云层次化特征学习samples/pointnet_sa/pointnet_sa.pymatmul非量化矩阵乘自适应多核调度通用基础算子samples/matmul/matmul.py⚖️rms_normRmsNorm 归一化Transformer 大模型标配samples/rms_norm/rms_norm.pyFlash Attention大模型推理的核心算子Flash Attention 是大语言模型推理的性能命门其核心公式为O softmax(QK^T · scale) · V。本实现支持全注意力与因果注意力causal、float16 / bfloat16 精度、BNSD / BSND 双 Layout并原生支持GQA 分组查询注意力decode、MTP 等场景全覆盖。从下方性能对比图可以看到在 12 个典型场景中CANNBot-DSL 版 FlashAttn 与 CANN 内置 FIA 互有胜负decode 等小 case 上领先最高约 1.18 倍大 case如 B32、S16K 的 g1 prefill上耗时 24316.8us达到同一量级水平。✅ 精度测试位于test/flash_attn/test_flash_attn.py包含 12 个代表性 case覆盖 MHA/GQAg1/2/8/10/16、prefill/decode/MTP/causal 全场景。FlashKDAKimi Delta Attention 的 prefill 融合算子FlashKDA 是 Kimi 大模型 Delta Attention 机制的prefill 融合算子一个算子内融合了 gate/beta 激活、Q/K 的 L2 归一化和完整 Chunk KDA 计算按64-token chunk切分序列并在 chunk 间递推状态避免大量中间数据反复落盘——这正是线性注意力模型高效推理的关键。性能对比图展示的是 CANNBot-DSL 生成的 FlashKDA 与 H800 上的 FlashKDA 在 12 组典型配置B1、D128、N24/32/48、S8K~64K下的平均延迟。可以看到在中小规模配置下两者相当说明该 DSL 实现已具备与主流 GPU 方案同台竞技的能力。Matmul高吞吐矩阵乘的地基算子矩阵乘是几乎所有神经网络的基本操作。本实现的亮点在于自适应滑动窗口多核调度与L1/L0 ping-pong 流水线host 侧自动推导最优切分参数L2 cache 按矩阵复用情况自适应开关数据流为 GM → L1 → L0A/L0B → MMAD → GM。对比图覆盖 11 种矩阵形状从 4096×3840×384 到 6144×8193×640FP16 与 BF16 双精度下DSL 版与 CANN 内置模板性能互有胜负、总体持平充分验证了 DSL 生成代码的工程可用性。RmsNorm一天内自动生成的轻量归一化算子RmsNorm 是 Transformer 大模型的标配归一化层看似简单却极为考验访存优化。一个有趣的细节该算子由 CANNBot CANNBot-DSL 在 1 天内自动生成并完成调优采用UB 全载 / 列切分编译期模板选择 二分折叠归约 牛顿迭代 Channel 流水的数据流设计。从对比图看DSL 版在 FP16 / BF16 / FP32 多种形状下均与 CANN 内置实现持平或略优如 10197×24576 的 fp16 case 耗时 553.8us vs 535.3us 同量级而开发成本从手写调优数周压缩到一天自动生成。点云与自动驾驶PointNet SA 与 VoxelConv 双算子这两个算子面向3D 点云感知场景是多模态生态算子的重要组成部分pointnet_sa实现 PointNet Set Abstraction 层中的 shared MLP max-pooling对每个点独立做全连接变换后对称聚合使网络对点云排列顺序不变是点云层次化特征学习的核心模块voxel_conv实现 VoxelNet 卷积中间层的 2D 卷积支持独立 stride / padding / dilation 与分组卷积通过 DSL 的 Channel Load3D 指令显式表达卷积搬运链路——这正是 DSL 相对手写 AscendC 的最大优势用户只需描述几何与数据流编译器自动生成指令序列。快速上手3步运行全部算子示例 第一步克隆仓库git clone https://gitcode.com/cann/cannbot-dsl cd cannbot-dsl第二步准备环境。依赖见requirements.txtcannbotdsl、torch、torch_npu 等需本地 wheel 安装可用install_deps.sh一键校验依赖是否齐全并自动加载 CANN 环境如source cann安装路径/set_env.sh。第三步运行精度测试。每个算子都有独立的 pytest 测试例如pytest test/flash_attn/test_flash_attn.py -v pytest test/matmul/test_matmul.py -v测试配置通过test/conftest.py统一管理CI 侧由scripts/ci/run_tests.sh与test/test_config.yaml按文件变更自动触发对应算子验证保证每个改动都被精确看护。写在最后CANNBot-DSL 示例仓库的价值在于它不只是一组能跑通的算子更是昇腾 NPU 算子开发的完整范式展示——从大模型推理的 Flash Attention、FlashKDA到自动驾驶点云的 VoxelConv、PointNet SA再到 Matmul、RmsNorm 等基础算子6 个样本覆盖了最主流的计算形态且全部附带精度测试与性能对比数据。对于想在昇腾上开发复杂算子的新手而言建议从samples/rms_norm这个最轻量的一日生成算子读起再逐步挑战 Flash Attention 与 FlashKDA收获会非常直观【免费下载链接】cannbot-dsl基于 CANNBot-DSL 的 Ascend NPU 复杂算子示例集合。项目地址: https://gitcode.com/cann/cannbot-dsl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANNBot-DSL 全景图：Flash Attention、Kimi Delta Attention、点云卷积……6大昇腾NPU算子示例一文读懂
CANNBot-DSL 全景图Flash Attention、Kimi Delta Attention、点云卷积……6大昇腾NPU算子示例一文读懂【免费下载链接】cannbot-dsl基于 CANNBot-DSL 的 Ascend NPU 复杂算子示例集合。项目地址: https://gitcode.com/cann/cannbot-dsl本文带你一文读懂CANNBot-DSLcann/cannbot-dsl——一个基于 CANNBot-DSL 的Ascend NPU 复杂算子示例集合。项目收录了 Flash Attention、Kimi Delta AttentionFlashKDA、VoxelConv 点云卷积、PointNet 点云特征抽象、Matmul 矩阵乘、RmsNorm 归一化共6 大典型算子每个算子都附带完整实现、精度测试与性能对比数据是新手学习昇腾 NPU 算子开发的绝佳入门材料。 目标硬件NPU ARCH 3510Ascend 950PR / Ascend 950DT运行环境为 CANN torch_npu。CANNBot-DSL 是什么为什么值得学传统的昇腾算子开发通常需要手写 AscendC 代码要手动管理 GM、L1、L0 多级内存搬运开发门槛较高。而 CANNBot-DSL 采用DSL领域特定语言显式内存编程模型你只需描述tile 几何形状和数据流如 GM → L1 → L0 → 向量计算 → GM编译器自动生成底层 CAPI 指令序列并自动完成多核并行调度与流水线优化相比手写 AscendC大幅降低复杂算子的开发门槛这也是本仓库所有示例的开发方式。 想深入原理每个算子的samples/目录下都有详细 README 和实现源码值得一读。6大算子速览覆盖大模型、点云、基础算子三大场景算子一句话介绍应用场景实现文件⚡flash_attnFlash Attention 融合注意力大模型 prefill / decode 推理samples/flash_attn/flash_attn.pyflash_kdaKimi Delta Attention prefill 融合算子线性注意力大模型Kimisamples/flash_kda/flash_kda.pyvoxel_convVoxelNet 2D 卷积自动驾驶 3D 点云检测samples/voxel_conv/voxel_conv.py✨pointnet_saPointNet Set Abstraction 的 MLPmax-pool点云层次化特征学习samples/pointnet_sa/pointnet_sa.pymatmul非量化矩阵乘自适应多核调度通用基础算子samples/matmul/matmul.py⚖️rms_normRmsNorm 归一化Transformer 大模型标配samples/rms_norm/rms_norm.pyFlash Attention大模型推理的核心算子Flash Attention 是大语言模型推理的性能命门其核心公式为O softmax(QK^T · scale) · V。本实现支持全注意力与因果注意力causal、float16 / bfloat16 精度、BNSD / BSND 双 Layout并原生支持GQA 分组查询注意力decode、MTP 等场景全覆盖。从下方性能对比图可以看到在 12 个典型场景中CANNBot-DSL 版 FlashAttn 与 CANN 内置 FIA 互有胜负decode 等小 case 上领先最高约 1.18 倍大 case如 B32、S16K 的 g1 prefill上耗时 24316.8us达到同一量级水平。✅ 精度测试位于test/flash_attn/test_flash_attn.py包含 12 个代表性 case覆盖 MHA/GQAg1/2/8/10/16、prefill/decode/MTP/causal 全场景。FlashKDAKimi Delta Attention 的 prefill 融合算子FlashKDA 是 Kimi 大模型 Delta Attention 机制的prefill 融合算子一个算子内融合了 gate/beta 激活、Q/K 的 L2 归一化和完整 Chunk KDA 计算按64-token chunk切分序列并在 chunk 间递推状态避免大量中间数据反复落盘——这正是线性注意力模型高效推理的关键。性能对比图展示的是 CANNBot-DSL 生成的 FlashKDA 与 H800 上的 FlashKDA 在 12 组典型配置B1、D128、N24/32/48、S8K~64K下的平均延迟。可以看到在中小规模配置下两者相当说明该 DSL 实现已具备与主流 GPU 方案同台竞技的能力。Matmul高吞吐矩阵乘的地基算子矩阵乘是几乎所有神经网络的基本操作。本实现的亮点在于自适应滑动窗口多核调度与L1/L0 ping-pong 流水线host 侧自动推导最优切分参数L2 cache 按矩阵复用情况自适应开关数据流为 GM → L1 → L0A/L0B → MMAD → GM。对比图覆盖 11 种矩阵形状从 4096×3840×384 到 6144×8193×640FP16 与 BF16 双精度下DSL 版与 CANN 内置模板性能互有胜负、总体持平充分验证了 DSL 生成代码的工程可用性。RmsNorm一天内自动生成的轻量归一化算子RmsNorm 是 Transformer 大模型的标配归一化层看似简单却极为考验访存优化。一个有趣的细节该算子由 CANNBot CANNBot-DSL 在 1 天内自动生成并完成调优采用UB 全载 / 列切分编译期模板选择 二分折叠归约 牛顿迭代 Channel 流水的数据流设计。从对比图看DSL 版在 FP16 / BF16 / FP32 多种形状下均与 CANN 内置实现持平或略优如 10197×24576 的 fp16 case 耗时 553.8us vs 535.3us 同量级而开发成本从手写调优数周压缩到一天自动生成。点云与自动驾驶PointNet SA 与 VoxelConv 双算子这两个算子面向3D 点云感知场景是多模态生态算子的重要组成部分pointnet_sa实现 PointNet Set Abstraction 层中的 shared MLP max-pooling对每个点独立做全连接变换后对称聚合使网络对点云排列顺序不变是点云层次化特征学习的核心模块voxel_conv实现 VoxelNet 卷积中间层的 2D 卷积支持独立 stride / padding / dilation 与分组卷积通过 DSL 的 Channel Load3D 指令显式表达卷积搬运链路——这正是 DSL 相对手写 AscendC 的最大优势用户只需描述几何与数据流编译器自动生成指令序列。快速上手3步运行全部算子示例 第一步克隆仓库git clone https://gitcode.com/cann/cannbot-dsl cd cannbot-dsl第二步准备环境。依赖见requirements.txtcannbotdsl、torch、torch_npu 等需本地 wheel 安装可用install_deps.sh一键校验依赖是否齐全并自动加载 CANN 环境如source cann安装路径/set_env.sh。第三步运行精度测试。每个算子都有独立的 pytest 测试例如pytest test/flash_attn/test_flash_attn.py -v pytest test/matmul/test_matmul.py -v测试配置通过test/conftest.py统一管理CI 侧由scripts/ci/run_tests.sh与test/test_config.yaml按文件变更自动触发对应算子验证保证每个改动都被精确看护。写在最后CANNBot-DSL 示例仓库的价值在于它不只是一组能跑通的算子更是昇腾 NPU 算子开发的完整范式展示——从大模型推理的 Flash Attention、FlashKDA到自动驾驶点云的 VoxelConv、PointNet SA再到 Matmul、RmsNorm 等基础算子6 个样本覆盖了最主流的计算形态且全部附带精度测试与性能对比数据。对于想在昇腾上开发复杂算子的新手而言建议从samples/rms_norm这个最轻量的一日生成算子读起再逐步挑战 Flash Attention 与 FlashKDA收获会非常直观【免费下载链接】cannbot-dsl基于 CANNBot-DSL 的 Ascend NPU 复杂算子示例集合。项目地址: https://gitcode.com/cann/cannbot-dsl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考