Broadcast 族 — Tiling 流程【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skillsBroadcast 族二元/多元逐元素算子Add, Mul, Sub的 Tiling 推导流程。1. 算法分支决策树给定: N个输入shape 1个输出shape dtype ubSize coreNum Step 0 — 合轴 (DimensionCollapse): 补维(左补1) → 标记广播轴flag → 合并相邻同flag轴 → 计算strides Step 1 — 分支判定: ├─ 合轴后仅1维 → OneDim (纯Elementwise,可能有标量输入) │ └─ 合轴后1维 → 选择广播方式: ├─ DAV_2201 → UB Broadcast 静态接口 (rank1/2, 32B对齐约束) │ └─ DAV_3510 → 广播发生在哪个阶段? ├─ GM→UB搬入阶段 → 按优先级决策链选择: │ ① 用户强制 → 遵从 │ ② NLast场景 且 尾轴≥dcache/2 → UB BRC动态接口 │ ③ dtype为INT8/FP16/BF16 且 尾轴32B对齐 → UB BRC动态接口 │ ④ 其他 → NDDMA │ └─ UB内部广播 (中间结果需广播) → UB BRC动态接口 (rank 1~9)2. OneDim 分支条件: 合轴后只剩1维。流程:UB切分:ubFormer (ubSize / bufferNum) 对齐到 128B标量输入用TensorScalar接口多核切分:blockFormer ceil(ubOuter / coreNum)核利用率不足时缩小ubFormer重算数据流:GM → DataCopyPad → UB[ubFormer] → Compute(Adds/Muls标量优先) → DataCopyPad → GM3. UB Broadcast 分支条件: 合轴后多维UB内调用Broadcast API展开。流程:从最内轴向外累乘找到放不下的轴作为ubSplitAxisUB切分:ubFormer maxElemNum / curProduct多核切分: 展平ubSplitAxis及其外层轴均分给多核搬运指令优化: DataCopyPad dummy填充 → Copy → GatherMask (省tmpBuffer)广播方式子决策(axis-1):Broadcast静态接口约束(srcShape对齐)满足 → Broadcast API否则 M2 → DataCopyPad填充CopyGatherMaskM≤2 → 逐行Duplicate4. NDDMA Broadcast 分支 (DAV_3510专属)条件: GM→UB搬入阶段NDDMA硬件stride0自动复制。流程:UB切分、多核切分与UB Broadcast相同判定schMode: 剩余轴≤5 → WithoutLoop; 5 → WithLoopWithoutLoop: 一次DataCopyT,5完成WithLoop: 最内5轴给NDDMA外层Kernel for-loop遍历FuseAxis优化: 合并广播模式相同的相邻轴5. 通用UB切分公式maxElemNum (ubSize - extraSize) * 8 / (bufferNum * maxDtypeBits) maxElemNum floor_align(maxElemNum, 256 * 8 / minDtypeBits) 从最内轴向外累乘outputDims: curProduct * dims[i] if curProduct maxElemNum: ubSplitAxis i; curProduct / dims[i]; break ubFormer maxElemNum / curProduct ubOuter ceil(dims[ubSplitAxis] / ubFormer) ubTail dims[ubSplitAxis] - (ubOuter-1) * ubFormer6. 通用多核切分公式fusedProduct ubOuter × (ubSplitAxis之前所有轴乘积) blockFormer ceil(fusedProduct / coreNum) blockNum ceil(fusedProduct / blockFormer) blockTail fusedProduct - (blockNum-1) * blockFormer7. 对标量输入的处理场景方案OneDim 有对应TensorScalar接口Adds/Muls/Subs 直接对标量OneDim 无TensorScalar接口Duplicate展开 TensorTensor接口多维strid0 → NDDMA硬件复制或UB Broadcast【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN/cannbot-skills广播算子Tiling流程
发布时间：2026/7/15 9:04:25
Broadcast 族 — Tiling 流程【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skillsBroadcast 族二元/多元逐元素算子Add, Mul, Sub的 Tiling 推导流程。1. 算法分支决策树给定: N个输入shape 1个输出shape dtype ubSize coreNum Step 0 — 合轴 (DimensionCollapse): 补维(左补1) → 标记广播轴flag → 合并相邻同flag轴 → 计算strides Step 1 — 分支判定: ├─ 合轴后仅1维 → OneDim (纯Elementwise,可能有标量输入) │ └─ 合轴后1维 → 选择广播方式: ├─ DAV_2201 → UB Broadcast 静态接口 (rank1/2, 32B对齐约束) │ └─ DAV_3510 → 广播发生在哪个阶段? ├─ GM→UB搬入阶段 → 按优先级决策链选择: │ ① 用户强制 → 遵从 │ ② NLast场景 且 尾轴≥dcache/2 → UB BRC动态接口 │ ③ dtype为INT8/FP16/BF16 且 尾轴32B对齐 → UB BRC动态接口 │ ④ 其他 → NDDMA │ └─ UB内部广播 (中间结果需广播) → UB BRC动态接口 (rank 1~9)2. OneDim 分支条件: 合轴后只剩1维。流程:UB切分:ubFormer (ubSize / bufferNum) 对齐到 128B标量输入用TensorScalar接口多核切分:blockFormer ceil(ubOuter / coreNum)核利用率不足时缩小ubFormer重算数据流:GM → DataCopyPad → UB[ubFormer] → Compute(Adds/Muls标量优先) → DataCopyPad → GM3. UB Broadcast 分支条件: 合轴后多维UB内调用Broadcast API展开。流程:从最内轴向外累乘找到放不下的轴作为ubSplitAxisUB切分:ubFormer maxElemNum / curProduct多核切分: 展平ubSplitAxis及其外层轴均分给多核搬运指令优化: DataCopyPad dummy填充 → Copy → GatherMask (省tmpBuffer)广播方式子决策(axis-1):Broadcast静态接口约束(srcShape对齐)满足 → Broadcast API否则 M2 → DataCopyPad填充CopyGatherMaskM≤2 → 逐行Duplicate4. NDDMA Broadcast 分支 (DAV_3510专属)条件: GM→UB搬入阶段NDDMA硬件stride0自动复制。流程:UB切分、多核切分与UB Broadcast相同判定schMode: 剩余轴≤5 → WithoutLoop; 5 → WithLoopWithoutLoop: 一次DataCopyT,5完成WithLoop: 最内5轴给NDDMA外层Kernel for-loop遍历FuseAxis优化: 合并广播模式相同的相邻轴5. 通用UB切分公式maxElemNum (ubSize - extraSize) * 8 / (bufferNum * maxDtypeBits) maxElemNum floor_align(maxElemNum, 256 * 8 / minDtypeBits) 从最内轴向外累乘outputDims: curProduct * dims[i] if curProduct maxElemNum: ubSplitAxis i; curProduct / dims[i]; break ubFormer maxElemNum / curProduct ubOuter ceil(dims[ubSplitAxis] / ubFormer) ubTail dims[ubSplitAxis] - (ubOuter-1) * ubFormer6. 通用多核切分公式fusedProduct ubOuter × (ubSplitAxis之前所有轴乘积) blockFormer ceil(fusedProduct / coreNum) blockNum ceil(fusedProduct / blockFormer) blockTail fusedProduct - (blockNum-1) * blockFormer7. 对标量输入的处理场景方案OneDim 有对应TensorScalar接口Adds/Muls/Subs 直接对标量OneDim 无TensorScalar接口Duplicate展开 TensorTensor接口多维strid0 → NDDMA硬件复制或UB Broadcast【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
