好的，我们开始。068、NPU的ViT加速：视觉Transformer的硬件挑战去年年底，我在调试一块基于自研NPU的AI相机模组时，遇到了一个诡异的“玄学”问题：跑MobileNet v3，帧率稳稳的30fps，功耗也漂亮。但只要换成ViT-Base（哪怕输入分辨率从224x224降到160x160），帧率直接掉到个位数，芯片表面温度能煎鸡蛋。更离谱的是，同样的ViT模型，在GPU上跑得好好的，一上NPU，精度没降多少，但延迟暴涨了十几倍。当时我盯着示波器上那根几乎平躺的“计算完成”信号线，心里只有一个念头：这NPU的硬件架构，怕是跟Transformer八字不合。后来拆开分析，发现不是NPU“不行”，而是我们这些习惯了CNN的工程师，在用CNN的思维去喂ViT，硬件自然消化不良。今天这篇笔记，就聊聊ViT在NPU上遇到的几个硬骨头，以及我们后来是怎么一块块啃下来的。一、Self-Attention：NPU的“内存墙”噩梦CNN的核心算子是卷积，卷积的本质是“局部加权求和”。数据流是规整的，权重是固定的，NPU里的MAC阵列（乘累加单元）最喜欢这种活：数据从DDR搬进SRAM，然后像流水线一样流过PE（处理单元），几乎不用回头。但ViT的Self-Attention不一样。它的核心是Q、K、V三个矩阵的乘法，然后做Softmax，再乘V。这里面最要命的是QK^T这一步。假设输入是224x224的图像，切成16x16的patch，序列长度N = 1414 = 196。对于ViT-
068、NPU的ViT加速：视觉Transformer的硬件挑战
发布时间：2026/6/9 19:59:18
好的，我们开始。068、NPU的ViT加速：视觉Transformer的硬件挑战去年年底，我在调试一块基于自研NPU的AI相机模组时，遇到了一个诡异的“玄学”问题：跑MobileNet v3，帧率稳稳的30fps，功耗也漂亮。但只要换成ViT-Base（哪怕输入分辨率从224x224降到160x160），帧率直接掉到个位数，芯片表面温度能煎鸡蛋。更离谱的是，同样的ViT模型，在GPU上跑得好好的，一上NPU，精度没降多少，但延迟暴涨了十几倍。当时我盯着示波器上那根几乎平躺的“计算完成”信号线，心里只有一个念头：这NPU的硬件架构，怕是跟Transformer八字不合。后来拆开分析，发现不是NPU“不行”，而是我们这些习惯了CNN的工程师，在用CNN的思维去喂ViT，硬件自然消化不良。今天这篇笔记，就聊聊ViT在NPU上遇到的几个硬骨头，以及我们后来是怎么一块块啃下来的。一、Self-Attention：NPU的“内存墙”噩梦CNN的核心算子是卷积，卷积的本质是“局部加权求和”。数据流是规整的，权重是固定的，NPU里的MAC阵列（乘累加单元）最喜欢这种活：数据从DDR搬进SRAM，然后像流水线一样流过PE（处理单元），几乎不用回头。但ViT的Self-Attention不一样。它的核心是Q、K、V三个矩阵的乘法，然后做Softmax，再乘V。这里面最要命的是QK^T这一步。假设输入是224x224的图像，切成16x16的patch，序列长度N = 1414 = 196。对于ViT-
