088 NPU的3D堆叠：HBM与TSV技术去年夏天，我在调试一块自研的NPU板卡时遇到了一个诡异的问题——跑ResNet-50推理，DDR带宽利用率死活上不去，始终卡在45%左右。示波器量了DDR走线，眼图干净得像教科书；改了内存控制器配置，调了page policy，甚至把DDR频率从3200MHz降到2666MHz——结果带宽利用率反而掉到38%。团队里新来的小伙子嘀咕了一句：“是不是内存离NPU太远了？”这句话点醒了我。当时那块板卡上，NPU和DDR颗粒之间隔了将近40mm的PCB走线，中间还穿过了两组电源层分割。40mm在PCB上意味着什么？信号往返延迟大约400ps，加上DDR接口的turnaround时间，每笔读写交易都要多浪费几个时钟周期。更致命的是，走线越长，信号完整性越差，控制器不得不把时序参数调得更保守。这就是传统2D封装的物理瓶颈。NPU要喂饱算力，内存带宽需求动辄TB/s级别，但DDR接口的位宽和频率都受限于PCB走线的物理极限。你不可能在PCB上拉出1024位宽的DDR总线——那得多少层板？多少对等长走线？信号串扰会让你怀疑人生。3D堆叠：把内存搬到NPU头顶上3D堆叠的思路很暴力：既然走线太长是问题，那就把内存颗粒直接堆在NPU芯片上面，用垂直互联代替水平走线。这就是HBM（High Bandwidth Memory）的核心思想。HBM本质上是一堆DRAM die堆叠在一起，通过TSV（Through Silicon Via，硅通孔）垂直贯穿每一层die，再通过micro bump（微凸点）连接到下方的logic die（通常
088、NPU的3D堆叠：HBM与TSV技术
发布时间：2026/6/14 12:49:15
088 NPU的3D堆叠：HBM与TSV技术去年夏天，我在调试一块自研的NPU板卡时遇到了一个诡异的问题——跑ResNet-50推理，DDR带宽利用率死活上不去，始终卡在45%左右。示波器量了DDR走线，眼图干净得像教科书；改了内存控制器配置，调了page policy，甚至把DDR频率从3200MHz降到2666MHz——结果带宽利用率反而掉到38%。团队里新来的小伙子嘀咕了一句：“是不是内存离NPU太远了？”这句话点醒了我。当时那块板卡上，NPU和DDR颗粒之间隔了将近40mm的PCB走线，中间还穿过了两组电源层分割。40mm在PCB上意味着什么？信号往返延迟大约400ps，加上DDR接口的turnaround时间，每笔读写交易都要多浪费几个时钟周期。更致命的是，走线越长，信号完整性越差，控制器不得不把时序参数调得更保守。这就是传统2D封装的物理瓶颈。NPU要喂饱算力，内存带宽需求动辄TB/s级别，但DDR接口的位宽和频率都受限于PCB走线的物理极限。你不可能在PCB上拉出1024位宽的DDR总线——那得多少层板？多少对等长走线？信号串扰会让你怀疑人生。3D堆叠：把内存搬到NPU头顶上3D堆叠的思路很暴力：既然走线太长是问题，那就把内存颗粒直接堆在NPU芯片上面，用垂直互联代替水平走线。这就是HBM（High Bandwidth Memory）的核心思想。HBM本质上是一堆DRAM die堆叠在一起，通过TSV（Through Silicon Via，硅通孔）垂直贯穿每一层die，再通过micro bump（微凸点）连接到下方的logic die（通常
