本文为《AI 硬件体系深度调研》系列第 12 篇。上一篇我们完成了训练与推理芯片的终极对比本篇把视角从裸芯片抬升到板卡——拆解那块大家口中的AI 显卡看清它到底由哪些模块组成以及每个模块为什么非有不可。黄金 100 字你是否以为’AI显卡’就是个塞满芯片的板子插上就能用拆机文章不少却没人讲清每块元器件为什么非有不可。本文从系统视角把 AI 加速卡七大模块的职责和配合讲明白。一、加速卡 完整嵌入式系统1.1 先纠正一个认知它不是显卡很多人第一次听到AI 显卡脑子里浮现的是游戏显卡——一块插在主板 PCIe 槽里、连着显示器的板子。但 AI 加速卡Accelerator Card和游戏显卡本质上不是一回事。游戏显卡的核心任务是把图像渲染出来送到显示器所以它必须有视频输出接口、图形处理单元。而 AI 加速卡的核心任务是做 AI 计算它没有视频输出接口也不需要显示任何东西——它是一块纯粹的板级算力设备插进服务器里专职跑模型训练或推理。 一句话“AI 显卡是市场叫出来的俗称技术上的准确名字是AI 加速卡”。它更像一台没有屏幕、没有键盘、专职算 AI 的微型计算机而不是一块显卡。1.2 加速卡为什么是完整嵌入式系统说加速卡是完整嵌入式系统不是夸张。把它拆开看里面几乎具备了一台计算机的所有要素算力核心AI 算力芯片——相当于 CPU存储HBM 模组——相当于内存输入输出主机 PCIe 接口——相当于外设总线供电高精度供电模块——相当于电源散热液冷/风冷模块——相当于散热器电路板PCB 基板——相当于主板芯片间通信卡间互联接口——相当于内部总线。一块加速卡本质上是一台被压缩到一张板子上的、专职做 AI 计算的嵌入式系统。理解了这层定位下面拆解七大模块时你就知道每个模块为什么存在——它们共同撑起了这个板载系统的正常运转。1.3 七大模块总览先把七大模块列出来建立一个全局地图后面逐章拆解序号模块作用一句话类比1AI 算力芯片执行矩阵运算大脑2HBM 模组片外高速存储贴身仓库3芯片间互联接口多芯片/多卡通信内部高速公路4主机互联接口PCIe 5/6与 CPU 通信对外主干道5高精度供电稳定供电心脏供血6大规模散热液冷带走热量空调系统7PCB 基板与信号控制承载与连接骨架 神经系统下面四章把这七个模块一个个讲透。二、算力芯片与 HBM 模组2.1 算力芯片加速卡的心脏加速卡的一号主角毫无疑问是那块AI 算力芯片——也就是前面几篇反复提到的训练芯片或推理芯片。这块芯片的职责非常纯粹执行矩阵乘法。无论是训练时的前向反向传播还是推理时的前向计算落到硬件上都是一次次大规模的矩阵乘加运算。算力芯片就是把这些运算跑起来的核心引擎它的算力密度、架构设计、精度支持直接决定了整张卡的上限。 一句话算力芯片决定了这张卡能算多快。其他六个模块本质都是在为这块芯片保驾护航——供它数据、供它电、给它散热、帮它通信。2.2 HBM 模组贴着芯片的贴身仓库算力芯片算得再快如果没有数据喂给它也是巧妇难为无米之炊。而给算力芯片喂数据的就是HBM高带宽内存模组。HBM 的全称是 High Bandwidth Memory它的关键设计是先进封装、相邻部署——HBM 芯片不是像普通内存条那样插在远处而是通过先进封装技术如 CoWoS直接堆叠、紧贴在算力芯片旁边。为什么要贴这么近因为离得越近走线越短带宽越高、延迟越低。HBM 通过硅中介层Interposer和算力芯片相连能提供TB/s 级别的带宽这是普通内存DDR带宽的十几倍。对于带宽敏感的 AI 计算来说这个贴身设计至关重要。 生活化类比算力芯片是工厂HBM 是紧挨着工厂的原料仓库。仓库离得近原料数据就能源源不断快速送进去工厂才不会被等料卡住。2.3 HBM 模组的堆叠秘密HBM 模组本身也有讲究它是由多层 DRAM 芯片垂直堆叠而成的。传统内存是平面的一颗颗芯片平铺在电路板上。HBM 则是把多颗 DRAM 芯片像叠罗汉一样垂直堆叠起来层与层之间用**硅通孔TSVThrough-Silicon Via**打通让数据能在层间高速垂直传输。这种堆叠带来两个好处单位面积带宽暴涨同样的面积堆叠能塞进更多存储芯片带宽成倍提升功耗更优垂直走线短相比平面长走线传输同样数据的功耗更低。⚠️ 避坑提醒HBM 堆叠不是越高越好堆叠层数增加会带来散热和良率问题。HBM 从 HBM2e 到 HBM3/E层数、带宽、容量都在涨但每一步都是在带宽、功耗、良率、成本之间反复权衡的结果。2.4 HBM 演进一览从 HBM2e 到 HBM3/EHBM 这个贴身仓库本身也在不断进化。把几代 HBM 的关键指标摆在一起能更直观地看到它的演进方向代际典型容量单堆典型带宽主要变化HBM2e16GB~460 GB/s容量带宽较 HBM2 提升HBM324GB~819 GB/s带宽大幅跃升HBM3E24-36GB~1.2 TB/s面向新一代旗舰卡可以看到HBM 的演进主线非常清晰容量越做越大、带宽越飙越高。这和 AI 模型的胃口是完全同步的——模型参数从几十亿涨到几千亿权重、激活、KV Cache 都越来越大HBM 必须跟着扩容提速才能喂饱越来越强的算力芯片。 一句话HBM 的进化本质是仓库越建越大、送货越快。算力芯片是工厂HBM 是仓库工厂产能翻倍仓库配送能力也得跟上否则整条产线都会被等料拖垮。2.5 算力芯片与 HBM 的绑定关系最后强调一个关键点算力芯片和 HBM 是深度绑定、协同设计的不是随便挑一颗芯片、随便配一个 HBM。因为 HBM 通过先进封装CoWoS 等紧贴算力芯片两者的物理位置、走线、供电、散热都是一体化设计的。换一颗算力芯片往往意味着 HBM 的堆叠数、封装尺寸、供电方案都要跟着重新设计。这也是为什么加速卡的算力芯片 HBM 组合通常是厂商打包好的整体方案而不是用户可以自由搭配的模块化积木。理解了这层绑定关系你再看拆机图就会明白为什么 HBM 总是和芯片贴得那么紧、焊得那么死。三、两类互联接口卡间与主机加速卡上有两类完全不同的互联接口一个对内一个对外。3.1 芯片间互联接口加速卡的内部高速公路第一类是芯片间互联接口负责多芯片、多卡之间的高速通信。为什么要它因为高端加速卡往往不止一块算力芯片——有的卡用多颗芯片拼出更大算力有的场景需要多张卡协同训练。这时候芯片和芯片之间、卡和卡之间就要高速交换数据比如训练时的梯度同步。芯片间互联的典型代表是NVLink。它的特点是点对点、低延迟、高带宽带宽可达数百 GB/s 到 TB/s 级远超普通总线。这个内部高速公路是高端加速卡能多卡协同的关键——没有它多卡训练的效率会断崖式下降。3.2 主机互联接口加速卡的对外主干道第二类是主机互联接口负责加速卡和 CPU主机之间的通信主流是PCIe 5.0 / 6.0。PCIe 是加速卡插入服务器的标准接口CPU 通过它把数据、指令发给加速卡加速卡通过它把结果返回。它是加速卡和整个计算机系统之间的主干道。PCIe 每一代都在翻倍带宽PCIe 4.0单通道约 16 GT/s千兆传输/秒PCIe 5.0单通道约 32 GT/sPCIe 6.0单通道约 64 GT/s且引入 PAM4 信号编码。加速卡通常用 PCIe x1616 个通道所以一块 PCIe 5.0 x16 的卡理论带宽可达64 GB/s 左右双向。 一句话对比芯片间互联是内部高速公路卡与卡之间跑梯度主机 PCIe 是对外主干道卡与 CPU 之间跑数据。两条路的带宽、用途、设计目标都不同不能混为一谈。3.3 为什么部分加速卡用定制互联文档锚点里提到部分定制互联这值得展开。标准 PCIe 虽然通用但带宽和延迟对某些极致场景不够用。于是部分厂商尤其是做超大规模集群的会定制互联方案比如用私有协议、私有物理层甚至把多卡直接用专用背板连起来绕过 PCIe 的瓶颈。定制的代价是牺牲通用性只能用特定服务器、特定机架换来带宽和延迟的极致优化。这是通用和极致之间的经典取舍——主流场景用标准 PCIe 求兼容极致场景用定制互联求性能。3.4 一张表看懂 PCIe 的带宽跃迁PCIe 是加速卡对外主干道它的带宽决定了 CPU 和加速卡之间搬运数据的上限。把几代 PCIe 的关键参数列出来代际单通道速率x16 总带宽单向特点PCIe 4.016 GT/s~32 GB/s上一代主流PCIe 5.032 GT/s~64 GB/s当前主流PCIe 6.064 GT/s~128 GB/s引入 PAM4 编码每一代 PCIe 都在带宽翻倍这背后是信号速率和编码技术的持续突破。对于 AI 加速卡来说PCIe 带宽越高CPU 给卡喂数据就越快卡与主机之间的数据搬运瓶颈就越小。⚠️ 避坑提醒PCIe 带宽是标称上限实际能达到多少还受主板布线、插槽规格、BIOS 设置等影响。比如一张 PCIe 5.0 的卡插在只支持 PCIe 4.0 的主板上会自动降速到 4.0实际带宽直接腰斩。3.5 芯片间互联为什么不能用 PCIe 凑合可能有读者问既然 PCIe 带宽也不低为什么多卡协同不干脆用 PCIe非要搞 NVLink 这种专用互联答案是PCIe 的架构设计决定了它不适合做多卡低延迟同步。PCIe 是树形拓扑——所有设备都挂在一个根CPU下卡与卡之间通信必须先绕过 CPU多一跳就多一份延迟。而且 PCIe 的带宽是共享的多张卡同时通信会互相争抢。而 NVLink 是点对点直连——卡与卡之间直接拉一条高速通道不绕 CPU、不共享带宽延迟低得多。训练时成千上万张卡要频繁、快速地同步梯度这种点对点、低延迟正是 NVLink 的强项也是 PCIe 的弱项。 生活化类比PCIe 像公司内部的电话总机——所有分机都要通过总机转接转接有延迟总机忙线还会占线NVLink 像同事之间的直连对讲机——拿起就讲不经过总机又快又稳。多卡训练需要的是对讲机式的低延迟同步不是总机式的转接。四、供电与散热被忽视的命脉很多人拆加速卡注意力全在芯片和显存上却忽略了两个看不见但致命的模块——供电和散热。4.1 高精度供电算力芯片的心脏供血加速卡是高功耗、高电流的设备。一块高端训练卡的功耗能到 300-500W而算力芯片的核心电压极低约 1V 左右这意味着电流极大——500W ÷ 1V 500A 的电流。这么大的电流对供电系统的要求极高高精度核心电压必须稳定波动大了会直接导致芯片运算出错甚至损坏多相供电用多相并联供电VRM电压调节模块分摊电流降低单相负载提高稳定性低纹波供电纹波要足够小否则会影响高速信号的稳定性。 一句话高精度供电是算力芯片的心脏供血系统。供血不稳大脑芯片再强也白搭。这也是为什么加速卡的供电模块往往是一排排密密麻麻的电容、电感、MOS 管——它们都在为稳定供血服务。4.2 外部供电高端卡的电力外援高端加速卡的功耗超过 PCIe 插槽能提供的电力所以需要外部供电。PCIe 插槽本身能提供的电力是有限的PCIe x16 插槽标准供电约 75W。对于功耗 300W、500W 的高端卡光靠插槽供电远远不够必须从电源直接拉线给卡供电。所以你会看到高端加速卡上有一个或多个外部供电接口如 8-pin 电源口。⚠️ 避坑提醒外部供电接口插没插稳是高端卡最常见的翻车点。供电不足或接触不良轻则降频重则宕机、损坏。装机时务必确认供电接口完全插到位。4.3 大规模散热液冷为何成为刚需供电解决了电进来散热要解决热出去。300-500W 的功耗意味着每秒要带走几百焦耳的热量。这个热密度有多恐怖一块巴掌大的芯片区域功耗密度可能比电炉丝还高。风冷靠吹风带走热量面对这种热密度风扇转速和散热面积都逼近物理极限。于是高端加速卡走向液冷散热液冷板冷板式在芯片上方贴一块内部通冷却液的金属板液体循环把热量带到外部散热器浸没式液冷把整张卡浸入不导电的冷却液中通过液体沸腾或流动带走热量。液冷的散热效率远高于风冷是高端卡压住热的必然选择。 一句话高端卡上液冷不是因为厂商炫技而是因为功耗密度已经到了风冷扛不住的地步。这是热力学问题不是营销噱头。4.4 供电与散热是一体两面供电和散热其实是一对一体两面的矛盾统一体电进来多少热就要出去多少。功耗越高供电压力越大散热压力也同步越大。所以你看高端卡的演进供电模块越来越复杂散热方案从风冷到液冷不断升级——这两件事永远是同步升级的。忽略任何一方另一方都会立刻出问题。4.5 高精度供电的关键细节高精度供电不是把电接上就行它有几个关键指标值得了解电压精度算力芯片核心电压通常在 1V 上下波动要求控制在几十毫伏甚至更小否则芯片会运算出错瞬态响应芯片负载是剧烈波动的一会儿全速算、一会儿空闲供电系统要能快速响应负载变化电压不能跟不上电流承载能力几百安的大电流供电线路、连接器、MOS 管都要能扛得住否则会过热烧毁。 一句话高精度供电的难度在于大电流和高精度要同时满足。电流越大越难稳压就像水龙头开得越大越难把水压控制得稳。加速卡上那一排排电容、电感就是在替芯片稳住这股大水流。4.6 液冷方案对比冷板式 vs 浸没式液冷也不是一种方案走天下目前主要有两种路线方案原理优点局限冷板式液冷芯片上方贴冷板内部通冷却液循环带走热量改造成本低、兼容性好只冷却接触面部分元器件仍需风冷浸没式液冷整张卡浸入不导电冷却液靠液体直接接触散热散热全面、效率极高基础设施改造成本高、运维复杂冷板式是渐进式升级适合现有数据中心小步改造浸没式是彻底重构适合新建的超大规模、超高功耗密度集群。两条路线各有适用场景目前都在快速发展。 一句话液冷不是要不要上的问题而是上哪种液冷的问题。功耗密度一旦越过风冷的物理极限液冷就是唯一的解只是冷板式和浸没式各有取舍。五、PCB 基板与信号完整性最后一个模块是承载一切的地基和神经——PCB 基板与信号控制。5.1 PCB 基板加速卡的骨架PCB印制电路板基板是所有元器件的承载底座。芯片、HBM、供电模块、接口、散热器全都装在这块板子上。但高端加速卡的 PCB不是普通电路板能比的。它要面对几个苛刻要求高层数高速信号、电源、地线要分层走线高端卡的 PCB 往往有几十层低损耗材料高速信号在 PCB 上传输会有损耗高端卡用低损耗、高频板材如 M6、M8 级板材高密度互连几百安电流、TB/s 级信号都在这块板上跑布局布线密度极高。 一句话PCB 基板是加速卡的骨架骨架散了再强的芯片也立不住。5.2 信号完整性高速信号的守门员加速卡上跑的是超高速信号——PCIe 5.0/6.0 单通道几十 GT/sNVLink 更高。这么高的速率下信号在 PCB 上传输会出现一系列问题反射、串扰、衰减、时序偏移……信号完整性Signal IntegritySI就是专门解决这些问题的工程领域。它要做的事包括阻抗匹配让传输线的特性阻抗和芯片匹配减少信号反射等长走线让并行信号的长度一致避免时序错位隔离串扰让高速线之间有足够间距或屏蔽避免互相干扰去耦电容在芯片供电引脚附近放电容滤除高频噪声。这些细节普通用户看不到但它们决定了这块卡插上去能不能稳定跑高速。 一句话PCB 是骨架信号完整性是神经系统。骨架撑起结构神经保证信号传得对、传得快、传得稳。没有信号完整性设计再高的标称带宽都会在实际传输中打折甚至翻车。5.2.1 信号完整性到底在防什么把信号完整性问题拆成几个敌人更容易理解它在防什么反射信号遇到阻抗不连续点如拐弯、过孔、接头会像水波撞墙一样弹回来干扰后续信号串扰相邻走线之间高速信号会像隔墙有耳一样互相干扰导致误码衰减与畸变信号跑得越远、频率越高损耗越大波形会变形接收端可能读错时序偏移并行信号如果走线长度不一到达时间错开数据就会对不齐。这些现象在低速电路里几乎可以忽略但在 PCIe 5.0/6.0 这种几十 GT/s 的速率下任何一个都足以让整张卡跑不稳。 一句话信号完整性工程师本质上是在和反射、串扰、衰减、时序偏移这四个敌人打持久战。他们做的每一项设计——阻抗匹配、等长走线、隔离屏蔽、去耦电容——都是在给这四个敌人上锁。5.3 七大模块如何协同工作拆完了七大模块最后把它们串起来看一次完整的数据流是怎么走的CPU通过主机 PCIe 接口把数据和指令发给加速卡数据进入PCB 基板上的走线经过信号完整性保障准确送到算力芯片算力芯片从HBM 模组读取权重和激活执行矩阵运算计算过程中高精度供电持续稳定供血液冷散热持续带走热量多卡协同时芯片间互联接口在卡与卡之间同步梯度算完的结果再通过PCIe 接口返回给 CPU。七大模块环环相扣缺一不可。这就是一块 AI 加速卡作为一个完整嵌入式系统的运转全景。配图图 1AI 加速卡七模块爆炸图graph TD subgraph 加速卡[AI 加速卡 板级算力设备] A[1. AI 算力芯片br/矩阵运算核心] B[2. HBM 模组br/先进封装相邻部署] C[3. 芯片间互联接口br/多卡协同] D[4. 主机互联接口br/PCIe 5.0/6.0] E[5. 高精度供电br/稳定供血] F[6. 大规模散热br/液冷] G[7. PCB 基板与信号控制br/承载与连接] end A --- B A --- C D --- A E --- A F --- A G --- A算力芯片A为绝对核心其余六大模块围绕它各司其职HBM 供数据、互联供通信、供电供血、散热降温、PCB 承载。图 2卡间互联接口 vs 主机 PCIe 接口 双通道示意flowchart LR CPU[CPU 主机] -- PCIe 5.0/6.0 主机接口 -- 卡1[加速卡 1] CPU -- PCIe -- 卡2[加速卡 2] 卡1 -- 芯片间互联 NVLink -- 卡2主机 PCIe 负责 CPU 与每张卡之间的对外通信芯片间互联NVLink负责卡与卡之间的对内高速通信。两条通道并行职责分明。写在最后一块 AI 加速卡看着是一块板子拆开是七个模块、一个系统。算力芯片是心脏HBM 是贴身仓库互联是血管供电是供血散热是空调PCB 是骨架神经——每一个模块都在为让算力芯片稳定、高效地跑矩阵乘法这件事服务。理解了这七个模块你再看任何一张 AI 加速卡的参数和拆机图都能一眼看出它贵在哪、强在哪、短板在哪。下一篇我们深入加速卡的血管——三类互联技术PCIe / 多卡直连 / 芯片级看看它们如何决定多卡能跑多快。【思考题】为什么高端加速卡非得上液冷风冷撑不住的根本原因是功耗密度还是热传导欢迎讨论。【系列文章预告】下一篇讲加速卡的血管——三类互联技术决定多卡能跑多快。标签AI加速卡、HBM、PCIe、液冷散热、AI显卡、板级算力、硬件架构AI 加速卡为板级算力设备即日常所说AI 显卡由 AI 算力芯片、HBM 模组、芯片间互联接口、主机互联接口PCIe 5.0/6.0、高精度供电、大规模散热液冷、PCB 基板与信号控制七大模块构成HBM 通过先进封装与芯片相邻部署主机接口主流为 PCIe 5.0/6.0部分定制互联高端卡需外部供电与液冷散热。