在阅读半导体和AI芯片相关博客时有几个关键概念和逻辑链条引发了深入思考。本文将这些疑问和解答系统性地整理出来作为一份便于复习的知识存档。一、半导体产业的“赢家通吃”法则为什么这个问题来自对半导体产业竞争格局的观察。在芯片行业常常出现“功能更全、性能更高、可靠性更好的产品价格反而更便宜”的怪象。要理解这个现象需要从芯片产业的成本结构入手。1.1 NRE与边际成本芯片的成本构成决定了它的经济学特性。NRENon-Recurring Engineering一次性工程费用极高。开发一颗3nm芯片的研发费用已进入10亿美元俱乐部其中包含设计、验证、流片、EDA工具、IP授权等费用。边际成本物料成本却相对较低。一旦芯片设计定型并投入量产每多生产一颗芯片的增量成本不过是硅片、光刻胶、封测等费用。这种成本结构导致一个结果谁能卖出最多的芯片谁就能把天价NRE摊薄到极致。假设研发花费10亿美元卖出1000片则每片分摊100万美元卖出1亿片则每片分摊仅10美元。于是市场份额最大的企业可以将产品定价压得非常低同时性能还最强。规模效应Economies of Scale在这里发挥到了极致。1.2 “721”格局的历史演化这种成本结构推动了一个反复上演的产业规律新技术出现后一个新品类诞生初期涌入100多家初创公司各做各的产品随后经历激烈竞争、倒闭潮最后通过合并与收购收敛为3-5家公司。通常在终局阶段第一名占据约80%的市场份额第二名约15%其余所有公司分食剩下的5%。以下是几个典型品类的时间线演化GPU图形处理器1995年前后3D加速卡兴起市场涌现3dfx、S3 Graphics、Matrox、ATI、NVIDIA等数十家企业。2000年后随着DirectX标准统一和制造成本飙升3dfx被NVIDIA收购S3被VIA收购。2006年AMD收购ATI最终收敛为NVIDIA与AMD的双寡头。FPGA现场可编程门阵列1980年代赛灵思Xilinx发明FPGA后Altera、Lattice、Actel等几十家公司跟进。2015年Intel收购Altera2022年AMD收购Xilinx。现今市场基本呈现AMDXilinx与IntelAltera双雄格局。DRAM动态随机存取存储器1970年代英特尔发明DRAM后美日涌现数百家企业。1990年代经历残酷价格战英特尔、德州仪器等退出。最终收敛为三星、SK海力士、美光三家合计占据超过95%的市场份额。此外CPU领域Intel与AMD、以太网交换芯片Broadcom与Marvell、移动处理器AP高通与联发科等都呈现出类似的收敛轨迹。二、训练与推理为什么注定分化在观察当前AI芯片市场时一个观点引起了注意训练市场可能延续传统半导体“一家独大”的格局而推理市场的门槛相对低得多市场前景却又大得多。这背后的原因值得拆解。2.1 训练市场为什么“一家独大”训练是一项需要万卡集群、连续运行数月的高风险工程。它的垄断壁垒来自三个层面。第一信任成本极高。投入上亿美元训练一个千亿参数大模型任何硬件节点的算力掉线、内存溢出或网络拥塞都可能导致整个集群梯度同步失败俗称“炸炉”。没有技术负责人会拿自己的职业生涯去冒险尝试未经验证的新硬件。第二软件生态锁定。NVIDIA通过十多年的积累打造了CUDA这一AI领域的“操作系统”。几乎所有主流框架PyTorch、TensorFlow都深度依赖CUDA。切换平台意味着之前数亿美元的代码资产作废团队生产力归零。第三系统级复杂性。训练不仅需要单卡算力强还需要NVLink、InfiniBand等高速互联技术来构建“虚拟超级计算机”需要解决负载均衡、容错、断点续训Checkpointing等系统工程难题。这些经验都是NVIDIA用十年时间趟过的坑。这三道壁垒叠加使得训练市场天然倾向于寡头格局。2.2 推理市场为什么“百花齐放”推理是将已经训练好的模型用来响应实际请求。它与训练有本质区别。第一单节点可闭环。推理不需要万卡互联。大多数模型的推理可以在单卡、单机甚至边缘设备上完成。这大幅降低了初创公司的入场门槛。第二软件栈的解耦。训练离不开CUDA但推理的软件栈已高度抽象化。通过ONNX、MLIR、TVM等中间表示IR技术可将PyTorch训练的模型直接编译到各种异构硬件上。这使非NVIDIA芯片能以较低成本承接推理任务。第三需求极度碎片化。自动驾驶需要微秒级响应ChatBot需要毫秒级响应监控摄像头有严格的功耗限制。从云端到边缘到终端场景千差万别不可能由一款芯片通吃所有需求。第四前景数倍于训练。大模型只训练一次但上线后每天要响应数以亿计的API调用。随着AI应用普及推理总算力需求将远超训练一个数量级。这正是云厂商谷歌TPU、亚马逊Inferentia、微软Maia纷纷自研推理芯片的根本驱动力。因此推理市场虽然最终也会收敛但更可能呈现“3-5家核心供应商 多个利基领域玩家”的多元格局而非一家通吃。三、重新审视一个关键参数Memory Bandwidth per Core在研究AI芯片时注意到了NVIDIA Grace CPU特别强调的一个参数Memory Bandwidth per Core单核内存带宽。NVIDIA宣称Grace能达到约6GB/s的单核带宽而传统x86服务器CPU通常在2-3GB/s。为什么这个参数突然变得如此重要3.1 CPU的“带宽饥饿”先看一组对比数据处理器类型总带宽核心数每核带宽典型x86服务器300 GB/s128~2.3 GB/sAWS Graviton 3300 GB/s64~4.7 GB/sNVIDIA Grace546 GB/s72~7.6 GB/s当核心数堆到128核而内存通道没有成倍增加时每个核心能分到的带宽就急剧缩水。如果单核带宽只有2GB/s这个核心在处理数据流时就像用一根细吸管喝奶昔——算力单元ALU大多时间在空转等数据这种状态被称为**“核饥饿”Core Starvation**。3.2 GPU带宽明明更高为什么也“饿”一个自然产生的疑问是GPU的显存带宽动辄几百甚至上千GB/s如H200高达4.8TB/s为什么还说AI负载是Memory-Bound的这需要理解GPU内部的工作方式。GPU拥有数万个小型计算核心CUDA Cores。以H100为例16896个核心共享3352GB/s带宽平均到每个核心只有约0.2GB/s。但因为GPU采用SIMT单指令多线程架构它不追求单核带宽而是靠海量并行来掩盖带宽不足。然而在LLM推理的Decoding阶段每生成一个Token都需要把巨大的权重矩阵从显存完整读取一遍而只对这个极小的Token做运算。这个极低的计算强度Arithmetic Intensity使得GPU的大量算力核心实际上是在“等数据”。这就是为什么决定LLM推理速度的不是算力峰值TFLOPS而是内存带宽HBM BW。3.3 CPU带宽在AI推理中的角色既然GPU内部已经带宽受限为什么CPU的单核带宽也重要原因在于数据搬运的全链路瓶颈。在典型推理流程中数据需要经过三级搬运磁盘→系统内存DDR系统内存→显存HBM显存→GPU核心。CPU的单核带宽决定了第二阶段能多快“喂饱”GPU的管道。如果CPU单核带宽太低连填满PCIe或NVLink通道的速度都达不到那么价值数万美元的GPU就只能在前端空等。此外在NVIDIA Grace-Hopper这样的C2C互联架构中CPU内存和GPU显存构成统一地址空间GPU可直接访问CPU内存。此时CPU内存带宽过低就相当于给GPU连了一根吸管而非消防栓。NVIDIA强调6GB/s的单核带宽本质上是在定义“什么才是一个合格的AI CPU”传递“平衡核心数和单核性能比盲目堆核更重要”的设计哲学。四、推理引擎与推理框架一个容易混淆的概念在讨论AI推理部署时“推理框架”和“推理引擎”两个词常被混用但它们在软件栈中处于不同层级。4.1 本质区别可以用一个比喻来理解推理框架是“菜谱”负责定义模型结构并将训练好的模型转换成标准化的中间格式。推理引擎是“灶台”负责读入菜谱然后针对具体硬件高效地执行这些计算任务。4.2 功能定位对比维度推理框架推理引擎关注阶段模型转换时离线性模型运行时在线性硬件依赖低与目标硬件无关极高针对特定芯片深度调优输入训练产出的模型文件.pth, .h5框架导出的中间格式.onnx输出中间表示文件IR硬件计算结果典型任务图优化、算子融合、模型量化内存分配、内核启动、硬件指令下发典型代表PyTorch、ONNXTensorRT、OpenVINO、TVM、SGLang4.3 SGLang的定位SGLang是当前备受关注的一个开源推理引擎由加州大学伯克利分校开发。它主要有两个创新点RadixAttention一种“超级缓存”技术能记住之前计算过的内容。当多个请求共享相同前缀例如多人用相同的系统提示词时避免重复计算大幅降低延迟、提升吞吐量。结构化生成语言提供高级编程接口方便开发者构建需要多模型协作、有逻辑判断的复杂LLM应用如AI Agent。目前SGLang已支持英伟达、AMD、华为昇腾等多种硬件能高效运行Llama、DeepSeek、Qwen等主流开源模型是推理引擎“百花齐放”格局中的重要力量。五、为什么这些概念值得放在一起理解以上四个看似分散的话题实际上构成了一个完整的逻辑链条成本结构解释了半导体产业“赢家通吃”的底层规律。训练与推理的差异化揭示了为何这条规律在AI时代会在不同市场呈现出截然不同的格局。Memory Bandwidth per Core的讨论展示了AI负载对硬件设计带来的新约束以及什么是更“平衡”的芯片设计理念。推理框架与引擎的区别说明了在硬件之上软件栈如何通过分层解耦来降低产业链的进入门槛使推理市场的“百花齐放”成为可能。这条逻辑链正是理解当前AI芯片产业竞争格局的核心框架。本文内容基于多篇博客、LLM辅助解答及公开资料综合整理仅作为个人学习笔记存档。