【信息科学与工程学】计算机科学与自动化——第二百篇 综合类算法篇01

Net-B1-001 Transformer 推理引擎列内容 (对应“大规模预训练Transformer模型的推理与优化”)编号​Net-B1-001类型​AI推理与优化系统领域​人工智能 / 深度学习模块​Transformer 推理引擎内存模式【主内存/GPU内的内存/Soc中的内存/其他芯片中的内存】主内存 (Host Memory)：存储模型权重、优化器状态、激活检查点、批次数据。GPU/HBM内存 (Device Memory)：核心计算介质，存储当前计算所需的权重切片、KV-Cache、激活值、中间结果。模型通过流水线并行、张量并行、Zero优化等技术在GPU间分布。