1. Scale Out（水平扩展）核心问题：增加节点数N如何影响吞吐量、延迟、效率？方程式列表方程名称数学表达式参数说明数值示例Amdahl定律（固定问题规模）S(N)=(1−p)+Np1p: 可并行化比例; N: 处理器数p=0.95, N=128 → S≈20.3Gustafson定律（缩放问题规模）S(N)=N−p(N−1)p: 串行比例p=0.05, N=128 → S≈121.6并行效率E(N)=NS(N)理想为1，实际受通信开销影响上例E=20.3/128≈0.159通信开销模型（AllReduce） 【信息科学与工程学】【数据中心】第三十九篇 智算中心Scale系统中的算法体系01
1. Scale Out（水平扩展）核心问题：增加节点数N如何影响吞吐量、延迟、效率？方程式列表方程名称数学表达式参数说明数值示例Amdahl定律（固定问题规模）S(N)=(1−p)+Np1p: 可并行化比例; N: 处理器数p=0.95, N=128 → S≈20.3Gustafson定律（缩放问题规模）S(N)=N−p(N−1)p: 串行比例p=0.05, N=128 → S≈121.6并行效率E(N)=NS(N)理想为1，实际受通信开销影响上例E=20.3/128≈0.159通信开销模型（AllReduce）