们探讨了从软件到硬件的编程模型演变介绍了两种不同的定义广义上它涵盖了从应用层到芯片层的所有中间环节而狭义上它主要关注应用层与微架构层之间的交互以及上层行为在下一层的执行方式。这些中间层的存在无疑会对芯片上的应用性能产生影响。因此为了充分发挥芯片的性能潜力我们需要深入思考每一层编程模型的设计初衷。本篇将继续这一探索从演化论的角度探讨硬件约束如何影响编程模型的设计。01硬件三墙的影响► 三堵高墙吉恩·阿姆达尔Gene Amdahl在1967年提出了著名的“Amdahl定律”揭示了并行计算性能随线程数增加而边际效用递减的规律。然而同年他还提出了另一条原则这条原则有时被称为“Amdahl的另一条定律”或“Amdahl Rule of Thumb”。他指出硬件架构设计必须平衡算力、内存带宽以及I/O带宽。理想情况下处理器计算性能与内存带宽及I/O带宽的比例应为111即每百万条指令数每秒MIPS的计算性能需配备1兆字节MB的内存和1兆比特每秒Mbps的I/O带宽。然而随着时间的推移硬件性能之间的平衡被逐渐打破。当硬件性能的错位无法通过体系结构与编程模型的设计来调和时计算系统便遭遇了所谓的“内存墙”、“功耗墙”和“I/O墙”。这些高墙的形成不仅限制了计算系统的性能提升还对编程模型的设计提出了新的挑战。如图1所示自1980年至2020年CPU计算性能、内存带宽、磁盘带宽以及网络带宽的增长速度各不相同。这种增速的错位类似于地壳运动中板块间的错位所形成的悬崖峭壁也导致了计算系统中不同模块性能之间的张力。随着集成电路工艺的发展计算系统的内存带宽与I/O带宽的比例自1985年后便无法再维持理想状态。► 内存墙随着集成电路工艺的发展计算系统的内存带宽与I/O带宽的比例自1985年后便无法再维持理想状态。这使得“Amdahl的另一条定律”所倡导的111比例逐渐成为过去。产业界和学术界普遍认为自1995年后内存性能与CPU性能的错位形成了“内存墙”。为了应对内存墙的问题计算机体系结构研究领域提出了两大创新技术高速缓存Cache和内存级并行性Memory-Level Parallelism, MLP。高速缓存基于局部性原理减少CPU对主存的访问次数来提升性能。具体而言当处理器首次访问某块内存区域时该区域的数据会被复制到芯片上的高速缓存中此后若再次需要访问这些数据处理器可以直接从高速缓存中获取无需再访问外部存储器从而显著提高了访问速度。► 功耗墙摩尔定律推动着单个晶体管的速度不断攀升同时面积和成本却呈指数级下降。然而随着芯片上晶体管数量的激增和密度的加大散热问题逐渐凸显。在2006年左右由于阈值电压的限制Dennard缩放不再适用。这意味着当芯片尺寸继续缩小、性能持续提升时单位面积的功耗将不可避免地上升。这就是所谓的“功耗墙”问题它成为了新一代半导体工艺面临的主要挑战。为了应对功耗墙的挑战芯片设计在2005年之后逐渐采纳了“暗硅”dark silicon的理念。这一理念主要通过多核和异构架构等设计手段来限制芯片上同时全速工作即“点亮”的区域从而确保功耗在可控范围内。以Intel Skylake架构的处理器为例其版图显示单个芯片上集成了4个CPU核和一个GPU。在任何特定时刻仅有部分电路处于活动状态这样便满足了功耗约束。► I/O墙在冯·诺依曼架构中系统通常被划分为存储、计算和外设三大核心模块。过去由于存储速度与计算速度的不平衡以及计算功耗的限制这两大问题曾一度困扰着计算机领域。随着时间的推移2015年左右这长期以来的行业共识逐渐受到了挑战。如今外设与计算/存储模块之间的速度不匹配问题日益凸显它已成为制约计算机性能提升的一道新的“I/O墙”。自2010年起数据中心开始广泛采用光通信模块光纤网络单卡的带宽从1Gbps迅速提升至数十Gbps。2015年后SSD逐渐取代了HDD其寻址过程类似DRAM完全由电信号驱动从而消除了寻址速度对带宽的限制。尽管提出了诸多研究和解决方案但如何突破这一瓶颈仍是一个开放性问题。 正是在这样的背景下GPU及GPGPU编程模型因其高单位算力能量效率而备受瞩目。02软件定义与未来趋势► 从冯·诺依曼架构的起源与发展在计算机技术的早期机器通常只装载为特定用途而设计的程序。1945年冯·诺依曼提出了一个革命性的计算机设计理念——存储程序。这一设计理念不仅开启了冯·诺依曼计算机体系的新篇章还推动了软、硬件的分离进而催生了程序员这一新兴职业。这一模型为我们后续探讨“程序”这一软件概念提供了重要基础。► 软件定义网络与存储的融合随着GPGPU等芯片面积的不断增大外设与计算模块间的速度不匹配已成为制约计算机性能提升的一道新的“I/O墙”。将网络协议栈和数据访问API的处理任务移至DPU/IPU等网络专用芯片上而软件定义存储则将存储器的部分功能移至靠近存储器的运算单元上处理。这种趋势在学术界被概括为软件定义网络。这样的方法有望突破I/O墙的限制促进异构计算的发展。
硬件约束对编程模型设计的影响与未来趋势
发布时间：2026/7/29 7:46:54
们探讨了从软件到硬件的编程模型演变介绍了两种不同的定义广义上它涵盖了从应用层到芯片层的所有中间环节而狭义上它主要关注应用层与微架构层之间的交互以及上层行为在下一层的执行方式。这些中间层的存在无疑会对芯片上的应用性能产生影响。因此为了充分发挥芯片的性能潜力我们需要深入思考每一层编程模型的设计初衷。本篇将继续这一探索从演化论的角度探讨硬件约束如何影响编程模型的设计。01硬件三墙的影响► 三堵高墙吉恩·阿姆达尔Gene Amdahl在1967年提出了著名的“Amdahl定律”揭示了并行计算性能随线程数增加而边际效用递减的规律。然而同年他还提出了另一条原则这条原则有时被称为“Amdahl的另一条定律”或“Amdahl Rule of Thumb”。他指出硬件架构设计必须平衡算力、内存带宽以及I/O带宽。理想情况下处理器计算性能与内存带宽及I/O带宽的比例应为111即每百万条指令数每秒MIPS的计算性能需配备1兆字节MB的内存和1兆比特每秒Mbps的I/O带宽。然而随着时间的推移硬件性能之间的平衡被逐渐打破。当硬件性能的错位无法通过体系结构与编程模型的设计来调和时计算系统便遭遇了所谓的“内存墙”、“功耗墙”和“I/O墙”。这些高墙的形成不仅限制了计算系统的性能提升还对编程模型的设计提出了新的挑战。如图1所示自1980年至2020年CPU计算性能、内存带宽、磁盘带宽以及网络带宽的增长速度各不相同。这种增速的错位类似于地壳运动中板块间的错位所形成的悬崖峭壁也导致了计算系统中不同模块性能之间的张力。随着集成电路工艺的发展计算系统的内存带宽与I/O带宽的比例自1985年后便无法再维持理想状态。► 内存墙随着集成电路工艺的发展计算系统的内存带宽与I/O带宽的比例自1985年后便无法再维持理想状态。这使得“Amdahl的另一条定律”所倡导的111比例逐渐成为过去。产业界和学术界普遍认为自1995年后内存性能与CPU性能的错位形成了“内存墙”。为了应对内存墙的问题计算机体系结构研究领域提出了两大创新技术高速缓存Cache和内存级并行性Memory-Level Parallelism, MLP。高速缓存基于局部性原理减少CPU对主存的访问次数来提升性能。具体而言当处理器首次访问某块内存区域时该区域的数据会被复制到芯片上的高速缓存中此后若再次需要访问这些数据处理器可以直接从高速缓存中获取无需再访问外部存储器从而显著提高了访问速度。► 功耗墙摩尔定律推动着单个晶体管的速度不断攀升同时面积和成本却呈指数级下降。然而随着芯片上晶体管数量的激增和密度的加大散热问题逐渐凸显。在2006年左右由于阈值电压的限制Dennard缩放不再适用。这意味着当芯片尺寸继续缩小、性能持续提升时单位面积的功耗将不可避免地上升。这就是所谓的“功耗墙”问题它成为了新一代半导体工艺面临的主要挑战。为了应对功耗墙的挑战芯片设计在2005年之后逐渐采纳了“暗硅”dark silicon的理念。这一理念主要通过多核和异构架构等设计手段来限制芯片上同时全速工作即“点亮”的区域从而确保功耗在可控范围内。以Intel Skylake架构的处理器为例其版图显示单个芯片上集成了4个CPU核和一个GPU。在任何特定时刻仅有部分电路处于活动状态这样便满足了功耗约束。► I/O墙在冯·诺依曼架构中系统通常被划分为存储、计算和外设三大核心模块。过去由于存储速度与计算速度的不平衡以及计算功耗的限制这两大问题曾一度困扰着计算机领域。随着时间的推移2015年左右这长期以来的行业共识逐渐受到了挑战。如今外设与计算/存储模块之间的速度不匹配问题日益凸显它已成为制约计算机性能提升的一道新的“I/O墙”。自2010年起数据中心开始广泛采用光通信模块光纤网络单卡的带宽从1Gbps迅速提升至数十Gbps。2015年后SSD逐渐取代了HDD其寻址过程类似DRAM完全由电信号驱动从而消除了寻址速度对带宽的限制。尽管提出了诸多研究和解决方案但如何突破这一瓶颈仍是一个开放性问题。 正是在这样的背景下GPU及GPGPU编程模型因其高单位算力能量效率而备受瞩目。02软件定义与未来趋势► 从冯·诺依曼架构的起源与发展在计算机技术的早期机器通常只装载为特定用途而设计的程序。1945年冯·诺依曼提出了一个革命性的计算机设计理念——存储程序。这一设计理念不仅开启了冯·诺依曼计算机体系的新篇章还推动了软、硬件的分离进而催生了程序员这一新兴职业。这一模型为我们后续探讨“程序”这一软件概念提供了重要基础。► 软件定义网络与存储的融合随着GPGPU等芯片面积的不断增大外设与计算模块间的速度不匹配已成为制约计算机性能提升的一道新的“I/O墙”。将网络协议栈和数据访问API的处理任务移至DPU/IPU等网络专用芯片上而软件定义存储则将存储器的部分功能移至靠近存储器的运算单元上处理。这种趋势在学术界被概括为软件定义网络。这样的方法有望突破I/O墙的限制促进异构计算的发展。
