1. 项目概述在内存容量动辄数百GB甚至TB级别的现代数据中心和服务器里有一个看似不起眼但实则至关重要的性能瓶颈那就是虚拟内存的地址转换。每次CPU访问内存都需要通过页表将程序看到的虚拟地址转换成实际的物理地址。这个过程我们称之为“页表遍历”在x86-64架构下一次完整的遍历可能需要多达4次内存访问。想象一下对于一个内存密集型应用比如大规模图计算或者内存数据库每次内存访问前都要先做这么一串“寻址”操作性能损耗是惊人的。有研究表明对于某些应用仅地址转换带来的开销就能吃掉高达50%的性能。为了加速这个转换过程现代CPU都内置了一个叫TLB的小型高速缓存专门用来存放最近用到的虚拟地址到物理地址的映射。你可以把它理解成一个“地址翻译速查表”。TLB虽快但容量极其有限通常只有几十到几百个条目。当程序要访问的地址映射不在TLB里时就会发生“TLB未命中”迫使CPU去执行缓慢的页表遍历。随着应用内存足迹的爆炸式增长TLB能覆盖的地址空间比例越来越小这个矛盾日益尖锐。与此同时为了构建大容量、低成本、高能效的内存系统业界开始广泛采用混合内存架构将传统的DRAM与新兴的非易失性存储器如PCM、3D XPoint结合起来。DRAM速度快但成本高、功耗大NVM密度高、成本低、静态功耗几乎为零但读写延迟和能耗尤其是写操作远高于DRAM。一个很自然的想法是用一小块快速的DRAM作为缓存把NVM中频繁访问的“热”数据迁移过来从而提升整体性能和能效这就是页迁移技术。到这里问题来了。为了缓解TLB容量不足操作系统和硬件早就支持了超级页比如2MB甚至是1GB。一个超级页条目在TLB里能覆盖512个普通的4KB页极大地提升了TLB的“射程”。但是超级页要求虚拟和物理地址都是连续且对齐的。而细粒度的页迁移比如以4KB为单位为了精准地只迁移热点数据往往需要把一个完整的超级页打碎成一个个4KB的小页。这就像为了搬几本常看的书不得不把整个书柜拆散一样。迁移完成后原本连续的内存空间变得支离破碎超级页无法再被构建TLB的覆盖优势也就荡然无存了。我们陷入了一个两难境地要TLB覆盖范围就得忍受粗粒度迁移带来的DRAM带宽和容量浪费要细粒度的迁移效率就得牺牲TLB性能。那么有没有一种方法能“鱼与熊掌兼得”呢这就是我们今天要深入探讨的Tamp机制的核心思想。它不再非此即彼而是巧妙地观察到一个现象在短时间内一个超级页内的那些“热”的4KB小页往往并不是随机分散的而是倾向于连续地聚集在一起。Tamp正是抓住了这种“中间连续性”提出了一套软硬件协同的解决方案在支持细粒度、精准页迁移的同时还能将这些连续的热页重新“打包”在TLB里用更少的条目来表示从而大幅提升TLB效率。接下来我们就一层层拆解Tamp是如何做到的。2. 核心思路与设计动机2.1 混合内存系统中的页迁移困境在深入Tamp的设计之前我们必须先理解传统页迁移策略在混合内存系统中面临的固有矛盾。这个矛盾的核心在于迁移粒度与内存管理开销之间的权衡。粗粒度迁移如2MB超级页优点完美保持内存连续性能充分利用超级页和TLB大条目的优势地址转换效率高。缺点迁移代价巨大。假设一个2MB的超级页里只有10个4KB的页是热的但迁移时却不得不把512个页全部搬走。这造成了DRAM容量浪费宝贵的DRAM空间被大量“冷”数据占据。内存带宽浪费迁移了数倍于实际需求的数据量挤占了本可用于应用的内存带宽。性能停滞迁移过程中对该超级页的访问会被阻塞。迁移粒度越大阻塞时间越长对性能的直接影响越严重。细粒度迁移如4KB基页优点精准。只迁移真正被频繁访问的热页最大化DRAM的缓存效率迁移数据量小对带宽占用和性能干扰低。缺点彻底破坏了超级页的连续性。迁移后这些4KB页在DRAM中可能是东一块西一块的无法再合并成更大的页。这直接导致TLB条目消耗急剧增加TLB未命中率飙升地址转换重新成为性能瓶颈。2.2 关键观察热页的“中间连续性”Tamp的出发点基于一个对真实应用工作负载的细致观察。研究团队对来自SPEC CPU、Parsec、PBBS等多个基准测试套件中的代表性应用如Mcf、Canneal、BFS等进行了分析重点关注了在短时间窗口例如10^8个CPU周期内被频繁访问的“热”页的分布特征。他们发现了两个关键现象工作集时变性应用在运行过程中其活跃的“热”页集合是随时间变化的。一个时间段的热页在下一个时间段可能就变冷了。这印证了细粒度、动态迁移的必要性。显著的空间局部性更重要的是这些在短时间内被标识为“热”的4KB页在虚拟地址空间和物理地址空间上表现出显著的连续性。例如在Canneal和BFS等应用中有相当比例的热页是以连续块的形式出现的如连续64个页以上。这意味着虽然我们无法总是构建完整的2MB超级页但我们有很大机会将几十个连续的热页作为一个整体来处理。这个“中间连续性”比如128KB、256KB的连续块就是Tamp机制的突破口。它既不像4KB那样零散也不像2MB那样僵化和浪费。如果我们能识别并迁移这些连续的“热页块”并在硬件上支持对这种“非标准”大小连续块的地址转换进行加速那么就能在保持细粒度迁移优点的同时重新获得TLB覆盖范围提升的好处。2.3 Tamp的核心设计哲学基于以上观察Tamp的设计目标非常明确在混合内存系统中支持多粒度页的高效管理实现细粒度迁移与TLB大覆盖范围的共赢。其核心思想可以概括为三点分层管理用大页2MB超级页来管理大容量的NVM保持NVM侧地址空间的规整。同时用一小块DRAM作为NVM的热数据缓存。智能聚合在NVM侧以4KB粒度监控页的访问热度但迁移时并不盲目地单个迁移。系统会主动探测热页的连续性将那些虚拟和物理地址都连续且对齐的多个热基页“绑定”在一起作为一个逻辑上的“多粒度页”批量迁移到DRAM。硬件协同为了高效地翻译这些“多粒度页”的地址Tamp在硬件层面扩展了TLB的设计提出了多粒度TLB。它允许一个TLB条目映射一段任意长度小于512个页的连续地址空间而不仅仅是固定的4KB或2MB。这个过程称为TLB合并。这样一来系统既享受了细粒度迁移带来的DRAM缓存效率又通过TLB合并机制将多个连续的地址转换压缩到一个TLB条目中显著降低了TLB未命中率。下面我们就进入Tamp的具体实现细节。3. Tamp系统架构与核心组件详解3.1 整体架构视图Tamp是一个涉及操作系统和硬件协同设计的复杂机制。其整体架构可以清晰地分为硬件和软件两个层面。硬件层面混合内存控制器集成了一个小型的访问计数缓存用于按4KB粒度统计NVM中每个页近期被访问的次数。这是识别热页的数据来源。多粒度TLB这是Tamp的核心硬件创新。传统的L2 D-TLB被设计为支持多粒度页。每个TLB条目除了包含虚拟页号VPN和物理页帧号PFN外还增加了一个Npages字段例如9位可表示1-512个页和一个M标志位。M标志指示该条目是否为多粒度条目。如果是则该条目映射从VPN开始连续Npages个基页的地址空间。分层TLB结构CPU的L1 D-TLB保持为小容量、全关联、低延迟的缓存用于加速最频繁的地址转换。L2 D-TLB则被设计为支持多粒度条目的TLB。地址转换请求先查询L1 TLB若未命中则查询L2多粒度TLB。操作系统层面内核模块热页标识器定期从内存控制器的计数缓存中读取页访问信息根据阈值如访问频率准确识别出NVM中的热页。页连续性探测器这是实现“智能聚合”的关键模块。它使用位图等数据结构分析被标识为热页的4KB页在超级页内的分布情况找出那些连续且对齐的块。页迁移控制器根据热页标识和连续性分析的结果周期性地触发迁移操作。它将连续的多个热页即“多粒度页”作为一个整体迁移到DRAM中。DRAM管理器负责管理DRAM空间。由于DRAM中现在存放着各种大小的“多粒度页”Tamp修改了内核中的伙伴系统分配器使其能够分配和回收任意大小的连续物理页帧只要小于2MB。同时它维护着空闲页列表、干净页列表和脏页列表并制定了倾向于替换小页、尽力保留大多粒度页的置换策略以维持DRAM中地址的连续性便于TLB合并。3.2 多粒度页的迁移与TLB合并流程这是Tamp运作的核心闭环我们一步步来看监控与识别混合内存控制器持续监控NVM中每个4KB页的访问。操作系统内核的热页标识器定期例如每100ms采样这些计数找出访问频率超过阈值的“热页”。连续性分析页连续性探测器获取热页列表后会检查它们在每个2MB超级页内的分布。它寻找那些在虚拟地址和物理地址上都连续且对齐的多个热页。例如它可能发现从虚拟地址0x2000开始的连续32个页共128KB都是热的。迁移决策与执行页迁移控制器决定将这个连续的128KB“热页块”作为一个整体迁移到DRAM。它在DRAM中通过修改的伙伴分配器寻找一块连续的128KB空闲空间。找到后启动DMA或类似机制将这32个连续的4KB页从NVM复制到DRAM的对应位置。TLB合并关键步骤页迁移完成后需要更新地址映射。操作系统会更新页表将这32个连续的虚拟页映射到DRAM中那32个连续的物理页帧。更重要的是在填充TLB时通常发生在后续访问这些页导致TLB未命中触发页表遍历之后硬件会识别到这是一段连续的映射。传统系统会为这32个页分别创建32个4KB的TLB条目。Tamp系统由于这32个页是连续的并且M标志位在页表项中被设置硬件可以执行TLB合并。它只在L2多粒度TLB中创建一个条目。在这个条目中VPN 起始虚拟页号例如0x2000对应的页号。PFN 起始物理页帧号。Npages 32。M 1。 这一个条目就覆盖了128KB的地址空间相当于“压缩”了31个TLB条目。地址转换当CPU后续访问这个128KB区域内的任何一个虚拟地址比如0x21000时TLB查找逻辑会并行检查所有多粒度TLB条目。它会计算目标VPN是否满足条目.VPN 目标VPN 条目.VPN 条目.Npages。如果命中则通过简单的偏移计算目标PFN 条目.PFN (目标VPN - 条目.VPN)瞬间得到物理地址完全避免了页表遍历。3.3 关键数据结构反向页表与扩展的页表项在多核系统中一个物理页可能被多个进程共享对应多个页表项。当这个页被迁移后需要更新所有相关的页表项这是一个开销巨大的操作。为了高效解决这个问题Tamp引入了全局反向页表。传统页表虚拟页号 - 物理页帧号。反向页表物理页帧号 - 虚拟页号 进程ID ...。 在Tamp中这个反向页表只针对DRAM中的页即被缓存的热页而建立。当需要更新一个被迁移页的所有映射时系统只需根据其物理页帧号查询反向页表就能快速找到所有相关的虚拟页号和进程页表从而进行精准更新避免了遍历所有进程页表的开销。同时为了支持多粒度页Tamp扩展了最后一级页表项PTE的结构增加了一个M标志位。这个标志位告诉硬件这个页是一个多粒度页的一部分。在页表遍历填充TLB时这个标志位会指导硬件去查询反向页表获取整个多粒度页的映射信息起始PFN和页数Npages从而创建合并的TLB条目。3.4 一致性与开销管理任何涉及缓存和地址映射变更的机制都必须妥善处理一致性问题Tamp也不例外。缓存一致性在页迁移开始前必须确保被迁移页在CPU缓存中的最新数据被写回内存。Tamp使用CLFLUSH等指令将与该页相关的所有脏缓存行写回并无效化所有干净的缓存行然后才进行数据拷贝。TLB一致性当一个核因页迁移更新了TLB后其他核上缓存相同映射的TLB条目就过时了。Tamp采用了TLB击落机制。但它做了优化不是简单地无效化整个多粒度TLB条目那会损失很多有效的映射而是尝试只无效化或拆分与已迁移页相关的部分映射。例如如果一个512个页的多粒度条目中只有中间的10个页被移回NVM系统可能会将这个条目拆分成两个或更新Npages字段而不是直接丢弃整个条目。存储开销多粒度TLB本身利用了TLB条目中的预留位没有增加额外的存储开销。用于统计访问的计数器缓存很小论文中为256条目约2KB SRAM。反向页表的开销与DRAM容量和页大小有关论文计算其存储开销低于DRAM总容量的0.3%是可接受的。4. 实现考量与性能优化策略4.1 多粒度页的合并与拆分策略Tamp的智能不仅在于创建多粒度页更在于动态地管理它们。主动合并当系统发现两个在DRAM中存放的多粒度页比如一个64KB一个32KB在虚拟地址空间上相距很近例如中间只隔了4个冷页它会评估合并的收益。如果合并后能形成一个更大的连续块100KB并且迁移中间那几个冷页的代价小于TLB覆盖范围提升带来的收益系统就会主动将这些冷页也迁移过来或从其他地方分配将两个多粒度页合并成一个。谨慎拆分当DRAM空间紧张需要置换页时Tamp的置换策略会优先选择小的、非连续的单页或者从大多粒度页的两端开始回收尽力保持核心部分的连续性。例如一个128KB的多粒度页优先回收其开头或结尾的32KB然后更新TLB条目的VPN和Npages字段使其仍然映射剩下的96KB连续空间。这避免了因回收中间一个页而导致整个连续块被破坏、TLB条目失效的“灾难性”后果。替换算法多粒度TLB本身的替换也采用了加权LRU策略。由于一个合并的TLB条目覆盖了更大的地址范围其被再次命中的概率理论上更高。因此在TLB满需要淘汰条目时系统会给多粒度条目更高的“权重”让它们在TLB中留存更久这进一步放大了TLB合并的收益。4.2 异步多粒度TLB更新为了不让TLB查询逻辑拖慢关键路径Tamp采用了异步更新机制。当发生L1和L2 TLB均未命中时CPU会启动常规的页表遍历。在遍历过程中如果发现该页的PTE中M标志位被置位表明它属于一个多粒度页。此时硬件会异步地去查询反向页表获取整个多粒度页的映射信息并将其填充到L2多粒度TLB中。这个操作与应用程序的执行流水线是并行的不增加关键路径的延迟。下次再访问这个多粒度页内的其他地址时就能直接从多粒度TLB中命中。4.3 与现有硬件生态的兼容性一个优秀的系统设计必须考虑落地可行性。Tamp的设计充分考虑了与现有商用硬件的兼容。页大小支持它明确将多粒度页的大小限制在2MB以下。这是因为现代x86 CPU的TLB本身就是“分裂TLB”即4KB、2MB、1GB的TLB是并行查询的。一个大于2MB的页可以用2MB TLB条目组合来表示。Tamp专注于解决2MB以下、4KB以上的“中间粒度”支持问题这是一个现有硬件支持的空缺地带。TLB查找多粒度TLB被设计为全关联缓存每个条目配备两个比较器可以并行判断一个VPN是否落在其映射的地址范围内。虽然全关联设计在硬件实现上比组关联复杂但考虑到L2 TLB的容量通常不大几百条目且此设计能最灵活地支持任意大小的连续块这是一个合理的权衡。5. 实验评估与效果分析论文通过在zsim和NVMain模拟器上构建的仿真平台对Tamp进行了全面的评估对比了三种策略One-page-mig基线策略以4KB为粒度单独迁移热页。Multi-page-mig迁移连续的多个热页4KB但不进行TLB合并即TLB仍以4KB条目记录。TampMulti-page-mig策略的基础上增加了TLB合并和多粒度页支持。5.1 TLB未命中率大幅降低这是Tamp最直接、最核心的收益。如图9所示与基线策略相比Tamp平均降低了62.4%的TLB未命中率MPKI。即使是只进行多页迁移但不合并TLB的策略也因为迁移后保持了页的连续性使得后续TLB填充更集中带来了平均25.3%的MPKI降低。但Tamp通过硬件级的合并将这种连续性优势转化为了实实在在的TLB条目节省效果提升了一个数量级。对于像Sjeng、Bodytrack这类内存足迹较小的应用由于TLB覆盖范围相对更成问题MPKI的降低尤为显著。5.2 应用性能显著提升TLB未命中的减少直接转化为CPU执行效率的提升。如图10所示Tamp相比基线策略平均带来了16.2%的IPC每周期指令数提升。而Multi-page-mig策略仅带来4.8%的平均提升有时甚至出现性能下降如Milc、Canneal。这揭示了另一个关键点仅仅进行多页迁移是不够的迁移本身有开销。Multi-page-mig策略在迁移连续热页时不可避免地会夹带一些“温”或“冷”的页为了保持连续性这些额外数据的迁移开销有时会抵消掉局部性提升带来的收益。而Tamp通过TLB合并将多页迁移带来的地址连续性转化为了硬件的直接加速收益减少页表遍历使得净收益为正且非常可观。5.3 开销可控任何优化都不能不计成本。Tamp的开销主要来自两方面硬件逻辑开销多粒度TLB的全关联比较逻辑会增加少许访问延迟。论文模拟中为此给L2 D-TLB设置了稍高的延迟。但如图11所示这部分延迟带来的平均性能开销小于7.7%而TLB未命中减少带来的性能收益远大于此净收益为正。迁移流量开销如图12所示由于聚合迁移Tamp比单页迁移策略平均多产生8.2%的页迁移流量。这是因为为了凑成一个连续块有时需要迁移一些非最热的页。但考虑到应用在短时间内的工作集很小这部分额外的带宽消耗对整体内存带宽的占用率通常低于20%在可接受范围内。这是一个典型的“用少许带宽换取大量计算效率”的划算交易。6. 总结与展望Tamp机制为混合内存系统的性能优化提供了一个非常精巧的思路。它没有发明全新的硬件而是在现有TLB和页表框架上进行了务实的扩展它没有颠覆细粒度页迁移的必要性而是通过观察和利用应用固有的“中间连续性”巧妙地化解了迁移粒度与TLB效率之间的矛盾。从工程实践的角度看Tamp的设计有几点启示观察驱动设计好的优化往往源于对真实负载特征的深刻洞察。“热页具有中间连续性”这一观察是Tamp一切设计的基石。软硬件协同纯粹在软件或硬件层面解决此类系统级瓶颈往往事倍功半。Tamp在OS层进行智能的连续性探测和页聚合在硬件层提供灵活的多粒度TLB支持两者缺一不可。增量式演进Tamp没有要求完全改变现有的超级页、TLB或页迁移机制而是以“打补丁”的方式增强它们这使得它更容易被现有的系统生态所接纳。当然Tamp也有其局限性和未来可探索的方向。例如其多粒度TLB的全关联设计在条目数非常多时可能成为可扩展性瓶颈其连续性探测算法和合并/拆分策略的阈值需要更精细的调优在虚拟化环境中嵌套页表会使得地址转换路径更长Tamp机制如何与之结合并保持高效也是一个有趣的挑战。无论如何Tamp向我们展示了在内存系统设计这个充满权衡的领域通过细致的分析和跨层的协同创新我们仍然可以找到那些“鱼与熊掌兼得”的甜蜜点。对于从事系统底层优化、数据库、大数据框架开发的工程师而言理解这类机制背后的思想对于设计高性能、高可扩展性的应用和系统有着深远的意义。
Tamp机制：混合内存系统中细粒度页迁移与TLB效率的协同优化
发布时间：2026/6/5 13:52:42
1. 项目概述在内存容量动辄数百GB甚至TB级别的现代数据中心和服务器里有一个看似不起眼但实则至关重要的性能瓶颈那就是虚拟内存的地址转换。每次CPU访问内存都需要通过页表将程序看到的虚拟地址转换成实际的物理地址。这个过程我们称之为“页表遍历”在x86-64架构下一次完整的遍历可能需要多达4次内存访问。想象一下对于一个内存密集型应用比如大规模图计算或者内存数据库每次内存访问前都要先做这么一串“寻址”操作性能损耗是惊人的。有研究表明对于某些应用仅地址转换带来的开销就能吃掉高达50%的性能。为了加速这个转换过程现代CPU都内置了一个叫TLB的小型高速缓存专门用来存放最近用到的虚拟地址到物理地址的映射。你可以把它理解成一个“地址翻译速查表”。TLB虽快但容量极其有限通常只有几十到几百个条目。当程序要访问的地址映射不在TLB里时就会发生“TLB未命中”迫使CPU去执行缓慢的页表遍历。随着应用内存足迹的爆炸式增长TLB能覆盖的地址空间比例越来越小这个矛盾日益尖锐。与此同时为了构建大容量、低成本、高能效的内存系统业界开始广泛采用混合内存架构将传统的DRAM与新兴的非易失性存储器如PCM、3D XPoint结合起来。DRAM速度快但成本高、功耗大NVM密度高、成本低、静态功耗几乎为零但读写延迟和能耗尤其是写操作远高于DRAM。一个很自然的想法是用一小块快速的DRAM作为缓存把NVM中频繁访问的“热”数据迁移过来从而提升整体性能和能效这就是页迁移技术。到这里问题来了。为了缓解TLB容量不足操作系统和硬件早就支持了超级页比如2MB甚至是1GB。一个超级页条目在TLB里能覆盖512个普通的4KB页极大地提升了TLB的“射程”。但是超级页要求虚拟和物理地址都是连续且对齐的。而细粒度的页迁移比如以4KB为单位为了精准地只迁移热点数据往往需要把一个完整的超级页打碎成一个个4KB的小页。这就像为了搬几本常看的书不得不把整个书柜拆散一样。迁移完成后原本连续的内存空间变得支离破碎超级页无法再被构建TLB的覆盖优势也就荡然无存了。我们陷入了一个两难境地要TLB覆盖范围就得忍受粗粒度迁移带来的DRAM带宽和容量浪费要细粒度的迁移效率就得牺牲TLB性能。那么有没有一种方法能“鱼与熊掌兼得”呢这就是我们今天要深入探讨的Tamp机制的核心思想。它不再非此即彼而是巧妙地观察到一个现象在短时间内一个超级页内的那些“热”的4KB小页往往并不是随机分散的而是倾向于连续地聚集在一起。Tamp正是抓住了这种“中间连续性”提出了一套软硬件协同的解决方案在支持细粒度、精准页迁移的同时还能将这些连续的热页重新“打包”在TLB里用更少的条目来表示从而大幅提升TLB效率。接下来我们就一层层拆解Tamp是如何做到的。2. 核心思路与设计动机2.1 混合内存系统中的页迁移困境在深入Tamp的设计之前我们必须先理解传统页迁移策略在混合内存系统中面临的固有矛盾。这个矛盾的核心在于迁移粒度与内存管理开销之间的权衡。粗粒度迁移如2MB超级页优点完美保持内存连续性能充分利用超级页和TLB大条目的优势地址转换效率高。缺点迁移代价巨大。假设一个2MB的超级页里只有10个4KB的页是热的但迁移时却不得不把512个页全部搬走。这造成了DRAM容量浪费宝贵的DRAM空间被大量“冷”数据占据。内存带宽浪费迁移了数倍于实际需求的数据量挤占了本可用于应用的内存带宽。性能停滞迁移过程中对该超级页的访问会被阻塞。迁移粒度越大阻塞时间越长对性能的直接影响越严重。细粒度迁移如4KB基页优点精准。只迁移真正被频繁访问的热页最大化DRAM的缓存效率迁移数据量小对带宽占用和性能干扰低。缺点彻底破坏了超级页的连续性。迁移后这些4KB页在DRAM中可能是东一块西一块的无法再合并成更大的页。这直接导致TLB条目消耗急剧增加TLB未命中率飙升地址转换重新成为性能瓶颈。2.2 关键观察热页的“中间连续性”Tamp的出发点基于一个对真实应用工作负载的细致观察。研究团队对来自SPEC CPU、Parsec、PBBS等多个基准测试套件中的代表性应用如Mcf、Canneal、BFS等进行了分析重点关注了在短时间窗口例如10^8个CPU周期内被频繁访问的“热”页的分布特征。他们发现了两个关键现象工作集时变性应用在运行过程中其活跃的“热”页集合是随时间变化的。一个时间段的热页在下一个时间段可能就变冷了。这印证了细粒度、动态迁移的必要性。显著的空间局部性更重要的是这些在短时间内被标识为“热”的4KB页在虚拟地址空间和物理地址空间上表现出显著的连续性。例如在Canneal和BFS等应用中有相当比例的热页是以连续块的形式出现的如连续64个页以上。这意味着虽然我们无法总是构建完整的2MB超级页但我们有很大机会将几十个连续的热页作为一个整体来处理。这个“中间连续性”比如128KB、256KB的连续块就是Tamp机制的突破口。它既不像4KB那样零散也不像2MB那样僵化和浪费。如果我们能识别并迁移这些连续的“热页块”并在硬件上支持对这种“非标准”大小连续块的地址转换进行加速那么就能在保持细粒度迁移优点的同时重新获得TLB覆盖范围提升的好处。2.3 Tamp的核心设计哲学基于以上观察Tamp的设计目标非常明确在混合内存系统中支持多粒度页的高效管理实现细粒度迁移与TLB大覆盖范围的共赢。其核心思想可以概括为三点分层管理用大页2MB超级页来管理大容量的NVM保持NVM侧地址空间的规整。同时用一小块DRAM作为NVM的热数据缓存。智能聚合在NVM侧以4KB粒度监控页的访问热度但迁移时并不盲目地单个迁移。系统会主动探测热页的连续性将那些虚拟和物理地址都连续且对齐的多个热基页“绑定”在一起作为一个逻辑上的“多粒度页”批量迁移到DRAM。硬件协同为了高效地翻译这些“多粒度页”的地址Tamp在硬件层面扩展了TLB的设计提出了多粒度TLB。它允许一个TLB条目映射一段任意长度小于512个页的连续地址空间而不仅仅是固定的4KB或2MB。这个过程称为TLB合并。这样一来系统既享受了细粒度迁移带来的DRAM缓存效率又通过TLB合并机制将多个连续的地址转换压缩到一个TLB条目中显著降低了TLB未命中率。下面我们就进入Tamp的具体实现细节。3. Tamp系统架构与核心组件详解3.1 整体架构视图Tamp是一个涉及操作系统和硬件协同设计的复杂机制。其整体架构可以清晰地分为硬件和软件两个层面。硬件层面混合内存控制器集成了一个小型的访问计数缓存用于按4KB粒度统计NVM中每个页近期被访问的次数。这是识别热页的数据来源。多粒度TLB这是Tamp的核心硬件创新。传统的L2 D-TLB被设计为支持多粒度页。每个TLB条目除了包含虚拟页号VPN和物理页帧号PFN外还增加了一个Npages字段例如9位可表示1-512个页和一个M标志位。M标志指示该条目是否为多粒度条目。如果是则该条目映射从VPN开始连续Npages个基页的地址空间。分层TLB结构CPU的L1 D-TLB保持为小容量、全关联、低延迟的缓存用于加速最频繁的地址转换。L2 D-TLB则被设计为支持多粒度条目的TLB。地址转换请求先查询L1 TLB若未命中则查询L2多粒度TLB。操作系统层面内核模块热页标识器定期从内存控制器的计数缓存中读取页访问信息根据阈值如访问频率准确识别出NVM中的热页。页连续性探测器这是实现“智能聚合”的关键模块。它使用位图等数据结构分析被标识为热页的4KB页在超级页内的分布情况找出那些连续且对齐的块。页迁移控制器根据热页标识和连续性分析的结果周期性地触发迁移操作。它将连续的多个热页即“多粒度页”作为一个整体迁移到DRAM中。DRAM管理器负责管理DRAM空间。由于DRAM中现在存放着各种大小的“多粒度页”Tamp修改了内核中的伙伴系统分配器使其能够分配和回收任意大小的连续物理页帧只要小于2MB。同时它维护着空闲页列表、干净页列表和脏页列表并制定了倾向于替换小页、尽力保留大多粒度页的置换策略以维持DRAM中地址的连续性便于TLB合并。3.2 多粒度页的迁移与TLB合并流程这是Tamp运作的核心闭环我们一步步来看监控与识别混合内存控制器持续监控NVM中每个4KB页的访问。操作系统内核的热页标识器定期例如每100ms采样这些计数找出访问频率超过阈值的“热页”。连续性分析页连续性探测器获取热页列表后会检查它们在每个2MB超级页内的分布。它寻找那些在虚拟地址和物理地址上都连续且对齐的多个热页。例如它可能发现从虚拟地址0x2000开始的连续32个页共128KB都是热的。迁移决策与执行页迁移控制器决定将这个连续的128KB“热页块”作为一个整体迁移到DRAM。它在DRAM中通过修改的伙伴分配器寻找一块连续的128KB空闲空间。找到后启动DMA或类似机制将这32个连续的4KB页从NVM复制到DRAM的对应位置。TLB合并关键步骤页迁移完成后需要更新地址映射。操作系统会更新页表将这32个连续的虚拟页映射到DRAM中那32个连续的物理页帧。更重要的是在填充TLB时通常发生在后续访问这些页导致TLB未命中触发页表遍历之后硬件会识别到这是一段连续的映射。传统系统会为这32个页分别创建32个4KB的TLB条目。Tamp系统由于这32个页是连续的并且M标志位在页表项中被设置硬件可以执行TLB合并。它只在L2多粒度TLB中创建一个条目。在这个条目中VPN 起始虚拟页号例如0x2000对应的页号。PFN 起始物理页帧号。Npages 32。M 1。 这一个条目就覆盖了128KB的地址空间相当于“压缩”了31个TLB条目。地址转换当CPU后续访问这个128KB区域内的任何一个虚拟地址比如0x21000时TLB查找逻辑会并行检查所有多粒度TLB条目。它会计算目标VPN是否满足条目.VPN 目标VPN 条目.VPN 条目.Npages。如果命中则通过简单的偏移计算目标PFN 条目.PFN (目标VPN - 条目.VPN)瞬间得到物理地址完全避免了页表遍历。3.3 关键数据结构反向页表与扩展的页表项在多核系统中一个物理页可能被多个进程共享对应多个页表项。当这个页被迁移后需要更新所有相关的页表项这是一个开销巨大的操作。为了高效解决这个问题Tamp引入了全局反向页表。传统页表虚拟页号 - 物理页帧号。反向页表物理页帧号 - 虚拟页号 进程ID ...。 在Tamp中这个反向页表只针对DRAM中的页即被缓存的热页而建立。当需要更新一个被迁移页的所有映射时系统只需根据其物理页帧号查询反向页表就能快速找到所有相关的虚拟页号和进程页表从而进行精准更新避免了遍历所有进程页表的开销。同时为了支持多粒度页Tamp扩展了最后一级页表项PTE的结构增加了一个M标志位。这个标志位告诉硬件这个页是一个多粒度页的一部分。在页表遍历填充TLB时这个标志位会指导硬件去查询反向页表获取整个多粒度页的映射信息起始PFN和页数Npages从而创建合并的TLB条目。3.4 一致性与开销管理任何涉及缓存和地址映射变更的机制都必须妥善处理一致性问题Tamp也不例外。缓存一致性在页迁移开始前必须确保被迁移页在CPU缓存中的最新数据被写回内存。Tamp使用CLFLUSH等指令将与该页相关的所有脏缓存行写回并无效化所有干净的缓存行然后才进行数据拷贝。TLB一致性当一个核因页迁移更新了TLB后其他核上缓存相同映射的TLB条目就过时了。Tamp采用了TLB击落机制。但它做了优化不是简单地无效化整个多粒度TLB条目那会损失很多有效的映射而是尝试只无效化或拆分与已迁移页相关的部分映射。例如如果一个512个页的多粒度条目中只有中间的10个页被移回NVM系统可能会将这个条目拆分成两个或更新Npages字段而不是直接丢弃整个条目。存储开销多粒度TLB本身利用了TLB条目中的预留位没有增加额外的存储开销。用于统计访问的计数器缓存很小论文中为256条目约2KB SRAM。反向页表的开销与DRAM容量和页大小有关论文计算其存储开销低于DRAM总容量的0.3%是可接受的。4. 实现考量与性能优化策略4.1 多粒度页的合并与拆分策略Tamp的智能不仅在于创建多粒度页更在于动态地管理它们。主动合并当系统发现两个在DRAM中存放的多粒度页比如一个64KB一个32KB在虚拟地址空间上相距很近例如中间只隔了4个冷页它会评估合并的收益。如果合并后能形成一个更大的连续块100KB并且迁移中间那几个冷页的代价小于TLB覆盖范围提升带来的收益系统就会主动将这些冷页也迁移过来或从其他地方分配将两个多粒度页合并成一个。谨慎拆分当DRAM空间紧张需要置换页时Tamp的置换策略会优先选择小的、非连续的单页或者从大多粒度页的两端开始回收尽力保持核心部分的连续性。例如一个128KB的多粒度页优先回收其开头或结尾的32KB然后更新TLB条目的VPN和Npages字段使其仍然映射剩下的96KB连续空间。这避免了因回收中间一个页而导致整个连续块被破坏、TLB条目失效的“灾难性”后果。替换算法多粒度TLB本身的替换也采用了加权LRU策略。由于一个合并的TLB条目覆盖了更大的地址范围其被再次命中的概率理论上更高。因此在TLB满需要淘汰条目时系统会给多粒度条目更高的“权重”让它们在TLB中留存更久这进一步放大了TLB合并的收益。4.2 异步多粒度TLB更新为了不让TLB查询逻辑拖慢关键路径Tamp采用了异步更新机制。当发生L1和L2 TLB均未命中时CPU会启动常规的页表遍历。在遍历过程中如果发现该页的PTE中M标志位被置位表明它属于一个多粒度页。此时硬件会异步地去查询反向页表获取整个多粒度页的映射信息并将其填充到L2多粒度TLB中。这个操作与应用程序的执行流水线是并行的不增加关键路径的延迟。下次再访问这个多粒度页内的其他地址时就能直接从多粒度TLB中命中。4.3 与现有硬件生态的兼容性一个优秀的系统设计必须考虑落地可行性。Tamp的设计充分考虑了与现有商用硬件的兼容。页大小支持它明确将多粒度页的大小限制在2MB以下。这是因为现代x86 CPU的TLB本身就是“分裂TLB”即4KB、2MB、1GB的TLB是并行查询的。一个大于2MB的页可以用2MB TLB条目组合来表示。Tamp专注于解决2MB以下、4KB以上的“中间粒度”支持问题这是一个现有硬件支持的空缺地带。TLB查找多粒度TLB被设计为全关联缓存每个条目配备两个比较器可以并行判断一个VPN是否落在其映射的地址范围内。虽然全关联设计在硬件实现上比组关联复杂但考虑到L2 TLB的容量通常不大几百条目且此设计能最灵活地支持任意大小的连续块这是一个合理的权衡。5. 实验评估与效果分析论文通过在zsim和NVMain模拟器上构建的仿真平台对Tamp进行了全面的评估对比了三种策略One-page-mig基线策略以4KB为粒度单独迁移热页。Multi-page-mig迁移连续的多个热页4KB但不进行TLB合并即TLB仍以4KB条目记录。TampMulti-page-mig策略的基础上增加了TLB合并和多粒度页支持。5.1 TLB未命中率大幅降低这是Tamp最直接、最核心的收益。如图9所示与基线策略相比Tamp平均降低了62.4%的TLB未命中率MPKI。即使是只进行多页迁移但不合并TLB的策略也因为迁移后保持了页的连续性使得后续TLB填充更集中带来了平均25.3%的MPKI降低。但Tamp通过硬件级的合并将这种连续性优势转化为了实实在在的TLB条目节省效果提升了一个数量级。对于像Sjeng、Bodytrack这类内存足迹较小的应用由于TLB覆盖范围相对更成问题MPKI的降低尤为显著。5.2 应用性能显著提升TLB未命中的减少直接转化为CPU执行效率的提升。如图10所示Tamp相比基线策略平均带来了16.2%的IPC每周期指令数提升。而Multi-page-mig策略仅带来4.8%的平均提升有时甚至出现性能下降如Milc、Canneal。这揭示了另一个关键点仅仅进行多页迁移是不够的迁移本身有开销。Multi-page-mig策略在迁移连续热页时不可避免地会夹带一些“温”或“冷”的页为了保持连续性这些额外数据的迁移开销有时会抵消掉局部性提升带来的收益。而Tamp通过TLB合并将多页迁移带来的地址连续性转化为了硬件的直接加速收益减少页表遍历使得净收益为正且非常可观。5.3 开销可控任何优化都不能不计成本。Tamp的开销主要来自两方面硬件逻辑开销多粒度TLB的全关联比较逻辑会增加少许访问延迟。论文模拟中为此给L2 D-TLB设置了稍高的延迟。但如图11所示这部分延迟带来的平均性能开销小于7.7%而TLB未命中减少带来的性能收益远大于此净收益为正。迁移流量开销如图12所示由于聚合迁移Tamp比单页迁移策略平均多产生8.2%的页迁移流量。这是因为为了凑成一个连续块有时需要迁移一些非最热的页。但考虑到应用在短时间内的工作集很小这部分额外的带宽消耗对整体内存带宽的占用率通常低于20%在可接受范围内。这是一个典型的“用少许带宽换取大量计算效率”的划算交易。6. 总结与展望Tamp机制为混合内存系统的性能优化提供了一个非常精巧的思路。它没有发明全新的硬件而是在现有TLB和页表框架上进行了务实的扩展它没有颠覆细粒度页迁移的必要性而是通过观察和利用应用固有的“中间连续性”巧妙地化解了迁移粒度与TLB效率之间的矛盾。从工程实践的角度看Tamp的设计有几点启示观察驱动设计好的优化往往源于对真实负载特征的深刻洞察。“热页具有中间连续性”这一观察是Tamp一切设计的基石。软硬件协同纯粹在软件或硬件层面解决此类系统级瓶颈往往事倍功半。Tamp在OS层进行智能的连续性探测和页聚合在硬件层提供灵活的多粒度TLB支持两者缺一不可。增量式演进Tamp没有要求完全改变现有的超级页、TLB或页迁移机制而是以“打补丁”的方式增强它们这使得它更容易被现有的系统生态所接纳。当然Tamp也有其局限性和未来可探索的方向。例如其多粒度TLB的全关联设计在条目数非常多时可能成为可扩展性瓶颈其连续性探测算法和合并/拆分策略的阈值需要更精细的调优在虚拟化环境中嵌套页表会使得地址转换路径更长Tamp机制如何与之结合并保持高效也是一个有趣的挑战。无论如何Tamp向我们展示了在内存系统设计这个充满权衡的领域通过细致的分析和跨层的协同创新我们仍然可以找到那些“鱼与熊掌兼得”的甜蜜点。对于从事系统底层优化、数据库、大数据框架开发的工程师而言理解这类机制背后的思想对于设计高性能、高可扩展性的应用和系统有着深远的意义。
