第10章缓存暂存(Cache Stashing)本章深入解析CHI协议中用于优化数据局部性和减少访问延迟的关键机制——缓存暂存。10.1 什么是缓存暂存为什么需要它缓存暂存是一种主动、定向的数据预放置机制。它允许一个请求节点通常是I/O设备或处理器发起一个事务提示系统将特定的缓存行数据安装到系统中另一个指定的目标缓存中而不是被动等待目标节点发生缓存缺失时才去获取数据。核心目的与价值优化数据局部性将数据提前放置到预期使用它的计算单元附近减少未来访问的延迟。解耦生产者与消费者在异构系统中允许生产者如I/O设备、GPU直接将数据“推送”到消费者如CPU的缓存附近极大优化了“生产者-消费者”模式的数据流。减少总线争用和内存访问避免多个核心后续去竞争读取同一份数据降低内存带宽压力。提升系统吞吐量和能效通过降低关键路径的延迟提升整体数据处理效率。重要特性仅适用于可侦听内存。提示性而非强制性接收暂存请求的Home节点HN-F和目标节点RN-F都可以选择忽略该提示。这是一种性能优化建议而非强制命令。不改变请求者状态发起暂存的请求者在事务完成后其本地该缓存行的状态为无效(I)。它只是发起了一个数据移动操作并不保留副本。10.2 暂存控制字段StashNID、StashLPID为了实现精确的目标指定CHI协议在请求报文(REQ Flit)中引入了专用的控制字段。字段名位宽作用有效性控制StashNID11位指定目标暂存节点的Node ID。标识数据应存入哪个RN-F节点的缓存。由StashNIDValid字段控制。StashLPID5位可选指定目标节点内的特定逻辑处理器(LP)。用于更精细地指定缓存层次如某个核心的L2缓存。由StashLPIDValid字段控制。StashGroupID8位用于对StashOnceSep*请求进行分组。在StashDone响应中主设备可以区分不同来源或优先级的暂存请求组以便分别跟踪完成状态。仅用于StashOnceSep*请求和StashDone响应。字段组合编码规则(StashNIDValidStashLPIDValid)00未指定暂存目标。数据可能被暂存到HN-F的系统缓存中。10仅指定了目标请求节点(RN-F)。11同时指定了目标请求节点和其内部的LPID。01保留不允许使用。10.3 数据拉取(DataPull)机制DataPull是暂存事务中的关键技术机制它采用巧妙的“拉取”而非“推送”模型。工作原理HN-F并不主动向目标缓存发送数据。HN-F通过发送特殊的暂存侦听请求如SnpStashUnique来“提示”目标缓存Stashee。目标缓存接收到侦听后可以选择在其侦听响应(SnpResp)中通过设置DataPull1和DBID字段主动发起一个隐式的读取请求。HN-F将这个隐式请求视为一个标准的读取事务如ReadUnique或ReadNotSharedDirty来处理并通过常规的数据通道将数据返回给目标缓存。优势复用现有路径重用成熟、高效的读取事务流程可能利用DCT/DMT优化来传输数据无需创建新的数据通道。灵活性目标缓存可以决定是否真的需要该数据虽然协议中似乎是强制的理论上为更复杂的缓存策略留下了空间。简化控制HN-F无需管理到目标缓存的新数据通道控制逻辑更简洁。控制字段在侦听报文(SNP Flit)中DoNotDataPull字段设为0指示目标可以请求DataPull。在响应报文(RSP Flit)中DataPull字段设为1指示请求了DataPull。10.4 暂存事务流程从请求到完成的完整路径CHI支持两种主要的暂存事务其流程核心相似但数据来源和目的不同。1. 带暂存提示的写入事务类型WriteUniqueFullStash,WriteUniquePtlStash场景I/O设备RN-I写入数据的同时希望CPURN-F能立即处理该数据。数据来源新写入的数据来自请求者RN-I。核心流程RN-I向HN-F发送WriteUniqueFullStash请求指定StashNIDRN-F1。HN-F接受请求向RN-F1发送SnpMakeInvalidStash侦听。RN-F1在侦听响应中附带DataPull请求SnpResp_I_Read。HN-F将来自RN-I的写入数据作为对DataPull的响应CompData发送给RN-F1。RN-F1接收数据后发送CompAck。HN-F向RN-I发送Comp完成原始写入。2. 独立的暂存请求事务类型StashOnceUnique/Shared,StashOnceSepUnique/Shared场景软件预取指令或硬件预取器希望提前将数据加载到特定CPU的缓存中。数据来源内存中的当前数据来自SN-F。核心流程以StashOnceShared为例RN-I向HN-F发送StashOnceShared请求指定StashNIDRN-F1。关键顺序保证HN-F首先发送Comp响应给RN-I以确保该暂存请求先于后续对同一地址的任何其他请求被处理。HN-F向SN-F发送ReadNoSnp读取数据并向RN-F1发送SnpStashShared侦听。RN-F1在侦听响应中附带DataPull请求。HN-F将从SN-F读取的内存数据作为对DataPull的响应发送给RN-F1。RN-F1接收数据后发送CompAck。StashOncevsStashOnceSep的关键区别StashOnceHN-F返回单一的Comp响应。StashOnceSepHN-F返回两个响应——Comp一致性完成和StashDone暂存操作全局可见。或一个合并的CompStashDone响应。StashDone使用StashGroupID而非TxnID来匹配原始请求允许请求者对不同组的暂存操作进行独立跟踪。10.5 实际应用案例CPU与加速器协同计算场景一个深度学习推理任务由CPU调度由AI加速器NPU执行计算。数据准备CPU将模型权重和输入数据写入内存。发起计算CPU配置NPU的寄存器启动计算任务。传统问题NPU开始计算时需要从内存读取权重和数据首次访问将导致大量的缓存缺失和长延迟严重拖慢计算启动。使用缓存暂存优化CPU在启动NPU前可以发起一系列StashOnceShared事务将关键的权重和数据所在的缓存行提前暂存到NPU内部的缓存如果NPU作为RN-F节点或靠近NPU的系统缓存中。或者在更先进的系统中当CPU将数据写入内存后可以发起WriteUniqueFullStash事务在写入的同时直接将数据暂存到NPU的缓存。效果当NPU开始计算时所需的数据已经在其本地或附近的缓存中消除了启动阶段的缓存缺失延迟计算单元可以立即满负荷工作显著提升任务的整体执行效率和吞吐量。总结缓存暂存是CHI协议中一项重要的前瞻性优化机制。它通过扩展的请求类型、专用字段和巧妙的DataPull模型为软件和硬件提供了主动管理数据局部性的能力特别适用于异构计算、数据流处理等场景是构建高效能计算系统的关键特性之一。第11章DVM操作本章深入解析CHI协议中用于维护分布式虚拟内存系统一致性的关键机制——分布式虚拟内存DVM操作。11.1 分布式虚拟内存管理概述分布式虚拟内存DVM是一种在多核、多缓存一致性域系统中高效维护虚拟内存系统组件如TLB、指令缓存、分支预测器一致性的协议机制。核心挑战在虚拟内存系统中当操作系统修改页表如重新映射、权限更改后系统中所有处理器核心的本地缓存的页表条目副本存在于TLB中以及可能预取的指令存在于指令缓存中就变得过时。必须有一种机制来无效化这些过时条目并确保在无效化完成之前没有正在进行的或后续的事务会使用这些过时的翻译或指令。DVM的作用DVM操作提供了一种广播式、有序的通信机制将虚拟内存维护操作如TLB无效化从发起者通常是执行操作系统代码的核心可靠地传递到系统中所有相关的节点RN-F, RN-D并确保操作完成的全局可见性。与ACE协议的对比CHI所有DVM操作都必须分两部分发送到MN。ACE部分DVM操作需要两部分部分只需要一部分。CHI的设计更统一简化了MN的处理逻辑。11.2 DVM操作类型TLB无效、缓存无效、同步CHI定义了两种主要的DVM操作类型其核心区别在于是否需要等待执行完成才能响应。类型子类型具体操作核心特性响应要求非同步DVM(DVM Non-Sync)TLB无效(TLB Invalidate)使指定虚拟地址或地址范围的TLB条目失效。1.无需等待执行RN收到DVM侦听后可立即回复响应无需等待本地无效化操作实际完成。2.允许重叠允许多个Non-Sync DVM操作同时处于“未完成”状态。RN返回Snoop Response仅表示收到消息不表示已执行。指令缓存无效(Instruction Cache Validate)使指令缓存中指定地址的预取指令失效。分支预测器无效(Branch Predictor Invalidate)使分支预测器中与指定地址相关的预测条目失效。同步DVM(DVM Sync)DVM同步仅执行同步无其他操作。1.强制等待执行目标RN必须确保其所有未完成的Non-Sync DVM操作都已实际执行后才能回复响应。2.排序点作为所有先前DVM操作的全局完成屏障。RN返回Snoop Response表示所有操作已执行完毕。关键演进CHI-D及以后CHI-D引入了DVM早期完成。对于Non-Sync DVMMN可以在收到所有RN的Snoop Response后立即向发起RN返回Comp响应而无需等待RN实际执行无效化。MN承担了确保在下一个DVM Sync之前所有相关侦听都得到响应的责任。这优化了延迟。CHI-E/F增加了对Armv8.4/v9.2架构扩展的支持如基于范围的TLB无效、安全EL2 TLB无效、领域/GPT相关无效等增强了虚拟化、安全和RME领域管理扩展的支持。11.3 两部分传输机制为什么需要两部分CHI强制所有DVM操作都采用两部分传输到MN这是一个关键设计。两部分内容第一部分Request Flit通道REQ (TXREQ)操作码DVMOp关键字段Address字段用于编码操作属性如操作类型、VMID、ASID、安全状态等。作用告知MN“要做什么操作”。第二部分Data Flit通道DAT (TXDAT)操作码NCBWrData(NonCopyBackWriteData)关键字段Address字段携带操作目标虚拟地址或物理地址对于PICI等。触发条件必须在RN收到MN的DBIDResp之后才能发送。作用告知MN“对哪个地址进行操作”。为什么需要两部分地址与属性分离DVM操作尤其是TLBI需要大量信息操作类型、VMID、ASID、地址等。单次传输可能受限于Flit位宽。两部分设计允许更灵活、更丰富的信息编码。流控与资源管理DBIDResp作为MN对第二部分数据的“信用”确保MN有资源处理该DVM操作防止RN盲目发送数据导致MN缓冲区溢出。统一处理模型强制两部分简化了MN的实现所有DVM操作流程一致。支持地址延迟确定在某些场景下操作属性可能先确定而目标地址稍后才能计算出来两部分机制自然支持这种流水线。区分机制Address字段的bit[3]设置为0表示第一部分1表示第二部分。11.4 DVM操作流程从请求到响应的完整示例以下是一个典型的TLB无效化后跟DVM同步的完整流程展示了如何确保无效化全局生效。参与者RN-F0发起DVM操作的核心执行操作系统代码。MN杂项节点负责接收并广播DVM操作。RN-F1系统中另一个需要接收DVM操作的核心。第一阶段TLB无效化Non-Sync DVM发起请求RN-F0向MN发送DVMOp请求第一部分Address字段编码操作属性为“TLB无效”。MN响应准备MN回复DBIDResp表示准备好接收第二部分。发送地址RN-F0向MN发送NCBWrData第二部分Address字段携带要无效化的目标虚拟地址。MN广播侦听MN收到两部分后向所有相关RN如RN-F1在SNP通道上发送SnpDVMOp侦听。注意侦听也分两部分使用相同的TXNID和Opcode并通过Address bit[3]区分。RN接收并响应RN-F1收到SnpDVMOp后立即向MN回复Snoop Response。此响应仅表示“消息已收到”并不保证本地TLB无效化操作已执行。RN-F1可以在后台异步执行无效化。MN完成通知MN收到RN-F1的响应后向发起者RN-F0发送Comp响应表示该DVM操作已被系统接受。(在CHI-D中此Comp可提前发送即“早期完成”)。第二阶段DVM同步Sync DVM7.发起同步为确保步骤1-6的TLB无效化确实已执行RN-F0向MN发送一个DVMOp请求其属性为“同步”。8.MN准备与广播同样经过DBIDResp和NCBWrData两部分交互后MN向所有RN广播SnpDVMOp侦听同步类型。9.RN强制完成RN-F1收到同步侦听后必须阻塞并等待直到其所有未完成的Non-Sync DVM操作包括步骤5的TLB无效化都实际执行完毕。10.RN确认完成RN-F1确认所有操作完成后向MN发送Snoop Response。11.全局同步完成MN收到所有RN的响应后向RN-F0发送Comp响应。至此RN-F0可以确信之前的TLB无效化操作在整个系统范围内都已生效后续指令将使用新的页表项。总结DVM操作是CHI协议中维护系统级软件尤其是操作系统和虚拟化管理程序正确性的基石。它通过定义明确的操作类型、强制性的两部分传输、以及Non-Sync/Sync的配合在保证功能正确的前提下通过允许操作重叠和早期完成等机制尽可能优化了对性能的影响。第12章I/O释放与优化本章深入解析CHI协议中专门用于I/O一致性请求者RN-I优化缓存资源使用的机制——I/O释放事务。12.1 ReadOnceCleanInvalid与ReadOnceMakeInvalidI/O释放的核心是两种特殊的非分配式读取事务ReadOnceCleanInvalid和ReadOnceMakeInvalid。它们都属于ReadOnce*家族用于获取数据的“快照”但提供了更强的优化提示。共同点目标从可侦听地址区域获取一致性数据的快照。性质提示性非强制。系统可以忽略这些提示将其当作普通的ReadOnce处理。请求者状态事务完成后请求者RN-I的缓存状态为无效(I)。数据不会被长期缓存。目的向系统发出信号表明该数据在近期内不会被再次使用系统可以释放使无效其他缓存中的副本从而避免缓存污染。关键区别特性ReadOnceCleanInvalidReadOnceMakeInvalid对系统中其他副本的建议清理并置为无效。仅置为无效。对脏数据的处理要求如果脏副本被置为无效必须将其写回内存。如果脏副本被置为无效不需要写回内存脏数据可以被丢弃。核心风险无数据丢失风险但可能产生不必要的写回操作。存在数据丢失风险。如果被丢弃的脏数据后续被其他代理读取将读到过时的旧数据。适用场景数据仍然有效但近期不用或需要确保数据持久化。确定数据将不再被使用且可以接受潜在的数据丢失。文档依据ReadOnceCleanInvalid“建议但非必须将该cache line的其他缓存副本清理并置为无效。如果一个脏副本被置为无效则必须将其写回内存。”ReadOnceMakeInvalid“建议但非必须将该cache line的其他缓存副本置为无效。如果一个脏副本被置为无效该cache line不需要写回内存。...使用 ReadOnceMakeInvalid 事务可能导致脏cache line数据丢失。”12.2 避免缓存污染的策略缓存污染是指将短期内不会再次访问的数据载入缓存挤占了可能被频繁访问的有用数据导致缓存命中率下降性能受损。I/O释放作为抗污染策略明确声明数据生命周期I/O设备如DMA控制器、网络接口卡通过使用ReadOnce*事务明确告知系统“我只需要这份数据现在做一次处理之后不会再用。”这与CPU常规的、预期会重复访问的分配式读取如ReadShared形成鲜明对比。主动释放系统缓存通过CleanInvalid或MakeInvalid提示鼓励系统HN-F在向I/O设备返回数据后主动发起侦听使完全一致性节点RN-F中持有的该缓存行副本无效化。这样RN-F的缓存空间就被释放出来可用于缓存更活跃的数据。提升整体缓存效率对于I/O密集型工作负载如数据包处理、视频流处理大量数据流经I/O设备如果不使用I/O释放这些“一次性”数据会污染所有层级的CPU缓存严重拖累CPU应用的性能。使用I/O释放后CPU缓存得以保持“干净”专注于处理计算任务。重要提示I/O释放是提示不能替代强制性的缓存维护操作CMO。如果软件必须确保数据一致性例如在设备共享内存时仍需使用CleanShared或CleanInvalid等CMO。12.3 脏数据处理写回还是丢弃这是ReadOnceCleanInvalid和ReadOnceMakeInvalid最核心的区别也是风险与收益的权衡点。ReadOnceCleanInvalid保守策略写回流程当HN-F侦听发现某个RN-F持有该行的脏Dirty副本例如被CPU修改过但还未写回内存。HN-F发送SnpUnique侦听。RN-F使本地副本无效并将脏数据发送给HN-FSnpRespDataFwded。HN-F必须将该脏数据写回内存SN-F。然后HN-F将数据此时已是内存中的最新数据返回给RN-I。优点保证数据一致性。内存中始终保有该行数据的最新版本任何后续读取都会得到正确数据。缺点可能产生不必要的写回。如果该脏数据确定将被覆盖或废弃这次写回就是浪费带宽和功耗。ReadOnceMakeInvalid激进策略丢弃流程同样HN-F侦听到RN-F持有脏副本。HN-F发送SnpUnique侦听。RN-F使本地副本无效并将脏数据发送给HN-F。HN-F可以选择不将脏数据写回内存直接丢弃。HN-F将从内存或其它干净源读取的数据返回给RN-I。此时内存中的数据可能是过时的旧版本。优点避免不必要的写回操作节省带宽和功耗降低延迟。风险数据丢失。如果系统中另一个代理如另一个CPU在脏数据被丢弃后、内存被新数据覆盖前去读取该地址它将读到过时的、错误的数据。使用限制文档明确指出必须严格限于已知脏数据丢失无害的场景。例如I/O设备读取一个即将被全新数据覆盖的缓冲区。读取临时数据或中间计算结果。在拥有严格软件同步机制的场景下。12.4 实际应用场景分析场景一网络数据包处理传统方式网卡RN-I通过ReadOnce将数据包从内存读入内部缓冲区。CPURN-F缓存中可能会保留这些数据包的副本。当处理海量小包时CPU缓存迅速被这些一次性数据污染。使用I/O释放优化网卡使用ReadOnceCleanInvalid。网卡读取数据包。系统收到提示在返回数据后使CPU缓存中该数据包所在缓存行的副本无效。CPU缓存保持“干净”可以高效运行协议栈等处理逻辑处理完的数据包由CPU写回内存或由网卡直接写入。效果显著提升CPU缓存命中率提高整体网络吞吐量。场景二GPU纹理读取后丢弃背景在图形渲染中GPU作为RN-I可能需要读取一块纹理数据用于某一帧的渲染渲染完成后该纹理数据被新纹理替换旧数据不再需要。优化GPU驱动程序可以针对这些“一次性”纹理使用ReadOnceMakeInvalid。GPU读取纹理。系统可以丢弃CPU缓存中可能存在的该纹理的脏副本如果CPU曾修改过无需写回。效果避免了将即将被覆盖的纹理数据写回内存的带宽浪费提升了渲染效率。场景三安全敏感的数据擦除需求在安全应用中需要确保敏感数据如密钥在处理后从所有系统缓存中彻底清除且内存中的副本也应被覆盖。操作不能单独依赖I/O释放。因为I/O释放是提示且ReadOnceMakeInvalid可能不写回。正确做法先使用ReadOnceCleanInvalid获取数据确保任何脏副本被写回内存处理完成后再对内存地址发起一个强制性的CMO如CleanInvalid并随后向该地址写入随机数据以覆盖。这确保了数据在缓存和内存中的彻底清理。总结I/O释放ReadOnceCleanInvalid/ReadOnceMakeInvalid是CHI协议为I/O设备量身定做的缓存友好型事务。它们通过向系统提供数据生命周期的提示使系统能主动管理缓存资源避免污染并在可控风险下优化带宽和功耗。正确使用这些事务对于构建高性能、高效率的异构计算系统和数据平面至关重要。开发者必须在数据安全性与性能优化之间做出明智的权衡。
第四部分：CHI高级特性与优化
发布时间：2026/7/15 6:17:11
第10章缓存暂存(Cache Stashing)本章深入解析CHI协议中用于优化数据局部性和减少访问延迟的关键机制——缓存暂存。10.1 什么是缓存暂存为什么需要它缓存暂存是一种主动、定向的数据预放置机制。它允许一个请求节点通常是I/O设备或处理器发起一个事务提示系统将特定的缓存行数据安装到系统中另一个指定的目标缓存中而不是被动等待目标节点发生缓存缺失时才去获取数据。核心目的与价值优化数据局部性将数据提前放置到预期使用它的计算单元附近减少未来访问的延迟。解耦生产者与消费者在异构系统中允许生产者如I/O设备、GPU直接将数据“推送”到消费者如CPU的缓存附近极大优化了“生产者-消费者”模式的数据流。减少总线争用和内存访问避免多个核心后续去竞争读取同一份数据降低内存带宽压力。提升系统吞吐量和能效通过降低关键路径的延迟提升整体数据处理效率。重要特性仅适用于可侦听内存。提示性而非强制性接收暂存请求的Home节点HN-F和目标节点RN-F都可以选择忽略该提示。这是一种性能优化建议而非强制命令。不改变请求者状态发起暂存的请求者在事务完成后其本地该缓存行的状态为无效(I)。它只是发起了一个数据移动操作并不保留副本。10.2 暂存控制字段StashNID、StashLPID为了实现精确的目标指定CHI协议在请求报文(REQ Flit)中引入了专用的控制字段。字段名位宽作用有效性控制StashNID11位指定目标暂存节点的Node ID。标识数据应存入哪个RN-F节点的缓存。由StashNIDValid字段控制。StashLPID5位可选指定目标节点内的特定逻辑处理器(LP)。用于更精细地指定缓存层次如某个核心的L2缓存。由StashLPIDValid字段控制。StashGroupID8位用于对StashOnceSep*请求进行分组。在StashDone响应中主设备可以区分不同来源或优先级的暂存请求组以便分别跟踪完成状态。仅用于StashOnceSep*请求和StashDone响应。字段组合编码规则(StashNIDValidStashLPIDValid)00未指定暂存目标。数据可能被暂存到HN-F的系统缓存中。10仅指定了目标请求节点(RN-F)。11同时指定了目标请求节点和其内部的LPID。01保留不允许使用。10.3 数据拉取(DataPull)机制DataPull是暂存事务中的关键技术机制它采用巧妙的“拉取”而非“推送”模型。工作原理HN-F并不主动向目标缓存发送数据。HN-F通过发送特殊的暂存侦听请求如SnpStashUnique来“提示”目标缓存Stashee。目标缓存接收到侦听后可以选择在其侦听响应(SnpResp)中通过设置DataPull1和DBID字段主动发起一个隐式的读取请求。HN-F将这个隐式请求视为一个标准的读取事务如ReadUnique或ReadNotSharedDirty来处理并通过常规的数据通道将数据返回给目标缓存。优势复用现有路径重用成熟、高效的读取事务流程可能利用DCT/DMT优化来传输数据无需创建新的数据通道。灵活性目标缓存可以决定是否真的需要该数据虽然协议中似乎是强制的理论上为更复杂的缓存策略留下了空间。简化控制HN-F无需管理到目标缓存的新数据通道控制逻辑更简洁。控制字段在侦听报文(SNP Flit)中DoNotDataPull字段设为0指示目标可以请求DataPull。在响应报文(RSP Flit)中DataPull字段设为1指示请求了DataPull。10.4 暂存事务流程从请求到完成的完整路径CHI支持两种主要的暂存事务其流程核心相似但数据来源和目的不同。1. 带暂存提示的写入事务类型WriteUniqueFullStash,WriteUniquePtlStash场景I/O设备RN-I写入数据的同时希望CPURN-F能立即处理该数据。数据来源新写入的数据来自请求者RN-I。核心流程RN-I向HN-F发送WriteUniqueFullStash请求指定StashNIDRN-F1。HN-F接受请求向RN-F1发送SnpMakeInvalidStash侦听。RN-F1在侦听响应中附带DataPull请求SnpResp_I_Read。HN-F将来自RN-I的写入数据作为对DataPull的响应CompData发送给RN-F1。RN-F1接收数据后发送CompAck。HN-F向RN-I发送Comp完成原始写入。2. 独立的暂存请求事务类型StashOnceUnique/Shared,StashOnceSepUnique/Shared场景软件预取指令或硬件预取器希望提前将数据加载到特定CPU的缓存中。数据来源内存中的当前数据来自SN-F。核心流程以StashOnceShared为例RN-I向HN-F发送StashOnceShared请求指定StashNIDRN-F1。关键顺序保证HN-F首先发送Comp响应给RN-I以确保该暂存请求先于后续对同一地址的任何其他请求被处理。HN-F向SN-F发送ReadNoSnp读取数据并向RN-F1发送SnpStashShared侦听。RN-F1在侦听响应中附带DataPull请求。HN-F将从SN-F读取的内存数据作为对DataPull的响应发送给RN-F1。RN-F1接收数据后发送CompAck。StashOncevsStashOnceSep的关键区别StashOnceHN-F返回单一的Comp响应。StashOnceSepHN-F返回两个响应——Comp一致性完成和StashDone暂存操作全局可见。或一个合并的CompStashDone响应。StashDone使用StashGroupID而非TxnID来匹配原始请求允许请求者对不同组的暂存操作进行独立跟踪。10.5 实际应用案例CPU与加速器协同计算场景一个深度学习推理任务由CPU调度由AI加速器NPU执行计算。数据准备CPU将模型权重和输入数据写入内存。发起计算CPU配置NPU的寄存器启动计算任务。传统问题NPU开始计算时需要从内存读取权重和数据首次访问将导致大量的缓存缺失和长延迟严重拖慢计算启动。使用缓存暂存优化CPU在启动NPU前可以发起一系列StashOnceShared事务将关键的权重和数据所在的缓存行提前暂存到NPU内部的缓存如果NPU作为RN-F节点或靠近NPU的系统缓存中。或者在更先进的系统中当CPU将数据写入内存后可以发起WriteUniqueFullStash事务在写入的同时直接将数据暂存到NPU的缓存。效果当NPU开始计算时所需的数据已经在其本地或附近的缓存中消除了启动阶段的缓存缺失延迟计算单元可以立即满负荷工作显著提升任务的整体执行效率和吞吐量。总结缓存暂存是CHI协议中一项重要的前瞻性优化机制。它通过扩展的请求类型、专用字段和巧妙的DataPull模型为软件和硬件提供了主动管理数据局部性的能力特别适用于异构计算、数据流处理等场景是构建高效能计算系统的关键特性之一。第11章DVM操作本章深入解析CHI协议中用于维护分布式虚拟内存系统一致性的关键机制——分布式虚拟内存DVM操作。11.1 分布式虚拟内存管理概述分布式虚拟内存DVM是一种在多核、多缓存一致性域系统中高效维护虚拟内存系统组件如TLB、指令缓存、分支预测器一致性的协议机制。核心挑战在虚拟内存系统中当操作系统修改页表如重新映射、权限更改后系统中所有处理器核心的本地缓存的页表条目副本存在于TLB中以及可能预取的指令存在于指令缓存中就变得过时。必须有一种机制来无效化这些过时条目并确保在无效化完成之前没有正在进行的或后续的事务会使用这些过时的翻译或指令。DVM的作用DVM操作提供了一种广播式、有序的通信机制将虚拟内存维护操作如TLB无效化从发起者通常是执行操作系统代码的核心可靠地传递到系统中所有相关的节点RN-F, RN-D并确保操作完成的全局可见性。与ACE协议的对比CHI所有DVM操作都必须分两部分发送到MN。ACE部分DVM操作需要两部分部分只需要一部分。CHI的设计更统一简化了MN的处理逻辑。11.2 DVM操作类型TLB无效、缓存无效、同步CHI定义了两种主要的DVM操作类型其核心区别在于是否需要等待执行完成才能响应。类型子类型具体操作核心特性响应要求非同步DVM(DVM Non-Sync)TLB无效(TLB Invalidate)使指定虚拟地址或地址范围的TLB条目失效。1.无需等待执行RN收到DVM侦听后可立即回复响应无需等待本地无效化操作实际完成。2.允许重叠允许多个Non-Sync DVM操作同时处于“未完成”状态。RN返回Snoop Response仅表示收到消息不表示已执行。指令缓存无效(Instruction Cache Validate)使指令缓存中指定地址的预取指令失效。分支预测器无效(Branch Predictor Invalidate)使分支预测器中与指定地址相关的预测条目失效。同步DVM(DVM Sync)DVM同步仅执行同步无其他操作。1.强制等待执行目标RN必须确保其所有未完成的Non-Sync DVM操作都已实际执行后才能回复响应。2.排序点作为所有先前DVM操作的全局完成屏障。RN返回Snoop Response表示所有操作已执行完毕。关键演进CHI-D及以后CHI-D引入了DVM早期完成。对于Non-Sync DVMMN可以在收到所有RN的Snoop Response后立即向发起RN返回Comp响应而无需等待RN实际执行无效化。MN承担了确保在下一个DVM Sync之前所有相关侦听都得到响应的责任。这优化了延迟。CHI-E/F增加了对Armv8.4/v9.2架构扩展的支持如基于范围的TLB无效、安全EL2 TLB无效、领域/GPT相关无效等增强了虚拟化、安全和RME领域管理扩展的支持。11.3 两部分传输机制为什么需要两部分CHI强制所有DVM操作都采用两部分传输到MN这是一个关键设计。两部分内容第一部分Request Flit通道REQ (TXREQ)操作码DVMOp关键字段Address字段用于编码操作属性如操作类型、VMID、ASID、安全状态等。作用告知MN“要做什么操作”。第二部分Data Flit通道DAT (TXDAT)操作码NCBWrData(NonCopyBackWriteData)关键字段Address字段携带操作目标虚拟地址或物理地址对于PICI等。触发条件必须在RN收到MN的DBIDResp之后才能发送。作用告知MN“对哪个地址进行操作”。为什么需要两部分地址与属性分离DVM操作尤其是TLBI需要大量信息操作类型、VMID、ASID、地址等。单次传输可能受限于Flit位宽。两部分设计允许更灵活、更丰富的信息编码。流控与资源管理DBIDResp作为MN对第二部分数据的“信用”确保MN有资源处理该DVM操作防止RN盲目发送数据导致MN缓冲区溢出。统一处理模型强制两部分简化了MN的实现所有DVM操作流程一致。支持地址延迟确定在某些场景下操作属性可能先确定而目标地址稍后才能计算出来两部分机制自然支持这种流水线。区分机制Address字段的bit[3]设置为0表示第一部分1表示第二部分。11.4 DVM操作流程从请求到响应的完整示例以下是一个典型的TLB无效化后跟DVM同步的完整流程展示了如何确保无效化全局生效。参与者RN-F0发起DVM操作的核心执行操作系统代码。MN杂项节点负责接收并广播DVM操作。RN-F1系统中另一个需要接收DVM操作的核心。第一阶段TLB无效化Non-Sync DVM发起请求RN-F0向MN发送DVMOp请求第一部分Address字段编码操作属性为“TLB无效”。MN响应准备MN回复DBIDResp表示准备好接收第二部分。发送地址RN-F0向MN发送NCBWrData第二部分Address字段携带要无效化的目标虚拟地址。MN广播侦听MN收到两部分后向所有相关RN如RN-F1在SNP通道上发送SnpDVMOp侦听。注意侦听也分两部分使用相同的TXNID和Opcode并通过Address bit[3]区分。RN接收并响应RN-F1收到SnpDVMOp后立即向MN回复Snoop Response。此响应仅表示“消息已收到”并不保证本地TLB无效化操作已执行。RN-F1可以在后台异步执行无效化。MN完成通知MN收到RN-F1的响应后向发起者RN-F0发送Comp响应表示该DVM操作已被系统接受。(在CHI-D中此Comp可提前发送即“早期完成”)。第二阶段DVM同步Sync DVM7.发起同步为确保步骤1-6的TLB无效化确实已执行RN-F0向MN发送一个DVMOp请求其属性为“同步”。8.MN准备与广播同样经过DBIDResp和NCBWrData两部分交互后MN向所有RN广播SnpDVMOp侦听同步类型。9.RN强制完成RN-F1收到同步侦听后必须阻塞并等待直到其所有未完成的Non-Sync DVM操作包括步骤5的TLB无效化都实际执行完毕。10.RN确认完成RN-F1确认所有操作完成后向MN发送Snoop Response。11.全局同步完成MN收到所有RN的响应后向RN-F0发送Comp响应。至此RN-F0可以确信之前的TLB无效化操作在整个系统范围内都已生效后续指令将使用新的页表项。总结DVM操作是CHI协议中维护系统级软件尤其是操作系统和虚拟化管理程序正确性的基石。它通过定义明确的操作类型、强制性的两部分传输、以及Non-Sync/Sync的配合在保证功能正确的前提下通过允许操作重叠和早期完成等机制尽可能优化了对性能的影响。第12章I/O释放与优化本章深入解析CHI协议中专门用于I/O一致性请求者RN-I优化缓存资源使用的机制——I/O释放事务。12.1 ReadOnceCleanInvalid与ReadOnceMakeInvalidI/O释放的核心是两种特殊的非分配式读取事务ReadOnceCleanInvalid和ReadOnceMakeInvalid。它们都属于ReadOnce*家族用于获取数据的“快照”但提供了更强的优化提示。共同点目标从可侦听地址区域获取一致性数据的快照。性质提示性非强制。系统可以忽略这些提示将其当作普通的ReadOnce处理。请求者状态事务完成后请求者RN-I的缓存状态为无效(I)。数据不会被长期缓存。目的向系统发出信号表明该数据在近期内不会被再次使用系统可以释放使无效其他缓存中的副本从而避免缓存污染。关键区别特性ReadOnceCleanInvalidReadOnceMakeInvalid对系统中其他副本的建议清理并置为无效。仅置为无效。对脏数据的处理要求如果脏副本被置为无效必须将其写回内存。如果脏副本被置为无效不需要写回内存脏数据可以被丢弃。核心风险无数据丢失风险但可能产生不必要的写回操作。存在数据丢失风险。如果被丢弃的脏数据后续被其他代理读取将读到过时的旧数据。适用场景数据仍然有效但近期不用或需要确保数据持久化。确定数据将不再被使用且可以接受潜在的数据丢失。文档依据ReadOnceCleanInvalid“建议但非必须将该cache line的其他缓存副本清理并置为无效。如果一个脏副本被置为无效则必须将其写回内存。”ReadOnceMakeInvalid“建议但非必须将该cache line的其他缓存副本置为无效。如果一个脏副本被置为无效该cache line不需要写回内存。...使用 ReadOnceMakeInvalid 事务可能导致脏cache line数据丢失。”12.2 避免缓存污染的策略缓存污染是指将短期内不会再次访问的数据载入缓存挤占了可能被频繁访问的有用数据导致缓存命中率下降性能受损。I/O释放作为抗污染策略明确声明数据生命周期I/O设备如DMA控制器、网络接口卡通过使用ReadOnce*事务明确告知系统“我只需要这份数据现在做一次处理之后不会再用。”这与CPU常规的、预期会重复访问的分配式读取如ReadShared形成鲜明对比。主动释放系统缓存通过CleanInvalid或MakeInvalid提示鼓励系统HN-F在向I/O设备返回数据后主动发起侦听使完全一致性节点RN-F中持有的该缓存行副本无效化。这样RN-F的缓存空间就被释放出来可用于缓存更活跃的数据。提升整体缓存效率对于I/O密集型工作负载如数据包处理、视频流处理大量数据流经I/O设备如果不使用I/O释放这些“一次性”数据会污染所有层级的CPU缓存严重拖累CPU应用的性能。使用I/O释放后CPU缓存得以保持“干净”专注于处理计算任务。重要提示I/O释放是提示不能替代强制性的缓存维护操作CMO。如果软件必须确保数据一致性例如在设备共享内存时仍需使用CleanShared或CleanInvalid等CMO。12.3 脏数据处理写回还是丢弃这是ReadOnceCleanInvalid和ReadOnceMakeInvalid最核心的区别也是风险与收益的权衡点。ReadOnceCleanInvalid保守策略写回流程当HN-F侦听发现某个RN-F持有该行的脏Dirty副本例如被CPU修改过但还未写回内存。HN-F发送SnpUnique侦听。RN-F使本地副本无效并将脏数据发送给HN-FSnpRespDataFwded。HN-F必须将该脏数据写回内存SN-F。然后HN-F将数据此时已是内存中的最新数据返回给RN-I。优点保证数据一致性。内存中始终保有该行数据的最新版本任何后续读取都会得到正确数据。缺点可能产生不必要的写回。如果该脏数据确定将被覆盖或废弃这次写回就是浪费带宽和功耗。ReadOnceMakeInvalid激进策略丢弃流程同样HN-F侦听到RN-F持有脏副本。HN-F发送SnpUnique侦听。RN-F使本地副本无效并将脏数据发送给HN-F。HN-F可以选择不将脏数据写回内存直接丢弃。HN-F将从内存或其它干净源读取的数据返回给RN-I。此时内存中的数据可能是过时的旧版本。优点避免不必要的写回操作节省带宽和功耗降低延迟。风险数据丢失。如果系统中另一个代理如另一个CPU在脏数据被丢弃后、内存被新数据覆盖前去读取该地址它将读到过时的、错误的数据。使用限制文档明确指出必须严格限于已知脏数据丢失无害的场景。例如I/O设备读取一个即将被全新数据覆盖的缓冲区。读取临时数据或中间计算结果。在拥有严格软件同步机制的场景下。12.4 实际应用场景分析场景一网络数据包处理传统方式网卡RN-I通过ReadOnce将数据包从内存读入内部缓冲区。CPURN-F缓存中可能会保留这些数据包的副本。当处理海量小包时CPU缓存迅速被这些一次性数据污染。使用I/O释放优化网卡使用ReadOnceCleanInvalid。网卡读取数据包。系统收到提示在返回数据后使CPU缓存中该数据包所在缓存行的副本无效。CPU缓存保持“干净”可以高效运行协议栈等处理逻辑处理完的数据包由CPU写回内存或由网卡直接写入。效果显著提升CPU缓存命中率提高整体网络吞吐量。场景二GPU纹理读取后丢弃背景在图形渲染中GPU作为RN-I可能需要读取一块纹理数据用于某一帧的渲染渲染完成后该纹理数据被新纹理替换旧数据不再需要。优化GPU驱动程序可以针对这些“一次性”纹理使用ReadOnceMakeInvalid。GPU读取纹理。系统可以丢弃CPU缓存中可能存在的该纹理的脏副本如果CPU曾修改过无需写回。效果避免了将即将被覆盖的纹理数据写回内存的带宽浪费提升了渲染效率。场景三安全敏感的数据擦除需求在安全应用中需要确保敏感数据如密钥在处理后从所有系统缓存中彻底清除且内存中的副本也应被覆盖。操作不能单独依赖I/O释放。因为I/O释放是提示且ReadOnceMakeInvalid可能不写回。正确做法先使用ReadOnceCleanInvalid获取数据确保任何脏副本被写回内存处理完成后再对内存地址发起一个强制性的CMO如CleanInvalid并随后向该地址写入随机数据以覆盖。这确保了数据在缓存和内存中的彻底清理。总结I/O释放ReadOnceCleanInvalid/ReadOnceMakeInvalid是CHI协议为I/O设备量身定做的缓存友好型事务。它们通过向系统提供数据生命周期的提示使系统能主动管理缓存资源避免污染并在可控风险下优化带宽和功耗。正确使用这些事务对于构建高性能、高效率的异构计算系统和数据平面至关重要。开发者必须在数据安全性与性能优化之间做出明智的权衡。
