面向小白一文讲懂计算机内存的多级缓存机制一、先说结论为什么计算机需要缓存很多计算机初学者会以为CPU 需要数据就直接去内存里拿。但真实情况不是这样。CPU 的速度非常快而内存也就是我们常说的 RAM速度相对慢很多。如果 CPU 每次计算都直接等内存返回数据就像一个厨师每切一根葱都要跑去超市买一次效率会非常低。所以计算机设计了一套“多级缓存机制”。简单来说缓存就是放在 CPU 附近的一小块高速存储空间用来临时保存 CPU 最近可能会用到的数据。它的核心目的只有一个让 CPU 尽量少等内存。二、用生活例子理解缓存假设你是一个正在学习的学生需要不断查资料。你可以把存储层级理解成这样层级类比特点CPU 寄存器手里正在拿着的纸条最快但容量极小L1 缓存桌面上的资料非常快容量很小L2 缓存书包里的资料较快容量稍大L3 缓存宿舍书架上的资料比 L1、L2 慢但更大内存 RAM图书馆容量大但访问更慢硬盘 SSD/HDD外地仓库容量最大但最慢当 CPU 需要数据时它不会一上来就去内存而是按照下面的顺序查找寄存器 → L1 缓存 → L2 缓存 → L3 缓存 → 内存 RAM → 硬盘越靠近 CPU速度越快但容量越小也越贵。三、CPU、内存、缓存到底是什么关系我们先看一个简化结构----------------------- | CPU | | | | ----------------- | | | 寄存器 | | | ----------------- | | ↓ | | ----------------- | | | L1 Cache | | | ----------------- | | ↓ | | ----------------- | | | L2 Cache | | | ----------------- | | ↓ | | ----------------- | | | L3 Cache | | | ----------------- | ----------↓------------ ↓ ----------------------- | 内存 RAM | ----------------------- ↓ ----------------------- | 硬盘 SSD/HDD | -----------------------CPU 执行程序时需要不断读取指令和数据。比如下面这段代码inta1;intb2;intcab;CPU 要计算a b就需要拿到a和b的值。如果a和b已经在缓存里CPU 就能很快拿到。如果不在缓存里CPU 就需要去更慢的内存中查找。四、什么是“多级缓存”所谓多级缓存就是缓存不是只有一层而是分成多层。常见的 CPU 缓存层级有L1 Cache L2 Cache L3 Cache这里的L是 Level 的意思也就是“层级”。1. L1 缓存L1 缓存离 CPU 核心最近速度最快但容量最小。通常 L1 缓存还会分成两部分类型作用L1 指令缓存保存 CPU 即将执行的指令L1 数据缓存保存 CPU 即将使用的数据也就是说CPU 不仅要缓存数据还要缓存代码指令。例如程序中的cab;这行代码本身对应的机器指令可能会进入指令缓存而变量a、b的值可能会进入数据缓存。2. L2 缓存L2 缓存比 L1 慢一些但容量比 L1 大。可以理解为L1 是桌面L2 是抽屉。桌面上的东西拿得最快但放不了太多抽屉稍微远一点但能放更多。3. L3 缓存L3 缓存一般比 L2 更大也更慢。在多核 CPU 中L3 缓存常常被多个 CPU 核心共享。比如一个 8 核 CPU可能结构类似这样CPU Core 1 → L1 → L2 \ CPU Core 2 → L1 → L2 \ CPU Core 3 → L1 → L2 → 共享 L3 Cache → 内存 CPU Core 4 → L1 → L2 / ...L3 的作用是在多个 CPU 核心之间提供一个相对高速的共享缓存层减少访问内存的次数。五、为什么缓存能提高速度核心原理局部性缓存之所以有效不是因为它会“预测未来”而是因为程序访问数据通常有规律。这个规律叫做“局部性原理”。局部性主要分为两种时间局部性 空间局部性六、时间局部性刚用过的数据很可能马上还会用时间局部性指的是一个数据如果刚刚被访问过那么它接下来很可能还会被访问。例如intsum0;for(inti0;i100000;i){sumsumi;}在这段代码里变量sum会被反复读取和修改。CPU 第一次访问sum后很可能会把它放入缓存。之后循环继续执行时CPU 就可以直接从缓存里读写sum不用每次都去内存。这就是时间局部性。七、空间局部性访问一个数据后附近的数据也可能马上会用空间局部性指的是一个数据被访问后它附近的数据也很可能马上被访问。例如数组intarr[1000];for(inti0;i1000;i){arr[i]arr[i]1;}数组在内存中通常是连续存放的。当 CPU 访问arr[0]时它很可能接下来会访问arr[1] arr[2] arr[3] ...所以 CPU 不会只把arr[0]一个数据加载进缓存而是会把它附近的一整块数据一起加载进缓存。这一整块数据叫做缓存行八、什么是缓存行 Cache Line缓存并不是一个字节一个字节地从内存里取数据而是按块取。这个块通常叫Cache Line中文一般叫缓存行可以理解为CPU 去内存取数据时不是只拿一个字节而是顺手拿一小排数据回来。比如 CPU 要读取某个整数arr[0]。假设一个int占 4 字节一个缓存行是 64 字节。那么一个缓存行可以装64 ÷ 4 16 64 \div 4 1664÷416也就是说CPU 访问arr[0]时可能会顺便把arr[0] 到 arr[15]都加载到缓存中。所以当程序接着访问arr[1]、arr[2]、arr[3]时它们已经在缓存里了速度就非常快。九、缓存命中和缓存未命中当 CPU 查找数据时会先去缓存中找。1. 缓存命中如果数据在缓存里找到了就叫Cache Hit中文叫缓存命中例如CPU 想要 arr[5] L1 缓存中刚好有 arr[5] CPU 直接读取这就是缓存命中。2. 缓存未命中如果数据不在缓存里就叫Cache Miss中文叫缓存未命中例如CPU 想要 arr[500] L1 缓存没有 L2 缓存没有 L3 缓存也没有 只能去内存找这就是缓存未命中。缓存未命中的代价比较大因为 CPU 可能要等待更慢的内存返回数据。十、平均访问时间怎么理解我们可以用一个简单公式理解缓存对性能的影响平均访问时间 命中率 × 缓存访问时间 未命中率 × 下一级访问时间 平均访问时间 命中率 \times 缓存访问时间 未命中率 \times 下一级访问时间平均访问时间命中率×缓存访问时间未命中率×下一级访问时间其中未命中率 1 − 命中率 未命中率 1 - 命中率未命中率1−命中率假设缓存访问时间很短内存访问时间很长。如果命中率越高平均访问时间就越接近缓存访问时间程序就越快。如果命中率越低CPU 就经常要访问内存程序就会变慢。举个简单例子假设缓存访问时间 1 缓存访问时间 1缓存访问时间1内存访问时间 100 内存访问时间 100内存访问时间100如果缓存命中率是95 95%95那么未命中率是5 5%5平均访问时间约为0.95 × 1 0.05 × 100 5.95 0.95 \times 1 0.05 \times 100 5.950.95×10.05×1005.95如果缓存命中率下降到80 80%80那么平均访问时间约为0.8 × 1 0.2 × 100 20.8 0.8 \times 1 0.2 \times 100 20.80.8×10.2×10020.8可以看到命中率从 95% 降到 80%平均访问时间可能会明显增加。这也是为什么程序优化中经常强调“提高缓存命中率”。十一、CPU 查找数据的完整流程当 CPU 需要一个数据时大致会按照下面的流程1. 先查寄存器 2. 如果寄存器没有查 L1 缓存 3. 如果 L1 没有查 L2 缓存 4. 如果 L2 没有查 L3 缓存 5. 如果 L3 没有访问内存 RAM 6. 如果内存也没有可能涉及硬盘、虚拟内存、缺页中断等更复杂机制可以画成这样CPU 需要数据 ↓ 查 L1 缓存 ↓ 命中—— 是 —— 直接使用 ↓ 否 查 L2 缓存 ↓ 命中—— 是 —— 加载到 L1然后使用 ↓ 否 查 L3 缓存 ↓ 命中—— 是 —— 加载到 L2、L1然后使用 ↓ 否 访问内存 ↓ 加载到缓存 ↓ CPU 使用数据注意数据从内存取回来后通常不会只给 CPU 用一次而是会放入缓存方便后续再次使用。十二、为什么缓存容量不能做得特别大既然缓存这么快为什么不把所有内存都做成缓存原因主要有三个1. 成本高缓存通常使用 SRAM而普通内存 RAM 通常使用 DRAM。SRAM 速度快但成本高占面积也大。DRAM 速度慢一些但成本低容量可以做得更大。2. 离 CPU 越近空间越有限CPU 芯片面积有限。L1 缓存放在 CPU 核心附近如果做得太大会占用大量芯片面积也会影响 CPU 其他模块。3. 缓存越大查找可能越复杂缓存不是简单地“越大越快”。缓存越大管理和查找的复杂度也会增加。所以 CPU 设计通常会采用折中方案小而极快的 L1 中等大小的 L2 较大但稍慢的 L3 更大但更慢的内存十三、不同层级的大致速度对比下面是一个非常粗略的理解不同 CPU 会有差异存储层级速度容量位置寄存器极快极小CPU 内部L1 Cache非常快很小CPU 核心内部L2 Cache快较小CPU 核心附近L3 Cache较快较大多核心共享RAM慢大主板内存条SSD很慢很大硬盘HDD更慢很大机械硬盘可以简单记成越靠近 CPU 速度越快 容量越小 价格越贵 越远离 CPU 速度越慢 容量越大 价格越便宜十四、缓存是怎么知道数据在哪里的缓存内部并不是随便存数据的。它需要记录这个缓存位置里存的是内存中的哪一块数据缓存通常会把内存地址拆成几部分Tag Index Offset可以简单理解为部分作用Tag用来判断是不是 CPU 要找的那块数据Index用来定位缓存中的某个位置Offset用来定位缓存行内部的具体字节简化流程如下CPU 给出一个内存地址 ↓ 用 Index 找到缓存中的某一组 ↓ 用 Tag 判断这一组里有没有目标数据 ↓ 如果 Tag 匹配就是缓存命中 ↓ 再用 Offset 找到具体数据如果 Tag 不匹配就说明缓存中没有目标数据需要去下一级缓存或内存查找。十五、缓存映射方式数据放到缓存的哪里内存比缓存大得多所以不可能每个内存地址都在缓存里有唯一位置。问题来了内存中的某一块数据应该放到缓存的哪个位置常见方式有三种直接映射 全相联映射 组相联映射1. 直接映射直接映射的规则很简单每一块内存数据只能放到缓存中的某一个固定位置。优点查找简单速度快缺点容易冲突举个例子数据 A 只能放在缓存第 3 号位置 数据 B 也只能放在缓存第 3 号位置如果程序反复访问 A 和 B它们就会不断把对方挤出去。这会导致频繁缓存未命中。2. 全相联映射全相联映射比较自由一个内存块可以放到缓存中的任意位置。优点冲突少缺点查找复杂硬件成本高因为 CPU 要判断目标数据是否在缓存中可能需要比较很多位置。3. 组相联映射组相联映射是折中方案也是现代 CPU 中很常见的方式。它的规则是缓存被分成多个组一个内存块只能放到某个固定组中但可以放在这个组里的多个位置之一。例如缓存分成很多组 每组有 4 个位置 某块数据只能进入第 8 组 但可以放在第 8 组的 4 个位置中的任意一个这比直接映射更灵活也比全相联映射更容易实现。十六、缓存满了怎么办缓存替换策略缓存容量有限总会满。当 CPU 想把新数据放入缓存时如果对应位置已经满了就必须淘汰一些旧数据。这就涉及缓存替换策略。常见策略有LRU FIFO Random1. LRU最近最少使用LRU 的英文是 Least Recently Used。意思是淘汰最近最久没有被访问的数据。它的思想很符合时间局部性。如果一个数据很久没被用过它接下来继续不用的概率也比较高。2. FIFO先进先出FIFO 的英文是 First In First Out。意思是谁最早进入缓存就先淘汰谁。它比较简单但不一定总是合理。因为最早进入缓存的数据可能现在仍然经常被使用。3. Random随机替换Random 就是随机选择一个缓存块淘汰。听起来很随意但硬件实现简单有些场景效果也不差。十七、写缓存CPU 修改数据时怎么办前面讲的大多是“读数据”。但是 CPU 不只是读数据还会修改数据。比如arr[0]100;这时问题来了CPU 修改的是缓存里的数据内存里的数据要不要立刻同步常见写策略有两种写直达 写回十八、写直达 Write Through写直达的意思是CPU 修改缓存时同时立刻把修改写入内存。流程类似CPU 修改数据 ↓ 更新缓存 ↓ 同时更新内存优点缓存和内存一致性好缺点写入速度较慢因为每次都要写内存十九、写回 Write Back写回的意思是CPU 修改数据时先只修改缓存不立刻写回内存。等这个缓存块将来被淘汰时再写回内存。流程类似CPU 修改数据 ↓ 只更新缓存 ↓ 把缓存块标记为“脏” ↓ 将来被替换时再写回内存这里有一个重要概念脏数据所谓脏数据就是缓存中的数据已经被修改但内存中对应的数据还没更新。写回策略的优点减少频繁写内存提高性能缺点实现复杂需要管理数据一致性二十、写分配和非写分配还有一个相关问题CPU 要写某个数据但这个数据不在缓存里怎么办这叫写未命中。常见策略有写分配 非写分配1. 写分配 Write Allocate写分配的意思是写数据时如果缓存未命中就先把数据从内存加载到缓存再在缓存中修改。这种方式适合接下来还会继续访问这个数据的情况。2. 非写分配 No Write Allocate非写分配的意思是写数据时如果缓存未命中就不加载到缓存直接写内存。这种方式适合只写一次、以后不再使用的数据。二十一、多核 CPU 中的缓存一致性问题现代 CPU 往往有多个核心。每个核心可能都有自己的 L1、L2 缓存。这就会出现一个问题多个核心缓存了同一份数据其中一个核心修改了数据其他核心怎么办举个例子内存中有变量 x 1 CPU 核心 1 把 x 读入自己的缓存 CPU 核心 2 也把 x 读入自己的缓存 核心 1 把 x 改成 2 核心 2 的缓存里还是 x 1这就出现了缓存不一致。为了解决这个问题CPU 需要缓存一致性协议。二十二、简单理解 MESI 协议MESI 是一种常见的缓存一致性协议。MESI 中每个缓存行可能处于四种状态状态含义MModified已修改和内存不一致只有当前缓存有最新数据EExclusive独占和内存一致只有当前缓存有这份数据SShared共享和内存一致多个缓存可能都有这份数据IInvalid无效这份缓存不能再使用不用死记硬背我们用一句话理解MESI 的目标是让多个 CPU 核心知道谁的数据是最新的谁的数据已经失效。例如核心 1 修改了 x ↓ 核心 2 缓存里的 x 被标记为无效 ↓ 核心 2 下次再读 x 时不能直接用旧缓存 ↓ 必须重新获取最新数据这样就能避免不同核心看到不同数据的问题。二十三、缓存一致性和程序员有什么关系对于初学者来说缓存一致性看起来像硬件问题。但它确实会影响程序性能。尤其是在多线程程序中如果多个线程频繁修改同一个变量可能导致缓存行在多个核心之间来回同步性能会下降。例如// 线程 1 修改 a// 线程 2 修改 bstructData{inta;intb;};如果a和b恰好在同一个缓存行中两个线程虽然修改的是不同变量但它们可能仍然互相影响。这叫伪共享二十四、什么是伪共享 False Sharing伪共享是多线程性能优化中非常经典的问题。它指的是多个线程修改不同变量但这些变量位于同一个缓存行中导致缓存行频繁失效和同步。举个例子一个缓存行有 64 字节 变量 a 在这个缓存行里 变量 b 也在这个缓存行里 线程 1 修改 a 线程 2 修改 b虽然线程 1 和线程 2 没有修改同一个变量但 CPU 缓存是按缓存行管理的。所以线程 1 修改a时整个缓存行可能会被认为发生变化。线程 2 修改b时又会影响同一个缓存行。结果就是缓存行在不同 CPU 核心之间来回传递 性能下降解决方法之一是让热点变量分散到不同缓存行中。例如通过填充 paddingstructCounter{longvalue;charpadding[64];};当然真实工程中要根据语言、编译器、CPU 架构具体分析。二十五、缓存和数组遍历的关系缓存对程序性能影响最大的场景之一就是数组访问。我们看两个例子。假设有一个二维数组intarr[1000][1000];在 C 语言中二维数组通常按行连续存储。也就是说内存布局大致是arr[0][0], arr[0][1], arr[0][2], ... arr[1][0], arr[1][1], arr[1][2], ... arr[2][0], arr[2][1], arr[2][2], ...1. 按行遍历for(inti0;i1000;i){for(intj0;j1000;j){arr[i][j]arr[i][j]1;}}这个访问顺序是arr[0][0] arr[0][1] arr[0][2] ... arr[0][999] arr[1][0] arr[1][1] ...这和内存中的连续顺序一致。所以缓存命中率较高性能较好。2. 按列遍历for(intj0;j1000;j){for(inti0;i1000;i){arr[i][j]arr[i][j]1;}}这个访问顺序是arr[0][0] arr[1][0] arr[2][0] ...每次访问都可能跨过一大段内存。这样空间局部性较差缓存命中率可能降低性能也可能变差。二十六、为什么顺序访问通常比随机访问快顺序访问arr[0] → arr[1] → arr[2] → arr[3]随机访问arr[823] → arr[12] → arr[605] → arr[99]顺序访问更容易利用空间局部性。CPU 访问arr[0]时可能已经把arr[1]到arr[15]一起加载到缓存中。但是随机访问时CPU 刚加载了一整块缓存行结果程序下一步跳到完全不同的位置。这会导致很多缓存行只用了一点点就被浪费掉。所以通常来说顺序访问比随机访问更容易命中缓存二十七、缓存和链表的关系很多初学者会觉得链表插入删除快所以链表一定很高效。但从缓存角度看链表并不一定友好。数组在内存中通常是连续的arr[0] arr[1] arr[2] arr[3] arr[4]而链表节点可能散落在内存各处node1 → node2 → node3 → node4但这些节点在真实内存中可能是node1 在地址 A node2 在地址 X node3 在地址 M node4 在地址 P这会导致 CPU 访问链表时经常跳来跳去。因此链表的空间局部性通常比数组差。这也是为什么在很多实际场景中数组、动态数组、连续内存结构的遍历性能可能优于链表。二十八、预取机制CPU 会提前帮你拿数据现代 CPU 通常有预取机制。预取的意思是CPU 发现你在按规律访问数据时会提前把接下来可能需要的数据加载到缓存中。例如for(inti0;i100000;i){sumarr[i];}CPU 发现你在连续访问数组arr[0], arr[1], arr[2], arr[3]...它可能会提前加载后面的数据。这样等程序真正访问时数据已经在缓存里了。但是如果访问模式非常随机预取效果就会变差。二十九、缓存污染是什么缓存污染指的是一些只用一次的数据进入缓存把真正经常使用的数据挤出去了。例如你有一小块热点数据经常使用同时又扫描一个很大的数组。大数组的数据不断进入缓存可能把热点数据挤出去。这就可能导致程序变慢。可以简单理解为缓存空间有限 不重要的数据进来了 重要的数据被挤走了三十、缓存穿透、缓存击穿、缓存雪崩和 CPU 缓存一样吗很多后端开发文章也会讲“缓存”比如 Redis 缓存、数据库缓存。它们和 CPU 缓存不是一回事。1. CPU 缓存CPU 缓存是硬件层面的缓存CPU Cache它主要解决CPU 和内存速度不匹配的问题2. Redis 缓存Redis 缓存是软件系统中的缓存应用程序 → Redis → 数据库它主要解决数据库访问慢、并发压力大的问题3. 二者共同点它们的思想相似把常用数据放在更快的地方4. 二者区别对比项CPU 缓存Redis 缓存层面硬件软件系统管理者CPU 硬件自动管理程序员或框架管理目标加速 CPU 访问内存加速应用访问数据容量很小可以较大访问单位缓存行key-value 数据所以不要把 CPU 缓存和 Redis 缓存完全混为一谈。三十一、缓存和虚拟内存有什么关系初学者还容易把 CPU 缓存和虚拟内存搞混。它们不是一个东西。1. CPU 缓存CPU 缓存缓存的是内存中的数据副本它关心的是如何更快地访问内存数据2. 虚拟内存虚拟内存是操作系统提供的抽象。它让每个进程感觉自己拥有一大片连续内存空间。虚拟内存涉及虚拟地址 物理地址 页表 缺页中断 内存换页3. TLB 是什么TLB 可以简单理解为地址翻译缓存。程序使用的是虚拟地址但真正访问内存需要物理地址。从虚拟地址到物理地址需要查页表。查页表也有成本所以 CPU 又设计了 TLB 来缓存最近的地址翻译结果。可以简单理解为TLB 缓存地址翻译结果 CPU Cache 缓存内存数据它们都叫缓存但缓存的东西不同。三十二、一个小实验为什么按行遍历可能更快下面是一个简单 C 语言示例。#includestdio.h#includetime.h#defineN3000intarr[N][N];intmain(){clock_tstart,end;startclock();for(inti0;iN;i){for(intj0;jN;j){arr[i][j];}}endclock();printf(row first: %f\n,(double)(end-start)/CLOCKS_PER_SEC);startclock();for(intj0;jN;j){for(inti0;iN;i){arr[i][j];}}endclock();printf(column first: %f\n,(double)(end-start)/CLOCKS_PER_SEC);return0;}通常情况下按行遍历可能比按列遍历更快。原因是C 语言二维数组按行连续存储 按行访问更符合空间局部性 缓存命中率更高不过实际结果会受到编译器优化、CPU 架构、操作系统、数组大小等因素影响。三十三、程序员如何写出缓存友好的代码对于初学者来说不需要一开始就研究特别底层的 CPU 细节。先记住几个实用原则。1. 尽量顺序访问数据例如for(inti0;in;i){sumarr[i];}这种代码通常比较缓存友好。2. 尽量使用连续内存结构数组、动态数组通常比链表更容易利用缓存。例如数组连续存储缓存友好 链表节点分散缓存不友好3. 减少随机访问随机访问会降低空间局部性。例如sumarr[random_index];如果访问没有规律CPU 很难提前预取数据。4. 多线程中避免频繁修改同一个缓存行如果多个线程频繁修改同一缓存行可能导致伪共享。在高性能程序中可以考虑数据对齐 填充 padding 减少共享写 线程本地变量5. 让热点数据更集中热点数据就是程序经常访问的数据。如果热点数据分散在内存各处缓存效率可能较低。如果热点数据集中存放更容易被缓存保留。三十四、缓存机制中的几个关键词总结关键词含义Cache缓存L1 Cache一级缓存最快但最小L2 Cache二级缓存速度和容量居中L3 Cache三级缓存通常多个核心共享Cache Line缓存行缓存和内存交换数据的基本单位Cache Hit缓存命中Cache Miss缓存未命中Locality局部性Temporal Locality时间局部性Spatial Locality空间局部性Write Through写直达Write Back写回Dirty Data脏数据MESI一种缓存一致性协议False Sharing伪共享TLB地址翻译缓存三十五、从一句代码看缓存的工作过程我们用下面这句代码做总结sumarr[i];CPU 执行这句代码时大致会发生1. CPU 需要读取 sum 2. CPU 需要读取 arr[i] 3. 先查 L1 缓存 4. L1 没有就查 L2 5. L2 没有就查 L3 6. L3 没有就访问内存 7. 从内存取回 arr[i] 所在的缓存行 8. 缓存行里可能包含 arr[i] 附近的多个元素 9. CPU 完成加法 10. 更新 sum 11. 如果 sum 在缓存中被修改可能被标记为脏数据 12. 未来某个时刻再写回内存这背后就是多级缓存机制在工作。三十六、最重要的几个结论如果你是计算机小白先记住下面几句话就够了1. CPU 很快内存相对慢所以需要缓存来缓冲速度差异。2. 缓存越靠近 CPU速度越快容量越小典型顺序是寄存器 → L1 → L2 → L3 → 内存 → 硬盘3. 缓存利用了程序访问数据的规律主要规律是时间局部性 空间局部性4. CPU 不是一个字节一个字节取数据而是按缓存行取数据所以连续访问数组通常很快。5. 缓存命中率越高程序通常越快可以简单理解为命中率越高 C P U 等待时间越少 命中率越高CPU 等待时间越少命中率越高CPU等待时间越少6. 多线程程序还要注意缓存一致性和伪共享多个 CPU 核心都有缓存修改共享数据时需要同步。同步太频繁会影响性能。三十七、最后用一句话总结计算机的多级缓存机制本质上是为了解决 CPU 和内存之间巨大的速度差距。它通过 L1、L2、L3 等多层高速缓存把 CPU 最近可能使用的数据提前放在离 CPU 更近的地方从而减少访问内存的次数提高程序运行速度。真正理解缓存后你会明白为什么顺序访问数组通常很快 随机访问可能很慢 链表遍历不一定高效 多线程共享变量可能拖慢性能 数据结构的内存布局会影响程序性能缓存不是某个高级程序员才需要知道的知识而是理解计算机性能的基础。
面向小白：一文讲懂计算机内存的多级缓存机制
发布时间：2026/6/17 4:45:04
面向小白一文讲懂计算机内存的多级缓存机制一、先说结论为什么计算机需要缓存很多计算机初学者会以为CPU 需要数据就直接去内存里拿。但真实情况不是这样。CPU 的速度非常快而内存也就是我们常说的 RAM速度相对慢很多。如果 CPU 每次计算都直接等内存返回数据就像一个厨师每切一根葱都要跑去超市买一次效率会非常低。所以计算机设计了一套“多级缓存机制”。简单来说缓存就是放在 CPU 附近的一小块高速存储空间用来临时保存 CPU 最近可能会用到的数据。它的核心目的只有一个让 CPU 尽量少等内存。二、用生活例子理解缓存假设你是一个正在学习的学生需要不断查资料。你可以把存储层级理解成这样层级类比特点CPU 寄存器手里正在拿着的纸条最快但容量极小L1 缓存桌面上的资料非常快容量很小L2 缓存书包里的资料较快容量稍大L3 缓存宿舍书架上的资料比 L1、L2 慢但更大内存 RAM图书馆容量大但访问更慢硬盘 SSD/HDD外地仓库容量最大但最慢当 CPU 需要数据时它不会一上来就去内存而是按照下面的顺序查找寄存器 → L1 缓存 → L2 缓存 → L3 缓存 → 内存 RAM → 硬盘越靠近 CPU速度越快但容量越小也越贵。三、CPU、内存、缓存到底是什么关系我们先看一个简化结构----------------------- | CPU | | | | ----------------- | | | 寄存器 | | | ----------------- | | ↓ | | ----------------- | | | L1 Cache | | | ----------------- | | ↓ | | ----------------- | | | L2 Cache | | | ----------------- | | ↓ | | ----------------- | | | L3 Cache | | | ----------------- | ----------↓------------ ↓ ----------------------- | 内存 RAM | ----------------------- ↓ ----------------------- | 硬盘 SSD/HDD | -----------------------CPU 执行程序时需要不断读取指令和数据。比如下面这段代码inta1;intb2;intcab;CPU 要计算a b就需要拿到a和b的值。如果a和b已经在缓存里CPU 就能很快拿到。如果不在缓存里CPU 就需要去更慢的内存中查找。四、什么是“多级缓存”所谓多级缓存就是缓存不是只有一层而是分成多层。常见的 CPU 缓存层级有L1 Cache L2 Cache L3 Cache这里的L是 Level 的意思也就是“层级”。1. L1 缓存L1 缓存离 CPU 核心最近速度最快但容量最小。通常 L1 缓存还会分成两部分类型作用L1 指令缓存保存 CPU 即将执行的指令L1 数据缓存保存 CPU 即将使用的数据也就是说CPU 不仅要缓存数据还要缓存代码指令。例如程序中的cab;这行代码本身对应的机器指令可能会进入指令缓存而变量a、b的值可能会进入数据缓存。2. L2 缓存L2 缓存比 L1 慢一些但容量比 L1 大。可以理解为L1 是桌面L2 是抽屉。桌面上的东西拿得最快但放不了太多抽屉稍微远一点但能放更多。3. L3 缓存L3 缓存一般比 L2 更大也更慢。在多核 CPU 中L3 缓存常常被多个 CPU 核心共享。比如一个 8 核 CPU可能结构类似这样CPU Core 1 → L1 → L2 \ CPU Core 2 → L1 → L2 \ CPU Core 3 → L1 → L2 → 共享 L3 Cache → 内存 CPU Core 4 → L1 → L2 / ...L3 的作用是在多个 CPU 核心之间提供一个相对高速的共享缓存层减少访问内存的次数。五、为什么缓存能提高速度核心原理局部性缓存之所以有效不是因为它会“预测未来”而是因为程序访问数据通常有规律。这个规律叫做“局部性原理”。局部性主要分为两种时间局部性 空间局部性六、时间局部性刚用过的数据很可能马上还会用时间局部性指的是一个数据如果刚刚被访问过那么它接下来很可能还会被访问。例如intsum0;for(inti0;i100000;i){sumsumi;}在这段代码里变量sum会被反复读取和修改。CPU 第一次访问sum后很可能会把它放入缓存。之后循环继续执行时CPU 就可以直接从缓存里读写sum不用每次都去内存。这就是时间局部性。七、空间局部性访问一个数据后附近的数据也可能马上会用空间局部性指的是一个数据被访问后它附近的数据也很可能马上被访问。例如数组intarr[1000];for(inti0;i1000;i){arr[i]arr[i]1;}数组在内存中通常是连续存放的。当 CPU 访问arr[0]时它很可能接下来会访问arr[1] arr[2] arr[3] ...所以 CPU 不会只把arr[0]一个数据加载进缓存而是会把它附近的一整块数据一起加载进缓存。这一整块数据叫做缓存行八、什么是缓存行 Cache Line缓存并不是一个字节一个字节地从内存里取数据而是按块取。这个块通常叫Cache Line中文一般叫缓存行可以理解为CPU 去内存取数据时不是只拿一个字节而是顺手拿一小排数据回来。比如 CPU 要读取某个整数arr[0]。假设一个int占 4 字节一个缓存行是 64 字节。那么一个缓存行可以装64 ÷ 4 16 64 \div 4 1664÷416也就是说CPU 访问arr[0]时可能会顺便把arr[0] 到 arr[15]都加载到缓存中。所以当程序接着访问arr[1]、arr[2]、arr[3]时它们已经在缓存里了速度就非常快。九、缓存命中和缓存未命中当 CPU 查找数据时会先去缓存中找。1. 缓存命中如果数据在缓存里找到了就叫Cache Hit中文叫缓存命中例如CPU 想要 arr[5] L1 缓存中刚好有 arr[5] CPU 直接读取这就是缓存命中。2. 缓存未命中如果数据不在缓存里就叫Cache Miss中文叫缓存未命中例如CPU 想要 arr[500] L1 缓存没有 L2 缓存没有 L3 缓存也没有 只能去内存找这就是缓存未命中。缓存未命中的代价比较大因为 CPU 可能要等待更慢的内存返回数据。十、平均访问时间怎么理解我们可以用一个简单公式理解缓存对性能的影响平均访问时间 命中率 × 缓存访问时间 未命中率 × 下一级访问时间 平均访问时间 命中率 \times 缓存访问时间 未命中率 \times 下一级访问时间平均访问时间命中率×缓存访问时间未命中率×下一级访问时间其中未命中率 1 − 命中率 未命中率 1 - 命中率未命中率1−命中率假设缓存访问时间很短内存访问时间很长。如果命中率越高平均访问时间就越接近缓存访问时间程序就越快。如果命中率越低CPU 就经常要访问内存程序就会变慢。举个简单例子假设缓存访问时间 1 缓存访问时间 1缓存访问时间1内存访问时间 100 内存访问时间 100内存访问时间100如果缓存命中率是95 95%95那么未命中率是5 5%5平均访问时间约为0.95 × 1 0.05 × 100 5.95 0.95 \times 1 0.05 \times 100 5.950.95×10.05×1005.95如果缓存命中率下降到80 80%80那么平均访问时间约为0.8 × 1 0.2 × 100 20.8 0.8 \times 1 0.2 \times 100 20.80.8×10.2×10020.8可以看到命中率从 95% 降到 80%平均访问时间可能会明显增加。这也是为什么程序优化中经常强调“提高缓存命中率”。十一、CPU 查找数据的完整流程当 CPU 需要一个数据时大致会按照下面的流程1. 先查寄存器 2. 如果寄存器没有查 L1 缓存 3. 如果 L1 没有查 L2 缓存 4. 如果 L2 没有查 L3 缓存 5. 如果 L3 没有访问内存 RAM 6. 如果内存也没有可能涉及硬盘、虚拟内存、缺页中断等更复杂机制可以画成这样CPU 需要数据 ↓ 查 L1 缓存 ↓ 命中—— 是 —— 直接使用 ↓ 否 查 L2 缓存 ↓ 命中—— 是 —— 加载到 L1然后使用 ↓ 否 查 L3 缓存 ↓ 命中—— 是 —— 加载到 L2、L1然后使用 ↓ 否 访问内存 ↓ 加载到缓存 ↓ CPU 使用数据注意数据从内存取回来后通常不会只给 CPU 用一次而是会放入缓存方便后续再次使用。十二、为什么缓存容量不能做得特别大既然缓存这么快为什么不把所有内存都做成缓存原因主要有三个1. 成本高缓存通常使用 SRAM而普通内存 RAM 通常使用 DRAM。SRAM 速度快但成本高占面积也大。DRAM 速度慢一些但成本低容量可以做得更大。2. 离 CPU 越近空间越有限CPU 芯片面积有限。L1 缓存放在 CPU 核心附近如果做得太大会占用大量芯片面积也会影响 CPU 其他模块。3. 缓存越大查找可能越复杂缓存不是简单地“越大越快”。缓存越大管理和查找的复杂度也会增加。所以 CPU 设计通常会采用折中方案小而极快的 L1 中等大小的 L2 较大但稍慢的 L3 更大但更慢的内存十三、不同层级的大致速度对比下面是一个非常粗略的理解不同 CPU 会有差异存储层级速度容量位置寄存器极快极小CPU 内部L1 Cache非常快很小CPU 核心内部L2 Cache快较小CPU 核心附近L3 Cache较快较大多核心共享RAM慢大主板内存条SSD很慢很大硬盘HDD更慢很大机械硬盘可以简单记成越靠近 CPU 速度越快 容量越小 价格越贵 越远离 CPU 速度越慢 容量越大 价格越便宜十四、缓存是怎么知道数据在哪里的缓存内部并不是随便存数据的。它需要记录这个缓存位置里存的是内存中的哪一块数据缓存通常会把内存地址拆成几部分Tag Index Offset可以简单理解为部分作用Tag用来判断是不是 CPU 要找的那块数据Index用来定位缓存中的某个位置Offset用来定位缓存行内部的具体字节简化流程如下CPU 给出一个内存地址 ↓ 用 Index 找到缓存中的某一组 ↓ 用 Tag 判断这一组里有没有目标数据 ↓ 如果 Tag 匹配就是缓存命中 ↓ 再用 Offset 找到具体数据如果 Tag 不匹配就说明缓存中没有目标数据需要去下一级缓存或内存查找。十五、缓存映射方式数据放到缓存的哪里内存比缓存大得多所以不可能每个内存地址都在缓存里有唯一位置。问题来了内存中的某一块数据应该放到缓存的哪个位置常见方式有三种直接映射 全相联映射 组相联映射1. 直接映射直接映射的规则很简单每一块内存数据只能放到缓存中的某一个固定位置。优点查找简单速度快缺点容易冲突举个例子数据 A 只能放在缓存第 3 号位置 数据 B 也只能放在缓存第 3 号位置如果程序反复访问 A 和 B它们就会不断把对方挤出去。这会导致频繁缓存未命中。2. 全相联映射全相联映射比较自由一个内存块可以放到缓存中的任意位置。优点冲突少缺点查找复杂硬件成本高因为 CPU 要判断目标数据是否在缓存中可能需要比较很多位置。3. 组相联映射组相联映射是折中方案也是现代 CPU 中很常见的方式。它的规则是缓存被分成多个组一个内存块只能放到某个固定组中但可以放在这个组里的多个位置之一。例如缓存分成很多组 每组有 4 个位置 某块数据只能进入第 8 组 但可以放在第 8 组的 4 个位置中的任意一个这比直接映射更灵活也比全相联映射更容易实现。十六、缓存满了怎么办缓存替换策略缓存容量有限总会满。当 CPU 想把新数据放入缓存时如果对应位置已经满了就必须淘汰一些旧数据。这就涉及缓存替换策略。常见策略有LRU FIFO Random1. LRU最近最少使用LRU 的英文是 Least Recently Used。意思是淘汰最近最久没有被访问的数据。它的思想很符合时间局部性。如果一个数据很久没被用过它接下来继续不用的概率也比较高。2. FIFO先进先出FIFO 的英文是 First In First Out。意思是谁最早进入缓存就先淘汰谁。它比较简单但不一定总是合理。因为最早进入缓存的数据可能现在仍然经常被使用。3. Random随机替换Random 就是随机选择一个缓存块淘汰。听起来很随意但硬件实现简单有些场景效果也不差。十七、写缓存CPU 修改数据时怎么办前面讲的大多是“读数据”。但是 CPU 不只是读数据还会修改数据。比如arr[0]100;这时问题来了CPU 修改的是缓存里的数据内存里的数据要不要立刻同步常见写策略有两种写直达 写回十八、写直达 Write Through写直达的意思是CPU 修改缓存时同时立刻把修改写入内存。流程类似CPU 修改数据 ↓ 更新缓存 ↓ 同时更新内存优点缓存和内存一致性好缺点写入速度较慢因为每次都要写内存十九、写回 Write Back写回的意思是CPU 修改数据时先只修改缓存不立刻写回内存。等这个缓存块将来被淘汰时再写回内存。流程类似CPU 修改数据 ↓ 只更新缓存 ↓ 把缓存块标记为“脏” ↓ 将来被替换时再写回内存这里有一个重要概念脏数据所谓脏数据就是缓存中的数据已经被修改但内存中对应的数据还没更新。写回策略的优点减少频繁写内存提高性能缺点实现复杂需要管理数据一致性二十、写分配和非写分配还有一个相关问题CPU 要写某个数据但这个数据不在缓存里怎么办这叫写未命中。常见策略有写分配 非写分配1. 写分配 Write Allocate写分配的意思是写数据时如果缓存未命中就先把数据从内存加载到缓存再在缓存中修改。这种方式适合接下来还会继续访问这个数据的情况。2. 非写分配 No Write Allocate非写分配的意思是写数据时如果缓存未命中就不加载到缓存直接写内存。这种方式适合只写一次、以后不再使用的数据。二十一、多核 CPU 中的缓存一致性问题现代 CPU 往往有多个核心。每个核心可能都有自己的 L1、L2 缓存。这就会出现一个问题多个核心缓存了同一份数据其中一个核心修改了数据其他核心怎么办举个例子内存中有变量 x 1 CPU 核心 1 把 x 读入自己的缓存 CPU 核心 2 也把 x 读入自己的缓存 核心 1 把 x 改成 2 核心 2 的缓存里还是 x 1这就出现了缓存不一致。为了解决这个问题CPU 需要缓存一致性协议。二十二、简单理解 MESI 协议MESI 是一种常见的缓存一致性协议。MESI 中每个缓存行可能处于四种状态状态含义MModified已修改和内存不一致只有当前缓存有最新数据EExclusive独占和内存一致只有当前缓存有这份数据SShared共享和内存一致多个缓存可能都有这份数据IInvalid无效这份缓存不能再使用不用死记硬背我们用一句话理解MESI 的目标是让多个 CPU 核心知道谁的数据是最新的谁的数据已经失效。例如核心 1 修改了 x ↓ 核心 2 缓存里的 x 被标记为无效 ↓ 核心 2 下次再读 x 时不能直接用旧缓存 ↓ 必须重新获取最新数据这样就能避免不同核心看到不同数据的问题。二十三、缓存一致性和程序员有什么关系对于初学者来说缓存一致性看起来像硬件问题。但它确实会影响程序性能。尤其是在多线程程序中如果多个线程频繁修改同一个变量可能导致缓存行在多个核心之间来回同步性能会下降。例如// 线程 1 修改 a// 线程 2 修改 bstructData{inta;intb;};如果a和b恰好在同一个缓存行中两个线程虽然修改的是不同变量但它们可能仍然互相影响。这叫伪共享二十四、什么是伪共享 False Sharing伪共享是多线程性能优化中非常经典的问题。它指的是多个线程修改不同变量但这些变量位于同一个缓存行中导致缓存行频繁失效和同步。举个例子一个缓存行有 64 字节 变量 a 在这个缓存行里 变量 b 也在这个缓存行里 线程 1 修改 a 线程 2 修改 b虽然线程 1 和线程 2 没有修改同一个变量但 CPU 缓存是按缓存行管理的。所以线程 1 修改a时整个缓存行可能会被认为发生变化。线程 2 修改b时又会影响同一个缓存行。结果就是缓存行在不同 CPU 核心之间来回传递 性能下降解决方法之一是让热点变量分散到不同缓存行中。例如通过填充 paddingstructCounter{longvalue;charpadding[64];};当然真实工程中要根据语言、编译器、CPU 架构具体分析。二十五、缓存和数组遍历的关系缓存对程序性能影响最大的场景之一就是数组访问。我们看两个例子。假设有一个二维数组intarr[1000][1000];在 C 语言中二维数组通常按行连续存储。也就是说内存布局大致是arr[0][0], arr[0][1], arr[0][2], ... arr[1][0], arr[1][1], arr[1][2], ... arr[2][0], arr[2][1], arr[2][2], ...1. 按行遍历for(inti0;i1000;i){for(intj0;j1000;j){arr[i][j]arr[i][j]1;}}这个访问顺序是arr[0][0] arr[0][1] arr[0][2] ... arr[0][999] arr[1][0] arr[1][1] ...这和内存中的连续顺序一致。所以缓存命中率较高性能较好。2. 按列遍历for(intj0;j1000;j){for(inti0;i1000;i){arr[i][j]arr[i][j]1;}}这个访问顺序是arr[0][0] arr[1][0] arr[2][0] ...每次访问都可能跨过一大段内存。这样空间局部性较差缓存命中率可能降低性能也可能变差。二十六、为什么顺序访问通常比随机访问快顺序访问arr[0] → arr[1] → arr[2] → arr[3]随机访问arr[823] → arr[12] → arr[605] → arr[99]顺序访问更容易利用空间局部性。CPU 访问arr[0]时可能已经把arr[1]到arr[15]一起加载到缓存中。但是随机访问时CPU 刚加载了一整块缓存行结果程序下一步跳到完全不同的位置。这会导致很多缓存行只用了一点点就被浪费掉。所以通常来说顺序访问比随机访问更容易命中缓存二十七、缓存和链表的关系很多初学者会觉得链表插入删除快所以链表一定很高效。但从缓存角度看链表并不一定友好。数组在内存中通常是连续的arr[0] arr[1] arr[2] arr[3] arr[4]而链表节点可能散落在内存各处node1 → node2 → node3 → node4但这些节点在真实内存中可能是node1 在地址 A node2 在地址 X node3 在地址 M node4 在地址 P这会导致 CPU 访问链表时经常跳来跳去。因此链表的空间局部性通常比数组差。这也是为什么在很多实际场景中数组、动态数组、连续内存结构的遍历性能可能优于链表。二十八、预取机制CPU 会提前帮你拿数据现代 CPU 通常有预取机制。预取的意思是CPU 发现你在按规律访问数据时会提前把接下来可能需要的数据加载到缓存中。例如for(inti0;i100000;i){sumarr[i];}CPU 发现你在连续访问数组arr[0], arr[1], arr[2], arr[3]...它可能会提前加载后面的数据。这样等程序真正访问时数据已经在缓存里了。但是如果访问模式非常随机预取效果就会变差。二十九、缓存污染是什么缓存污染指的是一些只用一次的数据进入缓存把真正经常使用的数据挤出去了。例如你有一小块热点数据经常使用同时又扫描一个很大的数组。大数组的数据不断进入缓存可能把热点数据挤出去。这就可能导致程序变慢。可以简单理解为缓存空间有限 不重要的数据进来了 重要的数据被挤走了三十、缓存穿透、缓存击穿、缓存雪崩和 CPU 缓存一样吗很多后端开发文章也会讲“缓存”比如 Redis 缓存、数据库缓存。它们和 CPU 缓存不是一回事。1. CPU 缓存CPU 缓存是硬件层面的缓存CPU Cache它主要解决CPU 和内存速度不匹配的问题2. Redis 缓存Redis 缓存是软件系统中的缓存应用程序 → Redis → 数据库它主要解决数据库访问慢、并发压力大的问题3. 二者共同点它们的思想相似把常用数据放在更快的地方4. 二者区别对比项CPU 缓存Redis 缓存层面硬件软件系统管理者CPU 硬件自动管理程序员或框架管理目标加速 CPU 访问内存加速应用访问数据容量很小可以较大访问单位缓存行key-value 数据所以不要把 CPU 缓存和 Redis 缓存完全混为一谈。三十一、缓存和虚拟内存有什么关系初学者还容易把 CPU 缓存和虚拟内存搞混。它们不是一个东西。1. CPU 缓存CPU 缓存缓存的是内存中的数据副本它关心的是如何更快地访问内存数据2. 虚拟内存虚拟内存是操作系统提供的抽象。它让每个进程感觉自己拥有一大片连续内存空间。虚拟内存涉及虚拟地址 物理地址 页表 缺页中断 内存换页3. TLB 是什么TLB 可以简单理解为地址翻译缓存。程序使用的是虚拟地址但真正访问内存需要物理地址。从虚拟地址到物理地址需要查页表。查页表也有成本所以 CPU 又设计了 TLB 来缓存最近的地址翻译结果。可以简单理解为TLB 缓存地址翻译结果 CPU Cache 缓存内存数据它们都叫缓存但缓存的东西不同。三十二、一个小实验为什么按行遍历可能更快下面是一个简单 C 语言示例。#includestdio.h#includetime.h#defineN3000intarr[N][N];intmain(){clock_tstart,end;startclock();for(inti0;iN;i){for(intj0;jN;j){arr[i][j];}}endclock();printf(row first: %f\n,(double)(end-start)/CLOCKS_PER_SEC);startclock();for(intj0;jN;j){for(inti0;iN;i){arr[i][j];}}endclock();printf(column first: %f\n,(double)(end-start)/CLOCKS_PER_SEC);return0;}通常情况下按行遍历可能比按列遍历更快。原因是C 语言二维数组按行连续存储 按行访问更符合空间局部性 缓存命中率更高不过实际结果会受到编译器优化、CPU 架构、操作系统、数组大小等因素影响。三十三、程序员如何写出缓存友好的代码对于初学者来说不需要一开始就研究特别底层的 CPU 细节。先记住几个实用原则。1. 尽量顺序访问数据例如for(inti0;in;i){sumarr[i];}这种代码通常比较缓存友好。2. 尽量使用连续内存结构数组、动态数组通常比链表更容易利用缓存。例如数组连续存储缓存友好 链表节点分散缓存不友好3. 减少随机访问随机访问会降低空间局部性。例如sumarr[random_index];如果访问没有规律CPU 很难提前预取数据。4. 多线程中避免频繁修改同一个缓存行如果多个线程频繁修改同一缓存行可能导致伪共享。在高性能程序中可以考虑数据对齐 填充 padding 减少共享写 线程本地变量5. 让热点数据更集中热点数据就是程序经常访问的数据。如果热点数据分散在内存各处缓存效率可能较低。如果热点数据集中存放更容易被缓存保留。三十四、缓存机制中的几个关键词总结关键词含义Cache缓存L1 Cache一级缓存最快但最小L2 Cache二级缓存速度和容量居中L3 Cache三级缓存通常多个核心共享Cache Line缓存行缓存和内存交换数据的基本单位Cache Hit缓存命中Cache Miss缓存未命中Locality局部性Temporal Locality时间局部性Spatial Locality空间局部性Write Through写直达Write Back写回Dirty Data脏数据MESI一种缓存一致性协议False Sharing伪共享TLB地址翻译缓存三十五、从一句代码看缓存的工作过程我们用下面这句代码做总结sumarr[i];CPU 执行这句代码时大致会发生1. CPU 需要读取 sum 2. CPU 需要读取 arr[i] 3. 先查 L1 缓存 4. L1 没有就查 L2 5. L2 没有就查 L3 6. L3 没有就访问内存 7. 从内存取回 arr[i] 所在的缓存行 8. 缓存行里可能包含 arr[i] 附近的多个元素 9. CPU 完成加法 10. 更新 sum 11. 如果 sum 在缓存中被修改可能被标记为脏数据 12. 未来某个时刻再写回内存这背后就是多级缓存机制在工作。三十六、最重要的几个结论如果你是计算机小白先记住下面几句话就够了1. CPU 很快内存相对慢所以需要缓存来缓冲速度差异。2. 缓存越靠近 CPU速度越快容量越小典型顺序是寄存器 → L1 → L2 → L3 → 内存 → 硬盘3. 缓存利用了程序访问数据的规律主要规律是时间局部性 空间局部性4. CPU 不是一个字节一个字节取数据而是按缓存行取数据所以连续访问数组通常很快。5. 缓存命中率越高程序通常越快可以简单理解为命中率越高 C P U 等待时间越少 命中率越高CPU 等待时间越少命中率越高CPU等待时间越少6. 多线程程序还要注意缓存一致性和伪共享多个 CPU 核心都有缓存修改共享数据时需要同步。同步太频繁会影响性能。三十七、最后用一句话总结计算机的多级缓存机制本质上是为了解决 CPU 和内存之间巨大的速度差距。它通过 L1、L2、L3 等多层高速缓存把 CPU 最近可能使用的数据提前放在离 CPU 更近的地方从而减少访问内存的次数提高程序运行速度。真正理解缓存后你会明白为什么顺序访问数组通常很快 随机访问可能很慢 链表遍历不一定高效 多线程共享变量可能拖慢性能 数据结构的内存布局会影响程序性能缓存不是某个高级程序员才需要知道的知识而是理解计算机性能的基础。
