在实际的复杂业务系统开发与运维中SQL查询的结构往往会随着业务复杂度的提升而变得臃肿不堪。为了保证代码的可读性和逻辑的直观性开发者非常喜欢使用 CTE公共表表达式、多层子查询、窗口函数以及标量子查询Scalar Subquery。从业务语义上看在SELECT列表中直接嵌套一个子查询来获取某个关联的统计值或属性是非常符合人类直觉的。然而这种直观的写法常常会给数据库的查询优化器和执行引擎带来灾难性的挑战。最近在进行系统性能调优时我深刻体会到了标量子查询引发的性能梦魇以及金仓数据库Kingbase内核通过“子查询消除”与“向量化引擎”协同带来的巨大收益。今天就来和大家深度聊聊这个话题。文章目录[toc]一、 开发者最易踩的坑标量子查询的性能陷阱二、 为什么优化器不直接改写探究语义安全的壁垒三、 从行式到集合标量子查询消除的核心设计四、 深度碰撞向量化引擎与 SIMD 的完美适配五、 震撼的实测对比从 32 秒到 24 毫秒六、 总结一、 开发者最易踩的坑标量子查询的性能陷阱在很多客户的报表业务中我们经常能看到类似下面这种结构的 SQL 逻辑SELECTs11.id1,(SELECTsum(s22.id1)FROMs22WHEREs22.id3s11.id3),(SELECTsum(s22.id2)FROMs22WHEREs22.id3s11.id3)FROMs11;这条 SQL 的目的是从主表s11中取出数据并针对每一行去s22表中计算两个不同的聚合指标。从开发角度这段代码极其易读。但从数据库执行角度来看这里隐藏着极其严重的性能隐患恐怖的行级迭代Row-by-row对于外层表s11的每一行记录数据库都需要执行一次内层的子查询。如果s11有 1 万条记录子查询就要被强制唤醒执行 1 万次。随着外表记录数的增多查询耗时会呈指数级爆炸。算力的无谓浪费仔细观察可以发现SELECT之后的两个子查询其结构和过滤条件s22.id3 s11.id3完全相同仅仅是输出的聚合列不同。但在传统的执行模式下这两个子查询会被分别执行造成了针对同一份数据的重复扫描。根本问题其实并不在于子查询本身而在于这种“外层驱动内层逐行循环调用”的执行机制。二、 为什么优化器不直接改写探究语义安全的壁垒既然 Row-by-row 这么慢为什么很多传统数据库的优化器不直接把它们改成JOIN呢这就涉及到了数据库内核实现中极其重要的一环——语义安全性Equivalence。将标量子查询改写为连接操作Unnesting如果处理不当会直接改变 SQL 的原始语义导致查询结果出错这对于数据准确性要求极高的企业级应用是不可接受的。其技术难点主要体现在以下两个场景单行返回约束的破坏标量子查询在 SQL 标准中有一个硬性要求——必须且只能返回一行一列或者 NULL。如果将其简单粗暴地改写为LEFT JOIN当从表中存在多条匹配记录时JOIN操作会产生笛卡尔积发散不仅不报错还会导致外层表数据倍增。而原生的标量子查询在这种情况下是会直接抛出运行期错误的。聚合函数的 NULL 值陷阱这是最容易出Bug的地方。假设子查询中使用了COUNT函数。当因为没有匹配条件而找不到数据时子查询单独执行会返回COUNT0。但如果改写成了外连接没有匹配记录时关联补全的值是NULL。如果优化器不对这种情况做特殊处理和转换例如使用COALESCE等函数补齐就会导致优化前后的结果集出现0和NULL的不一致。因此不仅要优化还必须有严格的等价性判定作为前提。三、 从行式到集合标量子查询消除的核心设计笔者近期接触的电科金仓的 V009R002C014 版本中其内核层面引入了一套非常完善的“标量子查询消除”机制。这套机制能够智能地识别并安全地将标量子查询转换为更高效的算子彻底打破传统方案的局限。其核心设计思路可以概括为严谨的三步四、 深度碰撞向量化引擎与 SIMD 的完美适配如果我们仅仅只是把标量子查询消除这个事情理解成是“减少了查询次数”的话那就有点太片面了。也就是说咱们把眼光放到2026年的今天来看通常来说现在的数据库内核里面基本都用上了向量化执行引擎Vectorized Execution。这个时候“标量子查询消除”就显得特别重要了。它其实就是一个前提条件只有把它做好了后面那个向量化引擎才能真正跑起来。以前那种传统的“每一行执行一次子查询”Row-by-row的做法说白了就是一行一行去处理。这种模式的情况下现在的 CPU 其实是非常讨厌的。为什么会这样呢每次去调用子查询的时候系统都要去做上下文切换接着还要搞函数压栈出栈。这样来回折腾下来往往仅仅只是会导致 CPU 里面的那个指令缓存还有数据缓存经常就失效了。还有一个挺麻烦的问题就是这种一行一行迭代的话根本没法用到现在 CPU 里面的SIMD单指令多数据流指令集。Kingbase 这边搞的这个向量化执行机制呢其实它最关键的地方就在于批处理Batch。也就是说它需要把数据弄成那种列存数组的格式。然后一次性Batch全给它塞到 CPU 的寄存器里面去这样一条指令发下去就能同时处理好几条数据了。所以当我们用金仓的优化器把这个标量子查询给“消除”掉并且改写成了外连接Join的时候我们其实也就是在干一件事。就是把以前那种零散的、一块一块碎掉的循环操作直接给整成了那种大批量的集合式处理Set-based。如果在这个消除没做之前的话外层的扫描老是会被打断接着那个执行引擎基本也就退化成标量执行的模型了。在做完这个消除也就是 Join 改写之后底层其实就可以用那个优化得挺好的 Hash Join 算子了。这两个表的数据其实也就是被分批Batch弄进内存里。接着再通过那种向量化的 Hash 探测函数用上 SIMD 指令就能在特别短的时间里面把一大批的数据匹配给跑完。所以说啊这活儿往往仅仅只是表面看着像换了个逻辑其实根本不是这种简单的替换。实际上这就是金仓数据库的内核那边为了去迎合现在新的 CPU 架构搞出来的一个设计。靠着这个改动那个向量化执行引擎才算是真正把流程给跑通了这确实是个挺实在的底层优化。五、 震撼的实测对比从 32 秒到 24 毫秒为了验证这项内核技术的威力我们可以在测试库中构建一个极端的场景进行性能压测-- 创建测试表并插入1万行测试数据createtablet1(idnumeric(10,1));createtablet2(idnumeric(10,1));insertintot1values(generate_series(1,10000));insertintot2values(generate_series(1,10000));-- 执行典型的标量子查询SQLselect(selectsum(id)fromt2wheret1.idt2.id)fromt1;场景 A子查询未消除传统行式执行在此模式下对于t1表的每一条记录优化器都要对t2进行一次全表扫描。由于t1有 1 万条记录意味着t2表需要被扫描1 万次。查看底层执行计划EXPLAIN ANALYZE可以看到刺眼的SubPlan 1嵌套并且Seq Scan on t2的loops10000。实测耗时约 32 秒Execution Time: 32740.188 ms。这在生产环境中会导致严重的连接阻塞。场景 B子查询消除后基于金仓新内核集合执行当引擎识别并触发了标量子查询消除将子查询改写为内部的视图关联后执行计划发生了翻天覆地的变化。原有的SubPlan消失了取而代之的是Hash Left Join以及HashAggregate。此时t2表只需要进行一次扫描并建立 Hash 表随后t1表再进行一次扫描进行 Hash 探测即可。实测耗时仅仅约 24 毫秒Execution Time: 24.643 ms。性能足足提升了1300多倍实现了数量级上的碾压。六、 总结在复杂的企业级数据分析优化中“标量子查询消除”不仅将一个多次执行的标量操作转变为只执行一次的外连接操作并将结构类似的子查询进行了智能合并极大地减少了执行次数。更重要的是通过这种集合式改写它将 SQL 语句转换为最适合现代向量化执行引擎吞吐的形态。作为开发者我们固然应该在编写代码时尽量采用合理的JOIN来替代不必要的标量子查询。但业务的演进往往不可控一款拥有强大自愈能力和前瞻性架构设计的数据库内核如电科金仓往往能在底层为我们的业务系统提供最坚实的性能兜底。从 Row-by-row 到向量化批处理不仅是算法的升级更是数据库技术紧跟硬件时代的最好注脚。
彻底告别Row-By-Row：标量子查询外连接改写与向量化引擎深潜
发布时间：2026/5/19 4:08:09
在实际的复杂业务系统开发与运维中SQL查询的结构往往会随着业务复杂度的提升而变得臃肿不堪。为了保证代码的可读性和逻辑的直观性开发者非常喜欢使用 CTE公共表表达式、多层子查询、窗口函数以及标量子查询Scalar Subquery。从业务语义上看在SELECT列表中直接嵌套一个子查询来获取某个关联的统计值或属性是非常符合人类直觉的。然而这种直观的写法常常会给数据库的查询优化器和执行引擎带来灾难性的挑战。最近在进行系统性能调优时我深刻体会到了标量子查询引发的性能梦魇以及金仓数据库Kingbase内核通过“子查询消除”与“向量化引擎”协同带来的巨大收益。今天就来和大家深度聊聊这个话题。文章目录[toc]一、 开发者最易踩的坑标量子查询的性能陷阱二、 为什么优化器不直接改写探究语义安全的壁垒三、 从行式到集合标量子查询消除的核心设计四、 深度碰撞向量化引擎与 SIMD 的完美适配五、 震撼的实测对比从 32 秒到 24 毫秒六、 总结一、 开发者最易踩的坑标量子查询的性能陷阱在很多客户的报表业务中我们经常能看到类似下面这种结构的 SQL 逻辑SELECTs11.id1,(SELECTsum(s22.id1)FROMs22WHEREs22.id3s11.id3),(SELECTsum(s22.id2)FROMs22WHEREs22.id3s11.id3)FROMs11;这条 SQL 的目的是从主表s11中取出数据并针对每一行去s22表中计算两个不同的聚合指标。从开发角度这段代码极其易读。但从数据库执行角度来看这里隐藏着极其严重的性能隐患恐怖的行级迭代Row-by-row对于外层表s11的每一行记录数据库都需要执行一次内层的子查询。如果s11有 1 万条记录子查询就要被强制唤醒执行 1 万次。随着外表记录数的增多查询耗时会呈指数级爆炸。算力的无谓浪费仔细观察可以发现SELECT之后的两个子查询其结构和过滤条件s22.id3 s11.id3完全相同仅仅是输出的聚合列不同。但在传统的执行模式下这两个子查询会被分别执行造成了针对同一份数据的重复扫描。根本问题其实并不在于子查询本身而在于这种“外层驱动内层逐行循环调用”的执行机制。二、 为什么优化器不直接改写探究语义安全的壁垒既然 Row-by-row 这么慢为什么很多传统数据库的优化器不直接把它们改成JOIN呢这就涉及到了数据库内核实现中极其重要的一环——语义安全性Equivalence。将标量子查询改写为连接操作Unnesting如果处理不当会直接改变 SQL 的原始语义导致查询结果出错这对于数据准确性要求极高的企业级应用是不可接受的。其技术难点主要体现在以下两个场景单行返回约束的破坏标量子查询在 SQL 标准中有一个硬性要求——必须且只能返回一行一列或者 NULL。如果将其简单粗暴地改写为LEFT JOIN当从表中存在多条匹配记录时JOIN操作会产生笛卡尔积发散不仅不报错还会导致外层表数据倍增。而原生的标量子查询在这种情况下是会直接抛出运行期错误的。聚合函数的 NULL 值陷阱这是最容易出Bug的地方。假设子查询中使用了COUNT函数。当因为没有匹配条件而找不到数据时子查询单独执行会返回COUNT0。但如果改写成了外连接没有匹配记录时关联补全的值是NULL。如果优化器不对这种情况做特殊处理和转换例如使用COALESCE等函数补齐就会导致优化前后的结果集出现0和NULL的不一致。因此不仅要优化还必须有严格的等价性判定作为前提。三、 从行式到集合标量子查询消除的核心设计笔者近期接触的电科金仓的 V009R002C014 版本中其内核层面引入了一套非常完善的“标量子查询消除”机制。这套机制能够智能地识别并安全地将标量子查询转换为更高效的算子彻底打破传统方案的局限。其核心设计思路可以概括为严谨的三步四、 深度碰撞向量化引擎与 SIMD 的完美适配如果我们仅仅只是把标量子查询消除这个事情理解成是“减少了查询次数”的话那就有点太片面了。也就是说咱们把眼光放到2026年的今天来看通常来说现在的数据库内核里面基本都用上了向量化执行引擎Vectorized Execution。这个时候“标量子查询消除”就显得特别重要了。它其实就是一个前提条件只有把它做好了后面那个向量化引擎才能真正跑起来。以前那种传统的“每一行执行一次子查询”Row-by-row的做法说白了就是一行一行去处理。这种模式的情况下现在的 CPU 其实是非常讨厌的。为什么会这样呢每次去调用子查询的时候系统都要去做上下文切换接着还要搞函数压栈出栈。这样来回折腾下来往往仅仅只是会导致 CPU 里面的那个指令缓存还有数据缓存经常就失效了。还有一个挺麻烦的问题就是这种一行一行迭代的话根本没法用到现在 CPU 里面的SIMD单指令多数据流指令集。Kingbase 这边搞的这个向量化执行机制呢其实它最关键的地方就在于批处理Batch。也就是说它需要把数据弄成那种列存数组的格式。然后一次性Batch全给它塞到 CPU 的寄存器里面去这样一条指令发下去就能同时处理好几条数据了。所以当我们用金仓的优化器把这个标量子查询给“消除”掉并且改写成了外连接Join的时候我们其实也就是在干一件事。就是把以前那种零散的、一块一块碎掉的循环操作直接给整成了那种大批量的集合式处理Set-based。如果在这个消除没做之前的话外层的扫描老是会被打断接着那个执行引擎基本也就退化成标量执行的模型了。在做完这个消除也就是 Join 改写之后底层其实就可以用那个优化得挺好的 Hash Join 算子了。这两个表的数据其实也就是被分批Batch弄进内存里。接着再通过那种向量化的 Hash 探测函数用上 SIMD 指令就能在特别短的时间里面把一大批的数据匹配给跑完。所以说啊这活儿往往仅仅只是表面看着像换了个逻辑其实根本不是这种简单的替换。实际上这就是金仓数据库的内核那边为了去迎合现在新的 CPU 架构搞出来的一个设计。靠着这个改动那个向量化执行引擎才算是真正把流程给跑通了这确实是个挺实在的底层优化。五、 震撼的实测对比从 32 秒到 24 毫秒为了验证这项内核技术的威力我们可以在测试库中构建一个极端的场景进行性能压测-- 创建测试表并插入1万行测试数据createtablet1(idnumeric(10,1));createtablet2(idnumeric(10,1));insertintot1values(generate_series(1,10000));insertintot2values(generate_series(1,10000));-- 执行典型的标量子查询SQLselect(selectsum(id)fromt2wheret1.idt2.id)fromt1;场景 A子查询未消除传统行式执行在此模式下对于t1表的每一条记录优化器都要对t2进行一次全表扫描。由于t1有 1 万条记录意味着t2表需要被扫描1 万次。查看底层执行计划EXPLAIN ANALYZE可以看到刺眼的SubPlan 1嵌套并且Seq Scan on t2的loops10000。实测耗时约 32 秒Execution Time: 32740.188 ms。这在生产环境中会导致严重的连接阻塞。场景 B子查询消除后基于金仓新内核集合执行当引擎识别并触发了标量子查询消除将子查询改写为内部的视图关联后执行计划发生了翻天覆地的变化。原有的SubPlan消失了取而代之的是Hash Left Join以及HashAggregate。此时t2表只需要进行一次扫描并建立 Hash 表随后t1表再进行一次扫描进行 Hash 探测即可。实测耗时仅仅约 24 毫秒Execution Time: 24.643 ms。性能足足提升了1300多倍实现了数量级上的碾压。六、 总结在复杂的企业级数据分析优化中“标量子查询消除”不仅将一个多次执行的标量操作转变为只执行一次的外连接操作并将结构类似的子查询进行了智能合并极大地减少了执行次数。更重要的是通过这种集合式改写它将 SQL 语句转换为最适合现代向量化执行引擎吞吐的形态。作为开发者我们固然应该在编写代码时尽量采用合理的JOIN来替代不必要的标量子查询。但业务的演进往往不可控一款拥有强大自愈能力和前瞻性架构设计的数据库内核如电科金仓往往能在底层为我们的业务系统提供最坚实的性能兜底。从 Row-by-row 到向量化批处理不仅是算法的升级更是数据库技术紧跟硬件时代的最好注脚。
