简介这份资源围绕 Kettle 中循环变量的设置与循环作业控制展开面向从事 ETL 数据抽取、转换与加载的工程师及数据分析人员帮助解决多表批量处理时表名无法动态替换、变量一次只能接收单值等实际问题。资源包为 docx 文档共 1 个文件压缩包约 282KB内容以图文步骤与脚本说明为主便于对照操作。文档从表名替换入手讲解如何将查询出的表名作为变量传递并借助 Trans 脚本、获取表的数量、循环控制器、获取表行数与计数器累加等步骤实现类似 for 循环的遍历执行使不同表名可复用同一套 SQL 逻辑。目前已有 2541 人学习适合需要掌握 Kettle 循环控制、提升批量数据处理效率的读者参考可帮助理解变量赋值、循环判断与表名动态替换的完整实现思路。1. Kettle 设置循环变量从一次批量导数翻车说起Kettle 里最容易被低估的能力不是转换组件有多全而是变量系统能不能把「一次跑一张表」变成「一次跑一批表」。我见过太多人用 Kettle 做数据同步一张表配一个转换、一个作业表一多就变成几十个文件来回改连接、改表名改到最后自己都记不清哪个作业对应哪张表。真正让 Kettle 从「单次脚本工具」变成「批量调度引擎」的是循环变量这套机制用作业里的Simple Evaluation或JavaScript算出变量再用「复制记录到结果」把多行参数喂给转换转换内部用${变量名}动态替换表名、日期、路径。标题里的「kettle设置循环变量」说的就是这条链路怎么搭、参数怎么传、为什么你设了变量却读不到。这篇面向已经在用 Kettle 做 ETL、但被批量任务逼到墙角的工程师从变量作用域讲到可复现的循环作业再到几个我踩过的血泪坑让你看完能直接搭出一套跑批框架。2. Kettle 变量作用域与循环机制为什么你的变量传不进转换2.1 变量分三层设错层等于没设Kettle 的变量不是全局字典它按作用域分三层很多人翻车就翻在「在转换里设了变量作业里读不到」或者「作业里设了变量转换里读不到」。第一层是Kettle 属性变量在kettle.properties里定义整个 JVM 生命周期有效适合放数据库连接串、公共路径这类不常变的东西。第二层是作业级变量通过作业项Set Variables设置作用范围是当前作业及其所有子作业、子转换这是循环里最常用的层。第三层是转换级变量在转换的Set Variables组件里设置只对当前转换内部有效出了这个转换就没了。关键点在于父级设的变量子级能读子级设的变量父级读不到。循环场景里参数通常是在作业层算出来然后传给转换用所以变量必须设在作业层或者通过「复制记录到结果」把行数据传进去。如果你在转换里用Set Variables设了个表名然后指望作业里的下一个转换能读到那必然失败。还有一个隐蔽点变量替换发生在组件初始化阶段不是运行时。也就是说${TABLE_NAME}这种写法在转换启动时就被替换成具体值了转换跑起来之后你再改变量当前这次执行不会重新读。循环要生效必须让每次迭代都重新初始化转换这也是为什么循环结构要放在作业层而不是转换层。2.2 循环的两种实现复制记录到结果 vs 逐行执行Kettle 作业里做循环主流有两种路子选错了性能差一个数量级。路子一复制记录到结果 转换执行。上游用一个「生成记录」或「表输入」产生多行参数每行包含表名、日期、批次号等字段然后连到「复制记录到结果」再连到「转换」作业项。转换内部通过「获取系统信息」或直接引用字段来拿到这些参数。这种方式本质上是把多行参数一次性传给转换转换内部再按行处理适合参数行数不多、每行处理逻辑一致的场景。路子二Simple Evaluation 循环判断。用Simple Evaluation算出一个计数器变量配合「JavaScript」或「Set Variables」更新变量再用「Checks if a variable is set」或条件判断决定是否继续循环。这种方式适合需要严格串行、每轮依赖上一轮结果的场景但配置复杂容易死循环。我一般推荐路子一因为它的参数传递是显式的、可调试的。下面这张表对比两种方式的关键差异维度复制记录到结果Simple Evaluation 循环参数传递行字段直接可见依赖变量替换调试难度低可在预览里看行高变量值要打日志性能批量传参转换只启动一次每轮可能重启转换适用场景批量表同步、批量文件处理依赖上一轮结果的串行任务死循环风险无有需设上限2.3 最小可复现的循环作业结构先给一个能跑起来的最小结构后面再拆参数。假设你要把order_202401、order_202402、order_202403三张表的数据同步到目标库。作业结构如下# 作业层级结构文字描述实际在 Spoon 里拖拽 start - 生成记录Generate Rows 字段table_name类型 String 值order_202401, order_202402, order_202403 - 复制记录到结果Copy rows to result - 转换Transformation 转换内部表输入 - 字段选择 - 表输出 表输入 SQLSELECT * FROM ${table_name}对应的转换内部表输入的 SQL 这样写-- 表输入组件里的 SQL${table_name} 会被行字段替换 SELECT id, order_no, amount, create_time FROM ${table_name} WHERE create_time 2024-01-01这里有个容易混淆的点${table_name}是 Kettle 变量语法但在这个结构里table_name其实是行字段不是变量。Kettle 在转换执行时如果发现${}里的名字和输入行字段同名会优先用行字段的值替换。所以「复制记录到结果」传过来的每一行都会让转换用不同的表名执行一次。这就是循环的本质转换被调用了 N 次每次拿到不同的行参数。参数说明生成记录里的字段名必须和 SQL 里${}的名字完全一致大小写敏感。复制记录到结果不需要额外配置它把上游所有行缓存到结果集。转换作业项要勾选「执行每一个输入行」否则只会执行一次。3. 用 JavaScript 动态生成循环参数日期、表名、路径一次算清3.1 为什么用 JavaScript 而不是生成记录「生成记录」适合写死的少量参数但真实场景里参数往往是算出来的比如要同步最近 7 天的分区表表名是order_20240101到order_20240107你不可能手写 7 行。这时候用「JavaScript」作业项动态生成行数据更靠谱。JavaScript 作业项在 Kettle 里的角色是执行一段脚本往结果集里putRow下游的「复制记录到结果」就能拿到这些行。它比「生成记录」灵活得多能循环、能算日期、能拼字符串。3.2 一段可抄的 JavaScript 生成日期分区表名下面这段脚本生成最近 7 天的表名和对应日期直接贴进 JavaScript 作业项// Kettle JavaScript 作业项生成最近 7 天的分区表参数 // 输出字段table_name, stat_date, target_path var today new Date(); var rows []; for (var i 6; i 0; i--) { var d new Date(today.getTime() - i * 24 * 60 * 60 * 1000); var yyyy d.getFullYear(); var mm (0 (d.getMonth() 1)).slice(-2); var dd (0 d.getDate()).slice(-2); var dateStr yyyy mm dd; var row new Packages.org.pentaho.di.core.row.RowDataUtil.createRow(3); // 字段顺序必须和下面 _step_.putRow 的字段定义一致 row[0] order_ dateStr; // table_name row[1] yyyy - mm - dd; // stat_date row[2] /data/export/ dateStr; // target_path _step_.putRow(_step_.getOutputRowMeta(), row); }逻辑说明脚本用new Date()拿当前时间倒推 7 天每天生成一行。RowDataUtil.createRow(3)创建 3 个字段的行对象字段顺序必须和 JavaScript 作业项「字段」标签页里定义的顺序一致否则下游读到的字段会错位。_step_.putRow是 Kettle 脚本里的固定写法第一个参数是输出行元数据第二个是行数据。参数说明getOutputRowMeta()返回的是你在作业项「字段」标签页里定义的字段结构所以必须先在字段标签页里加三行table_nameString、stat_dateString、target_pathString。字段名要和脚本里注释对应顺序不能乱。如果你改了字段数量createRow的参数也要跟着改。3.3 把参数传给转换的两种写法JavaScript 生成完行之后接「复制记录到结果」再接转换。转换内部有两种方式拿参数写法一SQL 里直接引用行字段。表输入的 SQL 写SELECT * FROM ${table_name}Kettle 会用行字段替换。这种写法简单但只适合表名、日期这类字符串替换。写法二用「获取系统信息」组件。在转换开头加一个「获取系统信息」把行字段转成转换内部变量后面所有组件都能用${变量名}引用。这种写法适合参数要在多个组件里复用的场景。-- 写法一表输入直接引用行字段 SELECT * FROM ${table_name} WHERE dt ${stat_date} -- 写法二先用获取系统信息转成变量再引用 SELECT * FROM ${v_table_name} WHERE dt ${v_stat_date}注意写法二里「获取系统信息」的「字段名」要填行字段名「变量名」填你想起的变量名类型选 String。转换内部变量只在当前转换有效出了转换就没了这点和作业变量要区分开。4. 循环变量在批量导数中的落地从单表到 200 张表的作业模板4.1 作业模板的完整骨架把前面的东西串起来一个能跑 200 张表的作业模板长这样# 作业骨架 start - JavaScript生成表名列表输出 table_name, stat_date - 复制记录到结果 - 转换单表同步 内部获取系统信息 - 表输入 - 字段选择 - 表输出 - 成功/失败处理关键配置点转换作业项右键「属性」勾选「执行每一个输入行」。这个选项不勾转换只会拿第一行执行一次后面 199 行全丢。这是最高频的翻车点没有之一。4.2 表输入 SQL 的参数化写法表输入里不要写死表名用变量占位-- 表输入 SQLv_table_name 来自获取系统信息 SELECT id, order_no, amount, create_time FROM ${v_table_name} WHERE create_time ${v_start_date} AND create_time ${v_end_date}参数说明v_table_name、v_start_date、v_end_date都是转换内部变量由「获取系统信息」从行字段转换而来。注意 SQL 里的引号字符串类型的变量要加单引号表名、字段名不加。如果变量值本身可能带引号要在 JavaScript 里做转义否则会 SQL 注入或语法错误。4.3 表输出的批量提交参数表输出组件有几个参数直接影响 200 张表的执行效率参数建议值说明提交记录数量10005000太小频繁提交太大内存压力使用批量插入勾选显著提升写入速度表名定义字段不填表名由 SQL 决定这里留空裁剪表不勾循环里勾了会每轮清空灾难忽略插入错误不勾循环里出错要停否则后面全乱「裁剪表」这个参数在循环场景里是绝对的禁忌。我见过有人为了「保证数据干净」勾了它结果 200 张表每张都被清空一次最后只剩最后一张表有数据。血泪经验循环里的表输出永远不要勾裁剪表要清数据在循环外单独做。4.4 日志与断点循环跑批怎么排查200 张表跑起来出错了你得知道是哪张表。两个手段第一在转换里加「写日志」组件把${v_table_name}和${v_stat_date}打出来日志级别选 Basic。这样每轮执行都有记录出错时能定位到具体表。第二作业项「转换」的「日志」标签页里勾选「日志记录」并指定日志表Kettle 会把每轮执行的结果写进数据库表包括开始时间、结束时间、是否成功。这个表是你事后排查的唯一后悔药。-- 日志表关键字段Kettle 自动建表 -- TRANSNAME: 转换名 -- LINES_READ / LINES_WRITTEN: 读写行数 -- ERRORS: 错误数 -- STARTDATE / ENDDATE: 起止时间 -- LOG_FIELD: 详细日志排查顺序先看日志表里哪一轮 ERRORS 0再看该轮的 LOG_FIELD最后去转换日志里找对应表名的堆栈。不要一上来就翻全量日志200 张表的日志能把你淹了。5. Kettle 循环变量避坑清单5 个我真实踩过的坑5.1 坑一转换只执行一次后面参数全丢现象JavaScript 生成了 200 行但转换只处理了第一张表日志里只有一条记录。原因转换作业项的「执行每一个输入行」没勾选。Kettle 默认只执行一次拿结果集的第一行。解决右键转换作业项 - 属性 - 勾选「执行每一个输入行」。这个选项在 Spoon 里藏得不深但新手根本不知道它存在。5.2 坑二变量名大小写不一致替换失败现象SQL 里写${table_name}JavaScript 输出字段叫Table_Name结果 Kettle 报「字段未找到」或直接替换成空。原因Kettle 变量和字段名大小写敏感table_name和Table_Name是两个东西。解决统一命名规范全用小写加下划线。在 JavaScript 里输出字段时字段名和 SQL 里的占位符逐字对照别靠记忆。5.3 坑三在转换里设变量作业里读不到现象转换内部用「设置变量」设了v_result作业里下一个作业项用${v_result}拿到的是空。原因转换级变量作用域只在当前转换出了转换就销毁。作业读不到子转换的变量。解决需要跨转换传递的值要么通过「复制记录到结果」传行要么在作业层用「设置变量」设。转换内部变量只用于转换内部组件之间。5.4 坑四循环里勾了裁剪表数据被清空现象200 张表跑完只有最后一张表有数据前面 199 张全空。原因表输出组件勾了「裁剪表」每轮执行前清空目标表下一轮又把上一轮的数据清了。解决循环里的表输出永远不勾裁剪表。需要清数据的场景在循环开始前用一个单独的「执行 SQL 脚本」作业项批量清或者用「表输出」的「更新/插入」模式。5.5 坑五变量替换发生在初始化运行时改变量无效现象在转换运行过程中用脚本改了变量值但 SQL 里的${变量}还是旧值。原因Kettle 的变量替换在组件初始化阶段完成转换跑起来之后改变量当前执行不会重新读。解决需要动态变化的参数必须通过行字段传递让每轮迭代重新初始化转换。不要在转换运行中改变量然后指望 SQL 重新替换。6. 进阶用 Kettle 变量做增量水位线与失败重跑循环变量最值钱的用法不是批量表名而是增量水位线。每次跑批记录最大 ID 或最大时间下次从水位线之后开始拉避免全量重跑。做法是在作业末尾加一个「设置变量」或写一张水位线表下次 JavaScript 生成参数时先读水位线。// 从水位线表读上次的最大 create_time生成本次增量参数 var lastWatermark ; // 实际从表输入或变量读取 var conn _step_.getTrans().getDatabase(0).getConnection(); var stmt conn.createStatement(); var rs stmt.executeQuery(SELECT MAX(create_time) FROM etl_watermark WHERE table_nameorder); if (rs.next()) { lastWatermark rs.getString(1); } rs.close(); stmt.close(); // 生成本次参数行start_date 用上次水位线 var row Packages.org.pentaho.di.core.row.RowDataUtil.createRow(2); row[0] order; row[1] lastWatermark; _step_.putRow(_step_.getOutputRowMeta(), row);这段脚本的关键是_step_.getTrans().getDatabase(0)拿到当前转换的第一个数据库连接直接查水位线表。参数说明getDatabase(0)的索引对应转换里数据库连接的定义顺序改连接顺序会拿错库。水位线表要单独建字段至少包含table_name、max_create_time、update_time。失败重跑的策略在日志表里标记每轮状态重跑时 JavaScript 先查日志表跳过已成功的表只跑失败和未跑的表。这样 200 张表里挂了 3 张重跑只跑 3 张不用全量重来。-- 重跑时过滤已成功的表 SELECT table_name FROM etl_run_log WHERE batch_date 20240101 AND status ! SUCCESS我自己的习惯是任何超过 10 张表的循环作业必须配日志表和水位线表否则出了问题你连从哪重跑都不知道。Kettle 的变量系统给了你足够的灵活性但灵活性也意味着责任——变量名、作用域、执行次数每一个都要自己盯住。希望帮到你。本文还有配套的精品资源点击获取