文章目录一、问题背景与综述目标二、总体发展脉络与分类视角2.1 从早期执行奖励到 LLMRL2.2 功能视角RL 在 Text-to-SQL 中扮演的几种角色三、单轮执行对齐SQL-R1 等方法3.1 SQL-R1代表性的单阶段 RL NL2SQL 模型3.2 类似思想与扩展小样本、LLM 生成奖励等3.3. 小结共同特征与单轮执行对齐四、多轮交互与 Agent 化SQL-Trail、SkyRL-SQL 等4.1 SQL-Trail多轮 RL agent 框架4.2 SkyRL-SQL多轮 RL 的工业实践案例4.3 进一步扩展工具集成、多任务、协同 RL五、细粒度评估与奖励机制从二元执行到 rubric-based 奖励5.1 二元执行奖励的局限5.2 Rubric-based 与 critique-style 奖励5.3 结构相似度与局部奖励六、其它相关方向问题生成、schema 检索与间接 RL七、当前研究的主要挑战八、未来研究方向与个人选题空间九、结论References一、问题背景与综述目标自然语言到 SQLNL2SQL / Text-to-SQL旨在将用户的自然语言问题映射为在特定数据库上可执行的 SQL 查询是自然语言接口数据库NLIDB的核心任务之一。随着大规模预训练语言模型LLM的出现主流方法逐渐演化为“LLM 提示/检索 轻量微调”的范式但在复杂查询推理、跨库泛化和实际部署鲁棒性等方面仍存在明显瓶颈。强化学习RL因其“与环境交互、基于奖励信号优化策略”的特性被越来越多地用于 Text-to-SQL以更好地对齐模型行为与执行结果和系统目标。12本综述聚焦“强化学习在 NL2SQL/Text-to-SQL 中的应用”目标是梳理 RL 介入 Text-to-SQL 的主要技术路径与代表性工作尤其是近两年出现的 SQL-R1、SQL-Trail、SkyRL-SQL 等。总结不同方法在奖励设计、训练流程和多轮交互等关键维度上的共性与差异。分析当前研究面临的主要挑战和未来可能的研究方向为后续做更细致的专题研究如奖励设计、多轮交互框架打基础。二、总体发展脉络与分类视角2.1 从早期执行奖励到 LLMRL最早将强化学习用于 NL2SQL 的工作多基于中小规模 Seq2Seq 或代码生成模型通过将“执行正确性”作为奖励来优化生成序列如 Seq2SQL 之类的工作在现代 LLM 综述中被作为经典例子引用。这一阶段的特点是1模型本身容量有限RL 主要用于弥补监督信号对执行结果刻画不足的问题。奖励通常是“能否成功执行 / 结果是否与标注一致”的二元信号较为稀疏。训练流程多为“先监督学习再用 REINFORCE/Policy Gradient 做一段 RL 微调”。随着代码类 LLM 与通用 LLM 的兴起RL 的角色逐渐从“微调小模型”演变为“对齐大模型行为与执行目标”包括直接在大模型 Text-to-SQL 头上做 RL 微调如 SQL-R1 一类工作。在多轮 agent 框架下通过 RL 学习如何与数据库环境交互如 SQL-Trail、SkyRL-SQL 等多轮 RL 方法。3452.2 功能视角RL 在 Text-to-SQL 中扮演的几种角色结合近年的代表工作可将 RL 在 NL2SQL 中的大致角色概括为三类单轮执行对齐single-pass, execution-aligned RL以 SQL-R1 为代表通过设计复合奖励提升单次生成 SQL 的执行正确率和推理质量。657多轮交互式推理multi-turn, agentic RL以 SQL-Trail、SkyRL-SQL 等为代表将 Text-to-SQL 视作“与数据库环境交互的多轮决策任务”通过多步查询与反馈迭代修正 SQL。483评测/奖励机制增强evaluation-aligned RL以细粒度奖励和自动打分器为代表如 fine-grained RL with rubric-based judge通过更细粒度的评估与奖励改善模型行为而不仅仅依赖二元执行结果。910此外还有一些工作将 RL 用于辅助模块如 Text-to-SQL 过程中的 schema 检索、问题生成或工具使用策略等属于“间接作用于 NL2SQL”的场景。11三、单轮执行对齐SQL-R1 等方法3.1 SQL-R1代表性的单阶段 RL NL2SQL 模型SQL-R1 是近两年强化学习在 NL2SQL 领域中最具代表性的单阶段 RL 工作之一其核心思想是在一个已经通过监督学习SFT初始化的大模型如 Qwen2.5-Coder-7B上利用分组强化策略优化GRPO和复合奖励函数对 NL→SQL 推理过程进行强化学习训练。其关键设计包括576训练流程第一阶段使用有限数量的标注或合成 NL–SQL 样本进行监督微调使模型基本掌握语法与任务格式。第二阶段基于 GRPO 进行强化学习。对每个自然语言问题模型一次性生成若干带有思维过程和 SQL 候选的样本执行 SQL 并根据奖励函数对策略进行更新。65复合奖励设计格式奖励Format Reward鼓励模型以预期的think.../think和sql.../sql样式输出思维过程和 SQL从而便于解析和监控。56执行奖励Execution Reward根据 SQL 是否能成功执行进行打分避免生成语法错误或无法在目标数据库上运行的语句。5结果奖励Result Reward根据执行结果是否与 gold query 的结果一致进行更细致的反馈引导模型关注语义等价而非仅语法正确。65长度相关奖励Length Reward对思维过程和 SQL 长度进行归一化惩罚以抑制过度冗长的推理或过于复杂的 SQL 结构。6候选选择与自一致性在推理阶段SQL-R1 对同一个问题生成多个 SQL 候选执行并根据奖励得分选择得分最高者作为最终输出这一方式与自一致性投票相结合进一步提升了执行准确率。56在 Spider 与 BIRD 等标准基准上SQL-R1 在 7B 量级模型上达到接近或超过闭源大模型如 GPT-4/4o的执行准确率在 Spider Test 上约 88–89% EX在 BIRD Dev 上约 66–67% EX表明单阶段 RL 在复杂 NL2SQL 场景中具有显著提升空间。7653.2 类似思想与扩展小样本、LLM 生成奖励等除了 SQL-R1 这一代表还有若干工作在相似思路下探索不同维度小样本小模型场景一些工业界实验如 IBM SQL-RL-GEN使用较小的 200M–300M 参数模型在仅有上千条训练样本的场景下通过 RL 和 LLM 生成的奖励信号将执行准确率提高了约 7%体现了 RL 在“小数据小模型”设定下的潜力。12更细粒度的奖励 / 判别器有工作提出使用“rubric-based generative judge”如 RuCo-C自动为每个查询生成细粒度评价准则与批注由此产生稠密、可解释的奖励信号解决单一执行结果奖励过于粗糙的问题。1093.3. 小结共同特征与单轮执行对齐总体来看单轮执行对齐类方法的共同特征是把 NL2SQL 看作“一次性生成程序”的问题RL 只在最终输出上给奖励。奖励设计已经从单一执行结果逐步演化为“语法执行结果长度”等多维复合信号。依赖一个较好的 SFT 初始化RL 阶段主要用于“对齐”和“微调”而非从零学习。其局限在于中间生成过程缺乏显式的交互与自纠错机会错误往往在最终一步暴露而奖励难以精确定位问题所在。对于极其复杂或 OOD 的查询单次生成往往难以通过一次修正弥补所有偏差。四、多轮交互与 Agent 化SQL-Trail、SkyRL-SQL 等4.1 SQL-Trail多轮 RL agent 框架SQL-Trail 提出将 Text-to-SQL 从“静态翻译任务”重塑为“与数据库环境交互的多轮推理任务”通过多轮 RL agent 框架实现 schema 探索、错误纠正和难度感知的 turn 分配。其关键思想可以概括为1384多轮交互流程LLM 作为 agent在每一轮生成一段自然语言推理think和一个 SQL或工具调用环境返回执行结果、错误消息或中间表格预览agent 基于新的 observation 更新内部状态并决定下一步动作直到终止并输出最终 SQL。84难度感知的 turn-budget 分配SQL-Trail 为每个样本分配一个与问题难度相关的最大交互轮数简单问题用较少轮数解决复杂问题允许更多轮数从而在总体上控制推理成本并减少“过度思考”。48复合奖励面板六项奖励与单轮 RL 使用少数若干奖励项不同SQL-Trail 设计了包含执行结果、SQL 结构相似度如 bigram similarity、turn 效率、语法合法性、格式约束等在内的六维 reward 面板84其中结构相似度 reward 被实证证明对提升稳定性贡献最大而 turn 效率 reward 有效抑制无意义轮次并支撑难度感知的预算机制。8两阶段训练SFT 多轮 RL阶段一蒸馏一个强闭源 teacher如 Claude生成的多轮轨迹对较小的开源模型进行监督学习使其掌握复杂的 agent 协议和工具调用格式。48阶段二在真实数据库执行环境中用 GRPO 变体对多轮策略进行 RL 优化实现对 turn allocation 与 schema 探索策略的细致调整。4在 Spider 系列和 BIRD-SQL 等基准上SQL-Trail 在使用不足 2000 条训练样本的情况下在执行准确率和 OOD 泛化能力上取得新的 SOTA特别是在 Spider-Syn 和 Spider-Realistic 等更具挑战性的子集上展示了多轮交互与 RL 对于复杂环境下稳健 Text-to-SQL 的优势。844.2 SkyRL-SQL多轮 RL 的工业实践案例SkyRL-SQL基于 VeRL 和 SearchR1 agent loop 的多轮 RL Text-to-SQL 实践从工业工程视角展示了多轮 RL 的优势3多轮交互协议基于think、sql、observation、solution等标记将思维过程、探索性 SQL 和最终解答分离允许模型在中间步骤频繁发出探索性查询、检查中间结果并纠错。3简单但有效的奖励设计奖励函数仅包含两项格式奖励是否遵守交互协议和执行奖励最终 SQL 是否执行成功且结果匹配 gold相较于 SQL-Trail 的多项奖励面板更为简洁。3多轮 RL vs 单轮 RL 的实验观察在相同训练样本和奖励设定下多轮 RL 在训练中获得的平均 reward 收敛更快约 2.8 倍训练步数内达成相同 reward 水平最终 reward 也显著更高16%。3在单轮评估模式下多轮训练的模型依然优于单轮训练的模型1.6% EX在允许 5 轮交互的评估下多轮训练模型的 EX 进一步提升约 4.5%而单轮训练模型在多轮环境中反而退步表明其无法有效利用反馈。3SkyRL-SQL 的结果佐证了多轮 RL 对于训练“内部推理能力”和“交互式纠错能力”的作用并显示即便最终部署在单轮场景多轮训练带来的收益仍然存在。4.3 进一步扩展工具集成、多任务、协同 RL在多轮 RL 框架基础上有工作进一步将 Text-to-SQL agent 与其他工具结合如检索、多模态解释器或代码执行器通过 RL 学习何时调用何种工具并借助执行反馈优化策略。同时也出现了将 Text-to-SQL 任务拆分为 schema linking 与 SQL 生成两阶段、并用 cooperative RL 协同优化两个子 agent 的工作尤其是在小模型和资源受限场景下。1415这些扩展方向表明多轮 RL 与 agent 框架天然适合承载“工具增强型 NL2SQL”使得模型可以在更复杂的数据与任务环境中运作。五、细粒度评估与奖励机制从二元执行到 rubric-based 奖励5.1 二元执行奖励的局限传统 RLNL2SQL 工作多依赖“SQL 是否执行成功、结果是否正确”这一二元信号作为奖励这在早期小模型场景中尚可接受但在面对长 SQL、多表 joins、复杂嵌套查询时往往过于稀疏难以为模型提供足够的学习信号。此外执行结果往往无法区分“结构接近但有小错误”的候选与“完全无关”的候选导致奖励无法指导模型在结构空间中做细致调整。155.2 Rubric-based 与 critique-style 奖励为解决上述问题近年的一些工作引入了基于 rubric 的细粒度评估与奖励机制RuCo-C 等方法提出使用生成式 judge为每个查询自动构建评价量表和批注从而可以对 SQL 的语义正确性、结构合理性和风格规范等多个维度进行打分。910在 RL 训练中这类 judge 可以为每个候选 SQL 提供更稠密的 reward甚至对错误类型进行区分使模型在一步步优化中获得更具体的指导而不仅仅是“对/错”信号。1095.3 结构相似度与局部奖励SQL-Trail 的实验表明以 bigram similarity 为代表的结构相似度 reward 是其六项奖励中收益最大的单项有效稳定了训练过程。这说明8仅凭执行结果难以捕捉“离正确 SQL 还差多远”而结构相似度提供了一个连续的、与目标 SQL 接近程度相关的信号。在多轮 RL 框架下结合同步记录中间候选 SQL可以为每一步的结构调整提供局部奖励进一步提升学习效率。48综上细粒度评估与多维奖励正在逐步替代单一执行奖励成为 RLNL2SQL 的重要趋势。六、其它相关方向问题生成、schema 检索与间接 RL强化学习在 Text-to-SQL 生态中并不局限于“直接优化 SQL 生成器”。还有一些工作利用 RL 改进与 NL2SQL 相关的其他环节问题/SQL 对生成与数据增强有工作提出采用 in-context reinforcement learning 框架优化问题生成模块以产生更加复杂和多样的合成查询从而改进后续 Text-to-SQL 训练的数据分布和难度结构。11schema 检索与子库选择在工业级大规模数据库环境下经常需要先从成千上万张表中检索相关子 schema再交给 LLM 进行 SQL 生成。部分工作尝试使用 RL 优化检索策略使其在复杂环境下具有更高召回率和效率。11协同/多智能体 RL在小模型场景下有研究提出将 Text-to-SQL 任务拆分为 schema linking 与 SQL generation 两个子任务分别由两个 agent 负责并使用 cooperative RL 联合优化从而提高整体性能和可解释性。14这些方向虽然不直接修改主 SQL 生成器但通过改善训练数据、检索质量和子模块协同对 NL2SQL 系统整体性能有间接但重要的贡献。七、当前研究的主要挑战尽管 RL 在 NL2SQL 中已经展示出显著潜力但综合现有文献与实践总体上仍面临若干核心挑战数据与算力成本尽管 SQL-R1 和 SQL-Trail 等方法强调“数据高效”如使用几千条样本达到接近或超过闭源模型的性能但在实际实现中执行环境搭建、reward 计算和多轮 roll-out 仍然昂贵。654训练稳定性与可复现性多项 reward 与复杂交互流程增加了训练不稳定的可能性不同实现细节如错误处理、timeout 设定、SQL 引擎版本都可能对结果产生显著影响给复现带来困难。483评测维度不足现有基准多聚焦于整体 EX/EM对多轮 agent 的“思考路径质量”“交互效率”“鲁棒性”等缺乏统一评测标准限制了不同 RL 框架间的客观比较。21安全性与边界控制多轮 RL agent 在真实数据库环境中探索时可能触发代价高昂或危险的查询操作如何在保障安全与资源可控的前提下进行 RL 训练是实际部署中必须解决的问题。3与大模型对齐的关系对于极大规模闭源模型而言如何在不访问其参数的条件下通过 RL 或交互式对齐进一步提升 NL2SQL 能力仍然是开放问题同时有必要研究 RL 对模型对齐特性的长期影响例如是否会产生过拟合特定 schema 的偏差。八、未来研究方向与个人选题空间综合现有工作可以看到强化学习在 NL2SQL 中已经从“单纯提升指标的小技巧”发展为“重新定义任务范式的关键手段”特别是在以下几个方向上多轮交互框架与难度感知控制SQL-Trail、SkyRL-SQL 等工作表明多轮 RL 能够显著提升复杂查询和 OOD 场景下的表现即便在单轮评估模式下仍有收益。843未来可以进一步研究更加精细的难度估计、turn 分配策略以及与人类偏好/交互体验对齐的奖励设计。细粒度奖励与可解释评估rubrics-based judge、结构相似度 reward 等方向提示细粒度、可解释的奖励不仅改善训练还可以加深对模型错误模式的理解。9108在 NL2SQL 领域构建针对 SQL 结构、schema 使用、错误类型等维度的系统性评估与奖励框架是一个有潜力的研究课题。小模型 RL 的资源受限场景多个工作展示了在中小模型和小数据集上的显著提升这对于边缘部署、企业内网和算力受限环境尤为重要。123结合 parameter-efficient tuning、offline RL 或 imitationRL 混合方法可能进一步降低成本、提高稳定性。多模块与多智能体协同将 Text-to-SQL 任务拆解为检索、schema linking、SQL 生成、结果解释等子任务并用协作式 RL 统一优化是一个自然的演进方向。151411评测标准与开放基准的建设在现有 Spider/BIRD 等基准之上构建专门针对 RLNL2SQL 的评测子集如多轮交互能力、错误恢复能力、资源/延迟约束下的表现等将有助于推动这一方向的系统性发展。21对于希望在“强化学习 NL2SQL”方向做综述或后续研究的学生而言可以从上述几个维度中选择一个切口例如专注于“多轮交互 RL 框架的奖励设计与评测方法”或者“细粒度 rubric-based 奖励在 Text-to-SQL 中的应用”在现有工作的基础上做更系统的整理与分析再逐渐延伸到具体方法创新。九、结论强化学习在 NL2SQL/Text-to-SQL 领域已经从早期的小模型执行奖励微调发展到围绕 LLM 的单轮执行对齐、多轮交互式推理和细粒度评测与奖励的多种形态。SQL-R1 代表了单阶段、复合奖励驱动的 NL2SQL 推理模型在 Spider 和 BIRD 等基准上取得接近或超过闭源大模型的性能SQL-Trail 和 SkyRL-SQL 等多轮 RL agent 则展示了在复杂查询和 OOD 场景下多轮环境交互与难度感知控制的巨大价值。与此同时以 rubric-based judge、结构相似度奖励为代表的细粒度评估方法正在弥补传统二元执行奖励的不足为 RL 提供更稠密、更可解释的优化信号。10956483尽管存在数据与算力成本、训练稳定性、安全性与评测标准等挑战现有工作已经清晰地表明在复杂数据库环境下单纯依赖一次性生成难以满足实际需求RL 尤其是多轮交互式 RL为构建更鲁棒、更智能的 NL2SQL agent 提供了新的技术路径。后续研究可以在奖励设计、多轮交互策略、细粒度评估框架以及小模型/资源受限场景等方向继续深入为这一交叉领域提供更系统、更可落地的解决方案。ReferencesText-to-SQL Empowered by Large Language Models - 作者D Gao · 被引用次数673 — A Survey on Deep. Learning Approaches for Text-to-SQL. VLDB J … Seq2SQL: Ge… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎A Survey on Employing Large Language Models for Text-to … - 作者L Shi · 2025 · 被引用次数120 — Their findings demonstrate that generative language models trained on … ↩︎ ↩︎ ↩︎Text-to-SQL just got a lot better with RL - SkyRL-SQL uses a multi-turn RL framework where the agent learns to probe the database, observe feedb… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎SQL-Trail: Multi-Turn Reinforcement Learning with Interleaved … - Our main contributions are as follows: (1) Unified Multi-turn RL Training Framework: We present the … ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Training Natural Language to SQL Reasoning Model By … - arXiv.org - In this work, we propose SQL-R1, a novel NL2SQL reasoning model trained via reinforcement learning (… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎SQL-R1: Training Natural Language to SQL Reasoning Model By … - Key Results: SQL-R1 achieves execution accuracy of 88.6% on the Spider benchmark and 67.1% on the BI… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎SQL-R1: Training Natural Language to SQL Reasoning … - NeurIPS - In existing experiments, SQL-R1 achieves execution accuracy of 88.6% and 67.1% on the benchmark Sp… ↩︎ ↩︎ ↩︎[Literature Review] SQL-Trail: Multi-Turn Reinforcement Learning … - Multi-turn Reward Design: Unlike sparse binary execution rewards, SQL-TRAIL employs a six-term, rule… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Fine-Grained Reinforcement Learning for Text-to-SQL with … - 作者G Wang · 2025 · 被引用次数1 — Our framework first automatically generates query-specific evaluation r… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Fine-Grained Reinforcement Learning for Text-to-SQL with … - 作者G Wang · 2025 · 被引用次数1 — Our framework first automatically generates query-specific evaluation r… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎In-Context Reinforcement Learning with Retrieval … - 作者R Toteja · 2025 · 被引用次数15 — Text-to-SQL simplifies database interactions by enabling non-experts… ↩︎ ↩︎ ↩︎ ↩︎IBM/sql-rl-gen - The SQL-RL-GEN is an algorithm based on a Reinforcement Learning approach with a reward function gen… ↩︎ ↩︎[2601.17699] SQL-Trail: Multi-Turn Reinforcement Learning … - arXiv - To address this limitation, we introduce SQL-Trail, a multi-turn reinforcement learning (RL) agentic… ↩︎Enhanced Text-to-SQL using cooperative reinforcement … - This paper proposes a cooperative reinforcement learning (CRL) framework for Text-to-SQL that explic… ↩︎ ↩︎ ↩︎Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL … - We first formulate the task as a sequential decision-making process, followed by our reward design a… ↩︎ ↩︎
【论文ing】强化学习重塑 NL2SQL：单轮对齐、多轮交互与细粒度评估的最新进展（2020–2026）
发布时间：2026/5/26 8:57:22
文章目录一、问题背景与综述目标二、总体发展脉络与分类视角2.1 从早期执行奖励到 LLMRL2.2 功能视角RL 在 Text-to-SQL 中扮演的几种角色三、单轮执行对齐SQL-R1 等方法3.1 SQL-R1代表性的单阶段 RL NL2SQL 模型3.2 类似思想与扩展小样本、LLM 生成奖励等3.3. 小结共同特征与单轮执行对齐四、多轮交互与 Agent 化SQL-Trail、SkyRL-SQL 等4.1 SQL-Trail多轮 RL agent 框架4.2 SkyRL-SQL多轮 RL 的工业实践案例4.3 进一步扩展工具集成、多任务、协同 RL五、细粒度评估与奖励机制从二元执行到 rubric-based 奖励5.1 二元执行奖励的局限5.2 Rubric-based 与 critique-style 奖励5.3 结构相似度与局部奖励六、其它相关方向问题生成、schema 检索与间接 RL七、当前研究的主要挑战八、未来研究方向与个人选题空间九、结论References一、问题背景与综述目标自然语言到 SQLNL2SQL / Text-to-SQL旨在将用户的自然语言问题映射为在特定数据库上可执行的 SQL 查询是自然语言接口数据库NLIDB的核心任务之一。随着大规模预训练语言模型LLM的出现主流方法逐渐演化为“LLM 提示/检索 轻量微调”的范式但在复杂查询推理、跨库泛化和实际部署鲁棒性等方面仍存在明显瓶颈。强化学习RL因其“与环境交互、基于奖励信号优化策略”的特性被越来越多地用于 Text-to-SQL以更好地对齐模型行为与执行结果和系统目标。12本综述聚焦“强化学习在 NL2SQL/Text-to-SQL 中的应用”目标是梳理 RL 介入 Text-to-SQL 的主要技术路径与代表性工作尤其是近两年出现的 SQL-R1、SQL-Trail、SkyRL-SQL 等。总结不同方法在奖励设计、训练流程和多轮交互等关键维度上的共性与差异。分析当前研究面临的主要挑战和未来可能的研究方向为后续做更细致的专题研究如奖励设计、多轮交互框架打基础。二、总体发展脉络与分类视角2.1 从早期执行奖励到 LLMRL最早将强化学习用于 NL2SQL 的工作多基于中小规模 Seq2Seq 或代码生成模型通过将“执行正确性”作为奖励来优化生成序列如 Seq2SQL 之类的工作在现代 LLM 综述中被作为经典例子引用。这一阶段的特点是1模型本身容量有限RL 主要用于弥补监督信号对执行结果刻画不足的问题。奖励通常是“能否成功执行 / 结果是否与标注一致”的二元信号较为稀疏。训练流程多为“先监督学习再用 REINFORCE/Policy Gradient 做一段 RL 微调”。随着代码类 LLM 与通用 LLM 的兴起RL 的角色逐渐从“微调小模型”演变为“对齐大模型行为与执行目标”包括直接在大模型 Text-to-SQL 头上做 RL 微调如 SQL-R1 一类工作。在多轮 agent 框架下通过 RL 学习如何与数据库环境交互如 SQL-Trail、SkyRL-SQL 等多轮 RL 方法。3452.2 功能视角RL 在 Text-to-SQL 中扮演的几种角色结合近年的代表工作可将 RL 在 NL2SQL 中的大致角色概括为三类单轮执行对齐single-pass, execution-aligned RL以 SQL-R1 为代表通过设计复合奖励提升单次生成 SQL 的执行正确率和推理质量。657多轮交互式推理multi-turn, agentic RL以 SQL-Trail、SkyRL-SQL 等为代表将 Text-to-SQL 视作“与数据库环境交互的多轮决策任务”通过多步查询与反馈迭代修正 SQL。483评测/奖励机制增强evaluation-aligned RL以细粒度奖励和自动打分器为代表如 fine-grained RL with rubric-based judge通过更细粒度的评估与奖励改善模型行为而不仅仅依赖二元执行结果。910此外还有一些工作将 RL 用于辅助模块如 Text-to-SQL 过程中的 schema 检索、问题生成或工具使用策略等属于“间接作用于 NL2SQL”的场景。11三、单轮执行对齐SQL-R1 等方法3.1 SQL-R1代表性的单阶段 RL NL2SQL 模型SQL-R1 是近两年强化学习在 NL2SQL 领域中最具代表性的单阶段 RL 工作之一其核心思想是在一个已经通过监督学习SFT初始化的大模型如 Qwen2.5-Coder-7B上利用分组强化策略优化GRPO和复合奖励函数对 NL→SQL 推理过程进行强化学习训练。其关键设计包括576训练流程第一阶段使用有限数量的标注或合成 NL–SQL 样本进行监督微调使模型基本掌握语法与任务格式。第二阶段基于 GRPO 进行强化学习。对每个自然语言问题模型一次性生成若干带有思维过程和 SQL 候选的样本执行 SQL 并根据奖励函数对策略进行更新。65复合奖励设计格式奖励Format Reward鼓励模型以预期的think.../think和sql.../sql样式输出思维过程和 SQL从而便于解析和监控。56执行奖励Execution Reward根据 SQL 是否能成功执行进行打分避免生成语法错误或无法在目标数据库上运行的语句。5结果奖励Result Reward根据执行结果是否与 gold query 的结果一致进行更细致的反馈引导模型关注语义等价而非仅语法正确。65长度相关奖励Length Reward对思维过程和 SQL 长度进行归一化惩罚以抑制过度冗长的推理或过于复杂的 SQL 结构。6候选选择与自一致性在推理阶段SQL-R1 对同一个问题生成多个 SQL 候选执行并根据奖励得分选择得分最高者作为最终输出这一方式与自一致性投票相结合进一步提升了执行准确率。56在 Spider 与 BIRD 等标准基准上SQL-R1 在 7B 量级模型上达到接近或超过闭源大模型如 GPT-4/4o的执行准确率在 Spider Test 上约 88–89% EX在 BIRD Dev 上约 66–67% EX表明单阶段 RL 在复杂 NL2SQL 场景中具有显著提升空间。7653.2 类似思想与扩展小样本、LLM 生成奖励等除了 SQL-R1 这一代表还有若干工作在相似思路下探索不同维度小样本小模型场景一些工业界实验如 IBM SQL-RL-GEN使用较小的 200M–300M 参数模型在仅有上千条训练样本的场景下通过 RL 和 LLM 生成的奖励信号将执行准确率提高了约 7%体现了 RL 在“小数据小模型”设定下的潜力。12更细粒度的奖励 / 判别器有工作提出使用“rubric-based generative judge”如 RuCo-C自动为每个查询生成细粒度评价准则与批注由此产生稠密、可解释的奖励信号解决单一执行结果奖励过于粗糙的问题。1093.3. 小结共同特征与单轮执行对齐总体来看单轮执行对齐类方法的共同特征是把 NL2SQL 看作“一次性生成程序”的问题RL 只在最终输出上给奖励。奖励设计已经从单一执行结果逐步演化为“语法执行结果长度”等多维复合信号。依赖一个较好的 SFT 初始化RL 阶段主要用于“对齐”和“微调”而非从零学习。其局限在于中间生成过程缺乏显式的交互与自纠错机会错误往往在最终一步暴露而奖励难以精确定位问题所在。对于极其复杂或 OOD 的查询单次生成往往难以通过一次修正弥补所有偏差。四、多轮交互与 Agent 化SQL-Trail、SkyRL-SQL 等4.1 SQL-Trail多轮 RL agent 框架SQL-Trail 提出将 Text-to-SQL 从“静态翻译任务”重塑为“与数据库环境交互的多轮推理任务”通过多轮 RL agent 框架实现 schema 探索、错误纠正和难度感知的 turn 分配。其关键思想可以概括为1384多轮交互流程LLM 作为 agent在每一轮生成一段自然语言推理think和一个 SQL或工具调用环境返回执行结果、错误消息或中间表格预览agent 基于新的 observation 更新内部状态并决定下一步动作直到终止并输出最终 SQL。84难度感知的 turn-budget 分配SQL-Trail 为每个样本分配一个与问题难度相关的最大交互轮数简单问题用较少轮数解决复杂问题允许更多轮数从而在总体上控制推理成本并减少“过度思考”。48复合奖励面板六项奖励与单轮 RL 使用少数若干奖励项不同SQL-Trail 设计了包含执行结果、SQL 结构相似度如 bigram similarity、turn 效率、语法合法性、格式约束等在内的六维 reward 面板84其中结构相似度 reward 被实证证明对提升稳定性贡献最大而 turn 效率 reward 有效抑制无意义轮次并支撑难度感知的预算机制。8两阶段训练SFT 多轮 RL阶段一蒸馏一个强闭源 teacher如 Claude生成的多轮轨迹对较小的开源模型进行监督学习使其掌握复杂的 agent 协议和工具调用格式。48阶段二在真实数据库执行环境中用 GRPO 变体对多轮策略进行 RL 优化实现对 turn allocation 与 schema 探索策略的细致调整。4在 Spider 系列和 BIRD-SQL 等基准上SQL-Trail 在使用不足 2000 条训练样本的情况下在执行准确率和 OOD 泛化能力上取得新的 SOTA特别是在 Spider-Syn 和 Spider-Realistic 等更具挑战性的子集上展示了多轮交互与 RL 对于复杂环境下稳健 Text-to-SQL 的优势。844.2 SkyRL-SQL多轮 RL 的工业实践案例SkyRL-SQL基于 VeRL 和 SearchR1 agent loop 的多轮 RL Text-to-SQL 实践从工业工程视角展示了多轮 RL 的优势3多轮交互协议基于think、sql、observation、solution等标记将思维过程、探索性 SQL 和最终解答分离允许模型在中间步骤频繁发出探索性查询、检查中间结果并纠错。3简单但有效的奖励设计奖励函数仅包含两项格式奖励是否遵守交互协议和执行奖励最终 SQL 是否执行成功且结果匹配 gold相较于 SQL-Trail 的多项奖励面板更为简洁。3多轮 RL vs 单轮 RL 的实验观察在相同训练样本和奖励设定下多轮 RL 在训练中获得的平均 reward 收敛更快约 2.8 倍训练步数内达成相同 reward 水平最终 reward 也显著更高16%。3在单轮评估模式下多轮训练的模型依然优于单轮训练的模型1.6% EX在允许 5 轮交互的评估下多轮训练模型的 EX 进一步提升约 4.5%而单轮训练模型在多轮环境中反而退步表明其无法有效利用反馈。3SkyRL-SQL 的结果佐证了多轮 RL 对于训练“内部推理能力”和“交互式纠错能力”的作用并显示即便最终部署在单轮场景多轮训练带来的收益仍然存在。4.3 进一步扩展工具集成、多任务、协同 RL在多轮 RL 框架基础上有工作进一步将 Text-to-SQL agent 与其他工具结合如检索、多模态解释器或代码执行器通过 RL 学习何时调用何种工具并借助执行反馈优化策略。同时也出现了将 Text-to-SQL 任务拆分为 schema linking 与 SQL 生成两阶段、并用 cooperative RL 协同优化两个子 agent 的工作尤其是在小模型和资源受限场景下。1415这些扩展方向表明多轮 RL 与 agent 框架天然适合承载“工具增强型 NL2SQL”使得模型可以在更复杂的数据与任务环境中运作。五、细粒度评估与奖励机制从二元执行到 rubric-based 奖励5.1 二元执行奖励的局限传统 RLNL2SQL 工作多依赖“SQL 是否执行成功、结果是否正确”这一二元信号作为奖励这在早期小模型场景中尚可接受但在面对长 SQL、多表 joins、复杂嵌套查询时往往过于稀疏难以为模型提供足够的学习信号。此外执行结果往往无法区分“结构接近但有小错误”的候选与“完全无关”的候选导致奖励无法指导模型在结构空间中做细致调整。155.2 Rubric-based 与 critique-style 奖励为解决上述问题近年的一些工作引入了基于 rubric 的细粒度评估与奖励机制RuCo-C 等方法提出使用生成式 judge为每个查询自动构建评价量表和批注从而可以对 SQL 的语义正确性、结构合理性和风格规范等多个维度进行打分。910在 RL 训练中这类 judge 可以为每个候选 SQL 提供更稠密的 reward甚至对错误类型进行区分使模型在一步步优化中获得更具体的指导而不仅仅是“对/错”信号。1095.3 结构相似度与局部奖励SQL-Trail 的实验表明以 bigram similarity 为代表的结构相似度 reward 是其六项奖励中收益最大的单项有效稳定了训练过程。这说明8仅凭执行结果难以捕捉“离正确 SQL 还差多远”而结构相似度提供了一个连续的、与目标 SQL 接近程度相关的信号。在多轮 RL 框架下结合同步记录中间候选 SQL可以为每一步的结构调整提供局部奖励进一步提升学习效率。48综上细粒度评估与多维奖励正在逐步替代单一执行奖励成为 RLNL2SQL 的重要趋势。六、其它相关方向问题生成、schema 检索与间接 RL强化学习在 Text-to-SQL 生态中并不局限于“直接优化 SQL 生成器”。还有一些工作利用 RL 改进与 NL2SQL 相关的其他环节问题/SQL 对生成与数据增强有工作提出采用 in-context reinforcement learning 框架优化问题生成模块以产生更加复杂和多样的合成查询从而改进后续 Text-to-SQL 训练的数据分布和难度结构。11schema 检索与子库选择在工业级大规模数据库环境下经常需要先从成千上万张表中检索相关子 schema再交给 LLM 进行 SQL 生成。部分工作尝试使用 RL 优化检索策略使其在复杂环境下具有更高召回率和效率。11协同/多智能体 RL在小模型场景下有研究提出将 Text-to-SQL 任务拆分为 schema linking 与 SQL generation 两个子任务分别由两个 agent 负责并使用 cooperative RL 联合优化从而提高整体性能和可解释性。14这些方向虽然不直接修改主 SQL 生成器但通过改善训练数据、检索质量和子模块协同对 NL2SQL 系统整体性能有间接但重要的贡献。七、当前研究的主要挑战尽管 RL 在 NL2SQL 中已经展示出显著潜力但综合现有文献与实践总体上仍面临若干核心挑战数据与算力成本尽管 SQL-R1 和 SQL-Trail 等方法强调“数据高效”如使用几千条样本达到接近或超过闭源模型的性能但在实际实现中执行环境搭建、reward 计算和多轮 roll-out 仍然昂贵。654训练稳定性与可复现性多项 reward 与复杂交互流程增加了训练不稳定的可能性不同实现细节如错误处理、timeout 设定、SQL 引擎版本都可能对结果产生显著影响给复现带来困难。483评测维度不足现有基准多聚焦于整体 EX/EM对多轮 agent 的“思考路径质量”“交互效率”“鲁棒性”等缺乏统一评测标准限制了不同 RL 框架间的客观比较。21安全性与边界控制多轮 RL agent 在真实数据库环境中探索时可能触发代价高昂或危险的查询操作如何在保障安全与资源可控的前提下进行 RL 训练是实际部署中必须解决的问题。3与大模型对齐的关系对于极大规模闭源模型而言如何在不访问其参数的条件下通过 RL 或交互式对齐进一步提升 NL2SQL 能力仍然是开放问题同时有必要研究 RL 对模型对齐特性的长期影响例如是否会产生过拟合特定 schema 的偏差。八、未来研究方向与个人选题空间综合现有工作可以看到强化学习在 NL2SQL 中已经从“单纯提升指标的小技巧”发展为“重新定义任务范式的关键手段”特别是在以下几个方向上多轮交互框架与难度感知控制SQL-Trail、SkyRL-SQL 等工作表明多轮 RL 能够显著提升复杂查询和 OOD 场景下的表现即便在单轮评估模式下仍有收益。843未来可以进一步研究更加精细的难度估计、turn 分配策略以及与人类偏好/交互体验对齐的奖励设计。细粒度奖励与可解释评估rubrics-based judge、结构相似度 reward 等方向提示细粒度、可解释的奖励不仅改善训练还可以加深对模型错误模式的理解。9108在 NL2SQL 领域构建针对 SQL 结构、schema 使用、错误类型等维度的系统性评估与奖励框架是一个有潜力的研究课题。小模型 RL 的资源受限场景多个工作展示了在中小模型和小数据集上的显著提升这对于边缘部署、企业内网和算力受限环境尤为重要。123结合 parameter-efficient tuning、offline RL 或 imitationRL 混合方法可能进一步降低成本、提高稳定性。多模块与多智能体协同将 Text-to-SQL 任务拆解为检索、schema linking、SQL 生成、结果解释等子任务并用协作式 RL 统一优化是一个自然的演进方向。151411评测标准与开放基准的建设在现有 Spider/BIRD 等基准之上构建专门针对 RLNL2SQL 的评测子集如多轮交互能力、错误恢复能力、资源/延迟约束下的表现等将有助于推动这一方向的系统性发展。21对于希望在“强化学习 NL2SQL”方向做综述或后续研究的学生而言可以从上述几个维度中选择一个切口例如专注于“多轮交互 RL 框架的奖励设计与评测方法”或者“细粒度 rubric-based 奖励在 Text-to-SQL 中的应用”在现有工作的基础上做更系统的整理与分析再逐渐延伸到具体方法创新。九、结论强化学习在 NL2SQL/Text-to-SQL 领域已经从早期的小模型执行奖励微调发展到围绕 LLM 的单轮执行对齐、多轮交互式推理和细粒度评测与奖励的多种形态。SQL-R1 代表了单阶段、复合奖励驱动的 NL2SQL 推理模型在 Spider 和 BIRD 等基准上取得接近或超过闭源大模型的性能SQL-Trail 和 SkyRL-SQL 等多轮 RL agent 则展示了在复杂查询和 OOD 场景下多轮环境交互与难度感知控制的巨大价值。与此同时以 rubric-based judge、结构相似度奖励为代表的细粒度评估方法正在弥补传统二元执行奖励的不足为 RL 提供更稠密、更可解释的优化信号。10956483尽管存在数据与算力成本、训练稳定性、安全性与评测标准等挑战现有工作已经清晰地表明在复杂数据库环境下单纯依赖一次性生成难以满足实际需求RL 尤其是多轮交互式 RL为构建更鲁棒、更智能的 NL2SQL agent 提供了新的技术路径。后续研究可以在奖励设计、多轮交互策略、细粒度评估框架以及小模型/资源受限场景等方向继续深入为这一交叉领域提供更系统、更可落地的解决方案。ReferencesText-to-SQL Empowered by Large Language Models - 作者D Gao · 被引用次数673 — A Survey on Deep. Learning Approaches for Text-to-SQL. VLDB J … Seq2SQL: Ge… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎A Survey on Employing Large Language Models for Text-to … - 作者L Shi · 2025 · 被引用次数120 — Their findings demonstrate that generative language models trained on … ↩︎ ↩︎ ↩︎Text-to-SQL just got a lot better with RL - SkyRL-SQL uses a multi-turn RL framework where the agent learns to probe the database, observe feedb… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎SQL-Trail: Multi-Turn Reinforcement Learning with Interleaved … - Our main contributions are as follows: (1) Unified Multi-turn RL Training Framework: We present the … ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Training Natural Language to SQL Reasoning Model By … - arXiv.org - In this work, we propose SQL-R1, a novel NL2SQL reasoning model trained via reinforcement learning (… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎SQL-R1: Training Natural Language to SQL Reasoning Model By … - Key Results: SQL-R1 achieves execution accuracy of 88.6% on the Spider benchmark and 67.1% on the BI… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎SQL-R1: Training Natural Language to SQL Reasoning … - NeurIPS - In existing experiments, SQL-R1 achieves execution accuracy of 88.6% and 67.1% on the benchmark Sp… ↩︎ ↩︎ ↩︎[Literature Review] SQL-Trail: Multi-Turn Reinforcement Learning … - Multi-turn Reward Design: Unlike sparse binary execution rewards, SQL-TRAIL employs a six-term, rule… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Fine-Grained Reinforcement Learning for Text-to-SQL with … - 作者G Wang · 2025 · 被引用次数1 — Our framework first automatically generates query-specific evaluation r… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎Fine-Grained Reinforcement Learning for Text-to-SQL with … - 作者G Wang · 2025 · 被引用次数1 — Our framework first automatically generates query-specific evaluation r… ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎In-Context Reinforcement Learning with Retrieval … - 作者R Toteja · 2025 · 被引用次数15 — Text-to-SQL simplifies database interactions by enabling non-experts… ↩︎ ↩︎ ↩︎ ↩︎IBM/sql-rl-gen - The SQL-RL-GEN is an algorithm based on a Reinforcement Learning approach with a reward function gen… ↩︎ ↩︎[2601.17699] SQL-Trail: Multi-Turn Reinforcement Learning … - arXiv - To address this limitation, we introduce SQL-Trail, a multi-turn reinforcement learning (RL) agentic… ↩︎Enhanced Text-to-SQL using cooperative reinforcement … - This paper proposes a cooperative reinforcement learning (CRL) framework for Text-to-SQL that explic… ↩︎ ↩︎ ↩︎Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL … - We first formulate the task as a sequential decision-making process, followed by our reward design a… ↩︎ ↩︎
