摘要：在当今数字化时代，数据已经成为了企业和组织的核心资产。然而，如何高效地从海量数据中提取有价值的信息，一直是困扰许多人的难题。想象一下，如果你能够直接用自然语言向数据库提问，就像和朋友聊天一样轻松，那该有多方便？比如，你想知道第三季度西部地区最畅销产品的销售额，
在当今数字化时代，数据已经成为了企业和组织的核心资产。然而，如何高效地从海量数据中提取有价值的信息，一直是困扰许多人的难题。想象一下，如果你能够直接用自然语言向数据库提问，就像和朋友聊天一样轻松，那该有多方便？比如，你想知道第三季度西部地区最畅销产品的销售额，或者去年营销支出与客户获取成本之间的相关性，只需要简单地问一句，数据库就能自动给出答案。这听起来是不是很神奇？这就是Text-to-SQL技术所承诺的未来。
Text-to-SQL，即将人类的自然语言翻译成数据库能够理解的结构化查询语言（SQL），听起来似乎并不复杂，但实际操作起来却困难重重。尽管像GPT-4和Gemini这样的大型语言模型（LLM）在理解和生成人类语言方面展现出了惊人的潜力，但将复杂、含糊或微妙的问题准确地转换为精确可执行的SQL代码，仍然是一个巨大的挑战。早期的尝试往往因为生成语法错误的查询、误解用户意图，或者“幻想”出错误的数据库结构而失败。
不过，好消息是，这一领域正在迅速发展。最近，两篇开创性的论文《CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL》（Pourreza等人，Google Cloud & Stanford）和《A PREVIEW OF XIYAN-SQL: A MULTI-GENERATOR ENSEMBLE FRAMEWORK FOR TEXT-TO-SQL》（高等人，阿里巴巴集团）展示了新的方向：采用多智能体或多生成器集成框架。这些方法通过多个专业化的AI组件协同工作——就像一个专家团队一样——来生成、优化和选择最佳的SQL查询。
这些进展不仅仅是小幅度的改进，而是实现了质的飞跃。在著名的BIRD和Spider等复杂基准测试中，这些新框架取得了最先进的成果。那么，Text-to-SQL究竟难在哪里？这些创新框架又是如何打破传统限制的呢？接下来，让我们深入探讨一下。
将自然语言转换为SQL，看似简单的任务背后隐藏着诸多复杂因素：
人类的语言天生灵活且常常不精确。例如，“给我看看上个季度的销售情况”，这里的“上个季度”是指日历季度还是财年季度？“销售”是指收入、利润还是销售数量？这些数据又存储在哪个表中？这些问题都可能导致理解上的歧义。
现实世界的数据库通常是复杂的关系网络，包含众多的表、列和关系。一个简单的问题可能需要连接多个表，理解晦涩的列名（比如usr_acq_src而不是UserAcquisitionSource），以及复杂的外键关系。语言模型需要隐式地理解这种结构。
SQL本身也有其复杂性。不同的数据库使用略有不同的SQL方言（如SQLite、PostgreSQL、MySQL等）。知道何时使用GROUP BY、HAVING、嵌套查询、窗口函数或特定的日期/时间函数，需要深入的理解。
问题中常常包含具体的值，比如“加利福尼亚的客户”或“价格超过50美元的产品”。AI需要正确识别这些值，并将其映射到数据库中正确的列和格式（例如，知道“加利福尼亚”对应State = 'CA'）。拼写错误或变体（如“Calif.”或“Cali”）又增加了难度。
上下文窗口限制：数据库可能有数百个表和数千个列，将所有这些结构信息以及用户的问题都塞进LLM有限的上下文窗口中通常是不可能的。一致性问题：多次向LLM询问同一个问题，可能会得到不同的SQL查询结果，有些正确，有些则不正确。忠实度问题：LLM生成的SQL可能看起来合理，但并不真正反映数据库结构或用户的真实意图。这些挑战表明，仅仅依靠强大的LLM进行简单的提示是远远不够的，尤其是在复杂的真实场景中。
利用LLM实现有效Text-to-SQL的探索经历了快速的演变：
最初的方法是将数据库结构和问题提供给LLM，有时附带一些示例（少样本），并要求其生成SQL。虽然这种方法在简单情况下表现令人印象深刻，但在处理复杂问题时却显得力不从心。
受人类逐步解决问题的启发，CoT提示鼓励LLM“大声思考”，在生成最终SQL之前先分解推理过程。这种方法在处理更复杂的查询时表现有所提升。
（三）自一致性认识到LLM可以产生多种不同的答案，自一致性方法会生成多个SQL候选答案，并选择执行结果出现频率最高的那个。虽然这种方法提高了鲁棒性，但存在一个关键缺陷：最受欢迎的答案并不一定是正确的答案。
CHASE-SQL论文中生动地展示了这一局限性。在具有挑战性的BIRD数据集上，自一致性方法的准确率仅为68.84%，而如果有一个“先知”能够从生成的候选答案中挑选出最佳查询，潜在的准确率可以达到82.79%。这14%的差距揭示了一个明确的机会：如果我们能够生成一组高质量的多样化候选答案，并智能地选择其中最佳的一个，那么将有可能实现显著的性能提升。这也为CHASE-SQL和XiYan-SQL的多智能体/集成方法奠定了基础。
CHASE-SQL引入了一个基于两个核心思想的框架：通过不同的推理策略生成多样化的高质量SQL候选答案，并使用训练有素的“选择代理”来挑选最佳答案。可以将其想象成派遣多个采用不同方法的专家侦探（生成器）去调查一个案件，然后由一位经验丰富的首席侦探（选择器）审查他们的发现，以确定最准确的结论。
CHASE-SQL并不依赖单一的提示策略，而是采用了三种不同的方法，以高效的方式利用LLM的内在知识，尽可能在单次LLM调用中完成：
概念：将复杂的自然语言问题分解为更小、更易管理的子问题，为每个子问题生成伪SQL，分别解决它们，然后将解决方案组合成最终的SQL查询。类比：就像解决一个复杂的数学问题时，将其分解为更简单的中间步骤，分别解决后再组合成最终答案。优势：特别适用于涉及嵌套逻辑、复杂的WHERE/HAVING子句或高级数学运算的复杂查询。示例：解决一个查询，要求找到最低平均工资分行中年龄最小客户的性别，需要分步骤进行：找到最低平均工资的分行 -> 找到该分行中年龄最小的客户 -> 获取其性别。这可能是与简单自一致性相比最重要的创新。而不是简单地选择出现频率最高的执行结果，CHASE-SQL训练了一个单独的、经过微调的LLM（在他们的实验中是Gemini-1.5-flash）作为选择代理。
机制：它进行成对比较。给定两个针对同一问题的候选SQL查询（Cᵢ, Cⱼ），代理预测哪一个更有可能是正确的。它会考虑问题、数据库结构（特别是Cᵢ和Cⱼ使用的结构的并集）以及查询本身。训练：代理在已知一个查询正确而另一个错误的数据上进行微调（从训练集中推导而来）。如果两个候选查询都正确/错误或产生相同的结果，则分别处理（如果结果一致，则优先考虑一致性）。最终选择：每个候选查询根据赢得的成对比较次数获得一个分数。得分最高的候选查询被选中。为什么更好：这种方法直接训练模型理解使一个SQL查询比另一个更适合特定问题的细微差别，而不是依赖于可能有缺陷的假设，即正确性等于流行度。实验表明，这种经过微调的二元分类显著优于零样本LLM选择和自一致性。引人深思的问题：CHASE-SQL的选择代理使用成对比较。是否可以通过训练更复杂的排名模型，同时评估多个候选答案，来实现更高的准确性？
通过结合多样化的生成路径和智能的训练选择，CHASE-SQL在发布时在BIRD开发集上取得了最先进的成果（73.01%的执行准确率）。
五、深入剖析XiYan-SQL：集成力量与M-Schema革命由阿里巴巴集团开发的XiYan-SQL进一步推动了多生成器概念的发展，明确创建了一个集成框架，融合了不同类型模型的优势，并引入了一种新颖的数据库结构表示方法。
将数据库结构有效地呈现给LLM是一个核心挑战。传统方法常常不足：
DDL（数据定义语言）：标准的CREATE TABLE语句虽然精确，但缺乏描述性上下文、示例值或清晰的关系标记，这些都有助于LLM理解语义。MAC-SQL结构：早期尝试改进这一问题，但XiYan-SQL发现其存在限制，例如缺少数据类型和冗长的格式。XiYan-SQL引入了M-Schema，这是一种为LLM理解而设计的半结构化表示：
层次化：清晰标记数据库ID（【DB_ID】）、表（# Table）和外键（【外键】）。详细列信息：对于每一列，它包括：名称数据类型（对于正确操作至关重要）描述（从数据库中提取，提供语义上下文）主键标记示例值（简洁且相关）明确关系：清晰列出表之间的外键连接。紧凑且清晰：使用特定的标记和格式规则，比以前的方法更简洁，同时保留了比DDL更重要的信息。类比：可以把DDL看作是一个基础的建筑蓝图。M-Schema就像是这个蓝图加上了建筑师详细的注释，解释每个房间的用途、使用的材料、家具的摆放示例以及房间之间的管道连接。这种更丰富的上下文帮助LLM（建筑工人）更可靠地构建正确的SQL查询。实验表明，与DDL和MAC-SQL相比，M-Schema在不同LLM上都一致地提高了性能。
在生成之前，XiYan-SQL执行结构链接，类似于CHASE-SQL：
检索模块：识别问题中的关键词/实体，并使用语义相似性和LSH检索可能相关的列和数据库值。列选择器：使用LLM，通过少样本示例提示，修剪检索到的结构，只保留与特定用户查询最相关的列。然后将这个最小化的、聚焦的结构使用M-Schema格式化。概念：使用专门针对Text-to-SQL任务微调的模型。这允许对特定的SQL方言或模式进行更大的控制和优化。训练策略：一个两阶段过程：基础语法训练：首先在涵盖不同方言的基本SQL语法的大型数据集上进行训练，创建一个有能力的基础模型。生成增强训练：然后，使用多任务数据（SQL-to-Question、SQL-to-Evidence、SQL辨别/再生）和偏好数据（导致相同SQL的释义问题）进行进一步微调，以提高语义理解和生成多样化、高质量输出的能力。优势：SFT模型可以更小、更快，并且在它们专门训练的任务上可能更准确。可以训练多个具有不同偏好的SFT生成器。概念：使用强大的通用LLM（如GPT-4o或Gemini 1.5 Pro），通过骨架相似性选择的相关示例进行提示。骨架相似性：为了找到最佳示例，XiYan-SQL掩盖用户问题和训练问题中的命名实体（例如，“显示在的销售情况”），然后比较这些结构“骨架”。这避免了过度关注特定实体匹配，并找到了具有相似查询结构的示例。优势：利用大型基础模型的广泛知识和推理能力，特别是对于在SFT训练数据中未得到充分代表的新颖或复杂查询。混合生成类比：想象建造一台复杂的机器。你有专门从事特定组件的高技能专家（SFT生成器），还有可以利用手册和示例解决新问题的天才总工程师（ICL生成器）。将他们的输出结合起来，就为你提供了最大的成功机会。
SQL精炼器：类似于CHASE-SQL，这个模块会根据执行反馈尝试纠正生成候选答案中的语法或逻辑错误。选择代理：像CHASE-SQL一样，XiYan-SQL使用经过微调的模型进行选择，发现它优于自一致性。它根据执行结果对候选答案进行分组，识别不一致的答案，并使用训练有素的选择器从这个集合中选择最合理的候选答案，基于问题和结构上下文。他们还在选择器的训练中加入了释义，以处理SQL语法的变化。通过结合M-Schema表示、聚焦结构链接、混合SFT + ICL生成集成和智能选择，XiYan-SQL在多个基准测试中表现出色。
这两个框架都代表了Text-to-SQL的前沿水平，远远超越了早期的方法。它们的表现如何呢？
这两个框架都是重大进展，将Text-to-SQL的能力推向了更接近无缝自然语言数据交互的梦想。
对于对技术细节感兴趣的读者来说，以下是这些框架背后的一些关键技术：
两个框架都使用LSH进行值检索。LSH是一种算法，可以在高维空间中高效地找到近似最近邻。它将相似的输入项以高概率哈希到相同的“桶”中。这使得系统能够快速找到与用户问题中提到的关键字在语法或语义上相近的数据库值，而无需与数据库中的每个值进行比较。
为了训练选择代理，他们为BIRD训练集中的问题生成候选查询。他们根据执行结果对这些候选查询进行聚类。对于一对候选查询（Cᵢ来自与真实结果匹配的聚类，Cⱼ来自不匹配的聚类），他们创建训练示例，如（问题，结构（Cᵢ, Cⱼ），Cᵢ，Cⱼ，标签=正确索引）。随机打乱顺序以避免顺序偏差。
这涉及到使用命名实体识别（NER）工具（如NLTK）来识别用户查询和潜在示例查询中的实体（PERSON、LOCATION、ORGANIZATION、数字等）。这些实体被替换为通用占位符（例如，、）。然后计算这些掩盖后的“骨架”之间的相似性（可能使用嵌入余弦相似性），允许检索具有相似结构的示例，而不管提到的具体实体是什么。
精确的格式使用特定的类似Markdown的语法（# Table、【DB_ID】、【外键】）和列的元组表示（名称：TYPE，描述，主键？，示例：[vals]），使其易于被LLM解析，同时保持信息密集。
两阶段训练（基础语法 -> 生成增强）是一种常见策略。第一阶段构建基础能力，第二阶段通过更复杂的任务（如SQL-to-Question，这迫使模型更好地理解SQL在上下文中的含义）和偏好调整（学习风格变化）来专业化模型。
更可靠的Text-to-SQL降低了非技术用户（业务分析师、经理、研究人员）直接查询数据库的门槛，加快了洞察力的生成。
数据科学家可以利用自然语言更快地进行初始数据探索或特征工程。
将这些强大的技术更稳健地扩展到图数据库（如Neo4j、Nebula Graph——XiYan-SQL已经开始使用nGQL）、文档存储和其他非关系型数据源。
引人深思的问题：随着Text-to-SQL变得越来越强大，允许通过自然语言访问敏感数据库时，可能对数据安全和隐私带来哪些风险？如何缓解这些风险？
Text-to-SQL是使数据真正可访问的基石技术。尽管LLM提供了重要的初始推动力，但CHASE-SQL和XiYan-SQL等框架表明，实现稳健的现实世界性能的路径在于更复杂、多组件的架构。
关键要点如下：
多智能体/集成至关重要：仅依赖单一LLM提示通常是不够的。使用多个专业化的生成器（无论是多样化的提示策略还是SFT/ICL模型的组合）增加了生成正确查询的机会。智能选择优于一致性：简单地选择最常见的答案（自一致性）是有缺陷的。训练专门的选择代理，根据细微差别和上下文评估候选答案，可以显著提高结果。结构表示很重要：将数据库结构呈现给LLM的方式深刻影响其理解。像M-Schema这样的创新比传统方法具有明显优势。辅助组件至关重要：有效的值检索、列选择以及查询精炼/修复在整体流程中发挥着重要作用。最先进的技术正在迅速发展：这些框架在具有挑战性的基准测试中显著提高了性能，使无缝自然语言数据交互的梦想更接近现实。CHASE-SQL和XiYan-SQL团队背后的工作代表了一个巨大的飞跃。通过巧妙地结合多样化的生成技术、优化的结构表示和智能选择机制，他们为能够不仅理解我们关于数据的问题，还能准确检索答案的AI系统铺平了道路，为每个人解锁洞察力。
来源：正正杂说
