摘要：这是一篇关于自然语言在表格数据查询和可视化方面的综述。该综述全面概述如何通过自然语言实现表格数据查询和可视化，使用户能够使用自然语言查询与数据进行交互。介绍了可视化背后的基本概念和技术，特别强调了语义解析这一关键技术，它有助于将自然语言转换为 SQL 查询并实

发布于：2024 年 11 月 19 日 北京 星期二

#Text-to-SQL #Text-to-Vis #语义解析 #LLMs

这是一篇关于自然语言在表格数据查询和可视化方面的综述。该综述全面概述如何通过自然语言实现表格数据查询和可视化，使用户能够使用自然语言查询与数据进行交互。介绍了可视化背后的基本概念和技术，特别强调了语义解析这一关键技术，它有助于将自然语言转换为 SQL 查询并实现数据可视化。然后深入探讨了 Text-to-SQL 和 Text-to-Vis 问题在数据集、方法、指标和系统设计方面的最新进展，包括深入研究大型语言模型的影响，突出其优势、局限性和未来改进的潜力。通过该综述，旨在为对在大型语言模型时代通过自然语言对数据查询和可视化感兴趣的研究人员和从业者提供路线图。

01

—

1.1 研究背景与动机

随着信息技术的飞速发展，数据在现代社会中呈现出爆炸式增长，其在商业、医疗、科研等诸多领域的重要性日益凸显。结构化数据，特别是表格数据，因其简洁明了、易于组织和分析的特点，成为了存储和传达信息的重要方式。然而，传统的表格数据交互手段，如结构化查询语言（SQL）和手动绘制可视化图表，对用户的技术能力要求较高。这使得许多非技术背景的人员在面对海量表格数据时，难以从中获取有价值的信息，从而限制了数据的广泛应用和价值挖掘。

自然语言处理技术的出现为解决这一困境提供了新的契机。通过自然语言接口，用户可以使用日常语言与表格数据进行交互，无需掌握复杂的查询语法或专业的可视化设计知识。这不仅极大地降低了数据交互的门槛，使更多人能够受益于数据驱动的决策过程，还为数据探索和分析带来了更高的效率和灵活性。例如，企业决策者可以直接询问“过去一年中销售额最高的产品类别是什么”，而无需编写繁琐的 SQL 查询语句；科研人员可以轻松获取“特定实验条件下各项指标的变化趋势”，并以直观的可视化图表进行展示。这种变革性的交互方式有望打破技术壁垒，释放表格数据的巨大潜力，推动各行业的创新与发展。

1.2 自然语言接口的关键技术

自然语言接口的核心在于实现自然语言与表格数据之间的有效转换，而这一过程依赖于多种关键技术，

其中语义解析技术尤为重要。语义解析是将自然语言查询准确转换为可在结构化数据库上执行的形式化表示的过程。在众多形式语言和功能表示中，SQL和可视化规范在表格数据交互领域占据着主导地位。

SQL作为关系数据库管理系统的标准查询语言，具备强大的表达能力，能够精确地描述数据检索和操作的逻辑。它允许用户从数据库中选择特定的列、筛选满足条件的数据行、对数据进行聚合计算等。例如，对于一个包含销售数据的表格，用户可以通过 SQL 查询获取特定时间段内某类产品的销售总额，如

可视化规范则专注于定义数据如何以直观的图表形式呈现给用户。不同类型的图表适用于展示不同类型的数据特征，如柱状图用于比较不同类别数据的大小，折线图用于呈现数据随时间的变化趋势，饼图用于展示各部分数据占总体的比例关系等。通过将自然语言查询转换为可视化规范，系统可以自动生成符合用户需求的图表，帮助用户更直观地理解数据背后的信息。

在实际应用中，数据查询和可视化往往紧密结合。查询是可视化的基础，只有获取到准确的数据，才能进行有效的可视化呈现。例如，在分析市场趋势时，首先需要查询相关时间段内的销售数据，然后根据数据特点选择合适的图表类型（如折线图）进行可视化展示，从而清晰地呈现出市场的变化趋势。这种紧密的结合使得用户能够从多个角度探索和理解表格数据，为决策提供有力支持。

1.3 研究问题与目标

本研究旨在全面深入地探讨自然语言接口在表格数据查询和可视化方面的一系列关键问题，为该领域的进一步发展提供清晰的路线图。

首先，我们关注自然语言接口的演进历程，详细研究其从早期的简单形式到如今基于先进技术的复杂系统的发展过程，揭示推动这一发展的技术变革和应用需求。

其次，深入剖析数据查询与可视化这两项关键任务之间的内在联系，探索如何从语义解析的角度实现二者的无缝统一。这包括研究如何设计统一的语义表示，使得自然语言能够同时驱动数据查询和可视化操作，以及如何优化解析过程，提高转换的准确性和效率。

再者，全面评估现有自然语言接口方法的优缺点，尤其着重分析大语言模型（ LLMs ）对该领域的深远影响。我们将研究 LLMs 在处理自然语言查询时的优势，如强大的语言理解能力和广泛的知识储备，以及其面临的挑战，如可解释性差、对特定领域知识的理解有限等。同时，探讨如何充分发挥 LLMs 的潜力，克服其局限性，推动自然语言接口性能的进一步提升。

通过对这些问题的深入研究，我们希望为从事自然语言接口研究和开发的人员提供有价值的参考，帮助他们在大语言模型时代更好地设计和应用自然语言接口，促进表格数据的高效利用和知识发现，推动相关领域的创新与发展。

02

—

2.1 工作流程

图 1：用于表格数据查询和可视化的自然语言接口的示意图表示

自然语言接口的工作流程犹如一座精密的桥梁，连接着用户与表格数据，实现了从自然语言查询到数据结果呈现的无缝转换。

用户首先以自然语言问题的形式输入查询请求，例如“查询本季度电子产品的销售数据，并以柱状图展示销售额最高的前三种产品”。接口接收到用户输入后，立即启动预处理步骤。在这个阶段，系统会对输入的自然语言进行清洗，去除噪声和无关信息，如多余的标点符号、停用词等。接着进行分词操作，将句子拆分成一个个单词或词语，以便后续处理。然后进行词性标注，确定每个词的词性，如名词、动词、形容词等。这些预处理步骤有助于提取关键信息，为后续的语义解析提供更清晰的输入。

语义解析器是整个流程的核心组件，它负责将预处理后的自然语言查询转换为相应的功能表示。如果是数据查询任务，语义解析器会根据数据库 schema 和语言理解生成 SQL 查询语句，如

如果是可视化任务，它会生成可视化规范，包括图表类型（柱状图）、数据字段（产品名称、销售额）、排序方式（按销售额降序）等信息。

执行引擎根据语义解析器生成的功能表示与数据库进行交互。对于 SQL 查询，执行引擎会在数据库中执行查询操作，检索出符合条件的数据。对于可视化规范，执行引擎会调用相应的可视化库或工具，根据规范生成可视化图表。

最后，接口将查询结果或可视化图表呈现给用户。如果是数据查询结果，可能以表格形式展示；如果是可视化图表，则以直观的图形方式呈现。用户可以根据呈现的结果进一步提出问题或进行深入分析，从而实现与表格数据的交互循环。

图 2.将自然语言查询转换为 SQL 和销售数据可视化规范的过程示例。有关季度销售额的文本查询被解析为 SQL 命令以获取数字数据，而对销售可视化的请求被转换为相应的条形图规范。

2.2 问题定义

在自然语言接口中，功能表示形式多样，每种形式都在特定的数据交互场景中发挥着不可或缺的作用。

SQL 作为关系数据库查询的核心语言，具有强大的功能和广泛的应用。它能够精确地指定从数据库中检索数据的条件、要返回的列以及数据的排序方式等。通过SQL，用户可以执行各种复杂的数据查询操作，如多表连接查询，用于获取来自多个相关表格的数据；子查询，用于在查询中嵌套其他查询以实现更精细的筛选；数据聚合操作，如计算总和、平均值、计数等。例如，在一个包含销售数据、产品信息和客户信息的数据库中，用户可以使用 SQL 查询获取特定地区、特定时间段内购买了特定产品的客户数量，以及这些客户的平均消费金额等信息。

可视化规范则专注于数据的可视化呈现，将数据转换为直观易懂的图表形式。常见的可视化图表类型包括柱状图、折线图、饼图、散点图等，每种类型都适用于展示不同类型的数据特征。柱状图适用于比较不同类别数据的大小，如比较不同产品类别的销售额；折线图用于展示数据随时间或其他连续变量的变化趋势，如观察某产品在过去几个季度的销售趋势；饼图用于呈现各部分数据占总体的比例关系，如展示各产品类别在总销售额中的占比；散点图则用于探索两个变量之间的关系，如分析产品价格与销售量之间的相关性。可视化规范不仅定义了图表的类型，还包括数据的映射方式、坐标轴的标签、颜色的选择等细节，以确保生成的图表能够准确传达数据的信息。

除了 SQL 和可视化规范，还有其他一些形式的功能表示也在自然语言接口中发挥着作用。例如，Prolog 和 Datalog 等逻辑编程语言可以用于定义数据之间的逻辑关系和规则，适用于一些需要进行逻辑推理和知识表示的场景。FunQL 作为一种中间查询语言，强调将自然语言构造映射为结构化查询，注重实体之间的关系表达，为自然语言到数据库查询的转换提供了另一种思路。这些不同形式的功能表示相互补充，为自然语言接口提供了丰富的表达方式，以适应不同类型的数据查询和可视化需求。

2.3 框架

自然语言接口的框架由多个关键组件构成，这些组件协同工作，共同实现了自然语言与表格数据之间的高效交互。

图 3：表格数据查询和可视化中的自然语言接口框架。该技术框架包括各种关键组件：功能表示、数据集、方法、评估指标和系统设计。

2.3.1 数据集

数据集是自然语言接口的重要基础，它为模型的训练和评估提供了数据支持。数据集的质量和多样性直接影响着模型的性能。高质量的数据集应包含丰富多样的自然语言查询和对应的正确功能表示，涵盖不同领域、不同复杂度的查询场景，以帮助模型学习到广泛的语言表达和数据操作模式。例如，一个好的数据集可能包含来自商业、医疗、科研等多个领域的表格数据查询，包括简单的单表查询、复杂的多表连接查询以及涉及数据聚合和筛选的查询等。同时，数据集还可以分为单轮数据集和多轮数据集，单轮数据集用于处理单个独立的查询，而多轮数据集则模拟用户与系统之间的对话式交互，包含一系列相关的查询序列，有助于模型理解上下文信息，提高处理连续查询的能力。

2.3.2 方法

方法是实现自然语言接口的核心技术手段，涵盖了从传统方法到现代先进技术的演进。传统方法主要包括基于规则的方法，如通过预定义的规则和模式将自然语言查询转换为功能表示。这种方法简单直接，在早期的自然语言接口中得到了广泛应用，但对于复杂多变的自然语言表达，其灵活性和适应性较差。随着神经网络技术的发展，基于神经网络的方法逐渐兴起。这些方法利用深度学习模型，如序列到序列模型，学习自然语言与功能表示之间的映射关系。神经网络方法具有强大的学习能力，能够自动捕捉数据中的复杂模式，但需要大量的训练数据和计算资源。近年来，大语言模型（ LLMs ）的出现为自然语言接口带来了新的突破。LLMs 基于大规模的预训练，具备强大的语言理解和生成能力，通过巧妙的提示工程，可以在少样本甚至零样本的情况下处理自然语言查询，为自然语言接口的性能提升提供了新的途径。

2.3.3 评估指标

评估指标是衡量自然语言接口性能优劣的重要依据。常见的评估指标包括基于字符串匹配的指标，如精确字符串匹配和模糊匹配。精确字符串匹配要求生成的功能表示与真实的参考表示完全一致，这是一种严格的评估方式，但可能过于苛刻，因为在实际应用中，语义等价的表示可能具有不同的字符串形式。模糊匹配则通过计算字符串之间的相似度来评估匹配程度，相对更加灵活，但也可能存在误判的情况。除了字符串匹配指标，还有基于执行结果的指标，如执行匹配，它通过比较执行生成的功能表示所得到的结果与预期结果是否一致来评估接口的准确性。此外，人工评估也是一种重要的评估方式，它可以通过用户调查、专家评审等方式，从用户体验、实用性、可解释性等多个角度对自然语言接口进行全面评估，弥补自动化指标的不足。

2.3.4 系统设计

系统设计关注自然语言接口的整体架构和实现细节，包括系统的模块化设计、组件之间的通信机制、用户界面的设计等方面。良好的系统设计应确保系统具有高度的可扩展性，能够方便地集成新的功能和算法；具备高效的性能，能够快速响应用户查询；提供友好的用户界面，使用户能够轻松地与系统进行交互。例如，采用模块化设计可以将语义解析、执行引擎、可视化生成等功能模块独立开发和维护，便于系统的升级和扩展。优化查询执行计划可以提高数据检索的效率，减少响应时间。设计简洁直观的用户界面可以提高用户的使用体验，降低学习成本。

03

—

3.1 Text-to-SQL 数据集

Text-to-SQL 数据集的发展历程见证了该领域从简单到复杂、从单一到多元的演进过程。早期的数据集是单域的，专注于简单的、特定于上下文的查询。随着该领域的发展，出现了跨域数据集，具有跨多个域的不同架构和查询。多轮次对话数据集的引入增加了另一层复杂性，需要了解对话中的查询间依赖关系。最近的进展是多语言数据集的出现，这增加了处理多种语言查询的挑战。研究人员还在探索复杂的场景，例如模棱两可的查询、需要外部知识的查询以及涉及时间和空间推理的查询。这种演变反映了 Text-to-SQL 领域的进步和不断扩大的挑战。

表 1 全面概述了各种 Text-to-SQL 和 Text-to-Vis 数据集。

3.2 Text-to-Vis 数据集

Text-to-Vis 数据集的发展在一定程度上与 Text-to-SQL 数据集相似。早期阶段多为单域数据集，主要用于概念验证，如 Gao 等人开发的数据集通过让测试对象根据人工生成的可视化提出自然语言问题来构建，Kumar 等人则专注于犯罪数据相关的查询与可视化研究。

跨域数据集方面，nvBench 是目前最大且常用的基准之一，它从 Text-to-SQL 基准 Spider 合成而来，包含 25,750 对自然语言与可视化内容，支持跨域 Text-to-Vis 任务，为该领域的研究提供了丰富的数据资源1213。

多轮数据集的出现是为了满足生成准确可视化所需的大量信息需求。ChartDialogs 包含 3,284 个对话，专为使用 matplotlib 进行绘图而设计；Dial-NVBench 基于跨域数据集 nvBench 创建，旨在处理对话输入，通过多轮交互优化可视化输出，每个会话都包含足够信息以生成合适的可视化1415。

多语言数据集方面，虽然多数 Text-to-Vis 数据集以英语为主，但 CnvBench 的出现填补了中文资源在该领域的空白。它通过翻译和本地化英语 nvBench 数据集构建，确保自然语言查询在中文语境下的流畅性和地道性，有助于推动中文等非英语语言环境下的 Text-to-Vis 研究

3.3 数据集选择指南

在选择数据集时，需要综合考虑研究的具体需求和目标。对于跨域任务，Spider 和 nvBench 是理想的选择，它们丰富的跨域数据和多样化的查询类型能够有效测试模型在不同领域间的迁移能力和适应性。在多轮交互场景下，SParC、CoSQL、ChartDialogs 和 Dial-NVBench 则更为合适，这些数据集能够模拟真实对话情境，有助于模型学习处理查询之间的逻辑关系，从而更好地应对复杂的用户需求和交互场景。合理选择数据集对于准确评估模型性能、推动相关领域研究进展具有重要意义。

04

—

图 4. 文本到 SQL（上时间线）和文本到视觉（下时间线）方法随时间的演变。彩色矩形代表方法的不同阶段：传统（蓝色）、神经网络（绿色）和基础语言模型（橙色）。请注意，文本到视觉方法的发展通常比类似的文本到 SQL 方法晚，因此上下时间线不对齐。

4.1 Text-to-SQL 解析

4.1.1 传统阶段

在早期的 Text-to-SQL 研究中，规则基方法占据主导地位。TEAM 和 CHAT-80 等方法率先采用中间逻辑表示，将自然语言查询转换为独立于数据库模式的逻辑查询，再进一步转换为 SQL。然而，这类方法严重依赖手工制定的映射规则，灵活性较差。

在 2000 年代初期，更为先进的规则基方法应运而生。PRECISE 利用现成的自然语言解析器进行查询翻译，但由于其假设查询中的单词与数据库元素一一对应，覆盖范围有限。NaLIR、ATHENA 和 SQLizer 等方法则采用基于排名的策略，通过寻找多个候选映射并根据分数进行排序，NaLIR 还通过用户交互提高性能，ATHENA 借助领域特定本体获取更丰富的语义信息，SQLizer 使用迭代过程优化查询逻辑形式。尽管这些方法有所改进，但仍受限于手动定义规则，难以处理自然语言的多样性和灵活性。

4.1.2 神经网络阶段

神经网络和 Seq2Seq 模型的引入，为 Text-to-SQL 领域带来了巨大变革。Seq2Seq 模型通过编码器-解码器架构，能够学习自然语言与SQL之间的复杂映射关系。

在编码器方面，基于序列的编码器如 bi-LSTM 和 Transformer 发挥了重要作用。bi-LSTM 因其能捕捉序列双向依赖关系，在早期 Text-to-SQL 系统中广泛应用，如 TypeSQL 通过为问题中的单词分配类型并结合词嵌入和类型嵌入，增强了对关键词的编码能力。随着 Transformer 架构的兴起，其自注意力机制能够有效处理长距离依赖，被越来越多的模型采用。同时，基于图的编码器如 GNN 也逐渐崭露头角，适用于编码富含结构信息的数据库模式，Bogin 等人率先使用图表示数据库模式，后续研究不断改进，如 RAT-SQL 结合全局推理、结构化推理和关系感知自注意力，LGESQL 挖掘多跳关系属性和重要元路径等。

解码器方面，主要分为四类。整体式解码器受机器翻译启发，利用 RNN 顺序生成 SQL 命令，通过软注意力机制关注输入上下文，使用前一步解码器隐藏状态表示已生成的令牌。骨架式解码器先生成 SQL 查询模板，再填充具体细节，如 SQLNet 通过填充 SQL 草图中的槽位简化生成过程，HydraNet、IE-SQL 和 TypeSQL 等也采用类似的槽填充方法，COARSE2FINE 则通过两步粗到细生成过程处理复杂查询。语法式解码器利用 SQL 语法规则生成查询，如 Seq2Tree 采用自上而下解码策略生成符合 SQL 语法层次结构的逻辑形式，Seq2AST 和 SyntaxSQLNet 进一步改进，通过抽象语法树解码，SmBoP 采用自下而上解码机制确保生成语法有效的查询，Bridge 使用 LSTM 指针生成器结合多头注意力和复制机制灵活生成 SQL 查询。执行式解码器利用 SQL 执行器在解码过程中验证查询有效性，如 Wang 等人、Suhr 等人和 SQLova 等方法，通过检查部分生成的查询或候选查询的可执行性，确保最终生成的 SQL 查询在语法和语义上均正确。

4.1.3 基础语言模型阶段

基础语言模型（FMs）如BERT、T5 和 GPT 的发展显著提升了 NLP 任务性能，也推动了 Text-to-SQL 方法的进步。基于这些模型的方法分为 PLM-based 和 LLM-based 两类。

PLM-based 方法中，早期直接微调预训练语言模型，包括仅编码器模型（如BERT、RoBERTa）和编码器-解码器模型（如T5、BART）。仅编码器模型如 IRNet、BRIDGE 和 X-SQL 等通过对输入序列进行编码，将其转化为上下文敏感的表示，用于 Text-to-SQL 任务；编码器-解码器模型如 UnifiedSKG、Graphix-T5 和 RESDSQL 等则在Seq2Seq 任务中发挥优势，通过对文本输入生成文本输出，结合模型强大的语言理解能力和特定的解码策略，有效生成 SQL 查询。此外，TaBERT、Grappa 和 GAP 等方法通过额外的预训练，利用表格数据或生成问题-SQL对进行训练，增强了模型对表格数据的理解和生成SQL的能力。

LLM-based 方法是当前的研究热点，通过提示工程引导大语言模型生成 SQL 查询。零样本提示方法如 C3 基于 ChatGPT ，通过精心设计的提示组件，在没有额外训练示例的情况下实现 Text-to-SQL 转换；ZERoNL2SQL 结合PLM 和 LLM 的优势，先生成 SQL 草图再填充细节。少样本提示方法如 DIN-SQL 通过分解 SQL 生成任务为多个子问题，利用 LLM 的上下文学习和思维链推理能力提升性能；Divide-and-Prompt范 式将主任务分解为简单子任务，通过思维链方法增强 LLM 推理能力；Gu 等人的方法引导 LLM 生成结构化 SQL 查询并填充具体值；Nan 等人探索不同提示设计策略，Tai 等人研究增强 LLM 推理能力的提示方法，SQL-PaLM 基于 PaLM-2 采用执行式自一致性提示方法，Guo 等人提出检索增强提示方法，通过迭代优化生成准确的 SQL 查询。

4.2 Text-to-Vis 解析

4.2.1 传统阶段

早期 Text-to-Vis 方法主要致力于通过不同的解析方法、关键字和语法规则来提高准确性。从2015年到2020年期间，诸多研究探索了各种语义解析技术，如 DataTone、Eviza、Evizeon、VisFlow、FlowSense、Orko、Valletto 和 InChorus等。DataTone 通过管理自然语言接口中的歧义性，为后续研究提供了基础。2020年至2021年，部分工作基于 DataTone的方法部署了更结构化的 VQL 模板，ADVISor 开发了自动生成带注释可视化的管道，NL4DV 提供了将自然语言查询转换为可视化推荐的 Python 包，这些工具和方法在一定程度上提高了 Text-to-Vis 的准确性，但整体仍处于探索阶段，主要关注如何更好地将自然语言转换为可视化规范或提供可视化建议。

4.2.2 神经网络阶段

深度学习的发展促使 Text-to-Vis 方法转向基于编码器 - 解码器的模型。编码器在处理输入数据时发挥关键作用，序列编码器（如LSTM和Transformer）擅长处理长距离依赖，而图编码器则能捕捉非线性关系，更好地表示复杂数据结构。Seq2Vis 在 Data2Vis 基础上改进，采用 seq2seq 模型结合预训练全局词嵌入和 LSTM 编码器、解码器及注意力机制，实现自然语言到可视化的转换；ncNet 则采用 Transformer 架构，通过多自注意力设计提高效率，将来自不同源的令牌化输入进行处理，生成可视化代码。RGVisNet 结合序列和图编码，通过检索生成方法，利用 LSTM 编码器处理自然语言查询，GNN 编码器处理候选 VQL，再通过 Transformer 编码器确定最终输出，同时引入语法感知解码器，根据 VQL 严格语法结构指导代码生成，优化了可视化查询语言（VQL）的生成过程。

4.2.3 基础语言模型阶段

基础语言模型（FMs），尤其是大语言模型（ LLMs ）如 CodeX 和 GPT-3 的出现，为 Text-to-Vis 带来了新的思路。零样本提示方法允许直接使用未训练的提示引导 LLMs 从文本查询生成可视化代码。Mitra等人通过提示CodeX开发了原型 Web应用，Chat2VIS 选择 CodeX 并加入代码提示组件，直接输出可视化规范代码。少样本提示方法则利用有限示例引导 LLMs 生成期望输出，NL2INTERFACE 通过准备特定格式的示例，将自然语言查询转换为 VQL 格式，利用 CodeX 进行上下文学习预测 VQL，进而生成交互式可视化界面，为用户提供了更便捷的可视化生成方式，推动了 Text-to-Vis 领域的发展。

4.3 方法选择建议

在选择 Text-to-SQL 和 Text-to-Vis 方法时，需要综合考量多个因素。传统规则基方法具有可解释性强的优势，适用于对解释性要求较高且数据和查询相对简单的场景，如在一些小型、稳定且查询模式固定的数据库应用中，规则基方法能够准确地将预先定义的自然语言模式转换为 SQL 查询或可视化规范。但因其严重依赖手动定义规则，面对复杂多变的自然语言和多样化的查询需求时适应性较差。

神经网络方法在处理复杂数据和多样化查询方面表现出色，其强大的学习能力能够捕捉数据中的复杂模式和关系。然而，神经网络模型通常需要大量的训练数据来学习有效的表示，并且计算成本较高。在数据资源丰富、计算资源充足且对模型性能有较高要求的场景下，如大规模数据分析和复杂可视化生成任务，神经网络方法是较好的选择。

基础语言模型（PLM和LLM）方法在性能和泛化能力上展现出巨大潜力，能够处理各种复杂任务且具有较强的语言理解能力。但 PLM 方法解释性较差，LLM 方法则需要精心设计提示工程来引导模型生成准确结果。在实际应用中，如果追求高性能和良好的泛化能力，并且有能力进行提示工程设计和调优，基础语言模型方法是值得考虑的，但需要权衡其可解释性和工程成本。总之，应根据具体任务需求、数据特点和资源限制，谨慎权衡不同方法的优缺点，选择最适合的方法。

05

—

表 3 评估指标的比较分析

5.1 Text-to-SQL 指标

5.1.1 基于字符串的匹配

基于字符串的匹配指标在评估 Text-to-SQL 性能中占据重要地位。精确字符串匹配是最为严格的评估方式，它要求生成的SQL 查询与目标查询在字符层面必须完全一致。这种方法的优势在于其简单直接，易于实施，能够清晰地判断生成的查询是否与预期的查询完全相同，从而给出明确的评估结果。然而，其局限性也十分明显，在实际应用中，自然语言的表达方式丰富多样，可能存在多种语义等价但语法略有差异的查询方式。精确字符串匹配无法识别这些语义等价的变体，可能会将一些实际上正确但语法稍有不同的查询判定为错误，从而导致评估结果不够全面和准确，无法真实反映模型对自然语言的理解和转换能力。

模糊匹配则提供了一种更为灵活的评估方式，它允许在一定程度上进行近似匹配。通常通过计算字符串之间的相似度，如采用BLEU等算法来分配分数，以此衡量生成的查询与目标查询之间的接近程度。这种方法的优点在于能够考虑到自然语言表达的多样性，对于一些语法上稍有差异但语义相近的查询能够给予一定的分数，从而更全面地评估模型的性能。但是，模糊匹配也存在问题，由于其过于注重字符串的相似性，可能会对一些明显的错误过于宽容，将一些实际上存在严重逻辑错误但在字符串上与目标查询有一定相似度的查询误判为正确，从而影响评估的准确性。

组件匹配则从更细致的角度对预测的 SQL 查询进行评估，它聚焦于查询的单个组件或片段，如关键词、表名、列名、操作符等。通过逐一检查这些组件的正确性，确保每个部分都准确无误，从而更全面地判断整个查询的质量。这种评估方式能够更精准地定位查询中存在的问题，避免因整体匹配而忽略局部错误的情况。然而，组件匹配也需要耗费更多的计算资源和时间，因为需要对每个组件进行详细分析，并且在某些情况下，组件的正确性判断可能会受到上下文和语义理解的影响，增加了评估的复杂性。

5.1.2 基于执行的匹配

基于执行的匹配指标从查询执行结果的角度对 SQL 查询的正确性进行评估，为评估提供了新的视角。执行匹配的核心思想是，只要生成的查询执行结果与参考查询的执行结果一致，就认为该查询是正确的，而不考虑其语法形式是否完全相同。这种评估方式的优势在于，它能够有效处理那些语法不同但语义等价的查询，避免了因语法差异而导致的误判。在实际应用中，对于复杂的数据库查询，可能存在多种语法结构都能得到相同结果的情况，执行匹配能够准确识别这些情况，从而更真实地反映模型生成的查询在实际数据操作中的有效性。然而，执行匹配也并非完美无缺，它假设查询执行结果的一致性完全等同于查询的正确性，但在某些情况下，即使结果相同，查询的执行效率、资源消耗等方面可能存在差异，而执行匹配无法对这些差异进行评估。

测试套件匹配进一步提高了评估的严格性和可靠性。它通过创建多个知识库变体，对预测查询和参考查询在不同变体中的执行结果进行比较。只有当预测查询在所有变体中的执行结果都与参考查询一致时，才判定该查询为正确。这种方法能够更深入地挖掘查询可能存在的潜在问题，避免因单一知识库环境下的巧合而导致的误判。例如，在不同的数据分布或数据库结构变化的情况下，测试套件匹配能够确保模型生成的查询具有更强的鲁棒性和适应性。但是，测试套件匹配的实施难度较大，需要构建和管理多个知识库变体，计算成本较高，并且对于一些复杂的数据库系统，创建全面且有效的测试套件本身就是一项具有挑战性的任务。

5.1.3 人工评估

在某些复杂情况下，自动评估指标可能无法完全准确地判断 SQL 查询的正确性，此时人工评估就发挥着不可或缺的作用。在 Text-to-SQL 任务中，人工评估主要用于辨别那些执行结果不同但在实际场景中均可能有效的查询之间的语义等价性。例如，当查询结果落在一个合理的预定义区间内，但自动评估指标难以确定其是否真正符合用户意图时，就需要人工判断。这种评估方式的优点在于能够充分利用人类的语义理解和领域知识，更准确地判断查询在实际应用中的有效性。然而，人工评估也存在一些局限性，它是主观的且耗时费力，需要专业人员进行判断，难以大规模应用于模型的训练和评估过程。而且不同评估人员的判断标准可能存在差异，导致评估结果的一致性和可靠性受到影响。

5.2 Text-to-Vis 指标

5.2.1 基于字符串的匹配

在 Text-to-Vis 领域，基于字符串的匹配同样是重要的评估手段之一。精确字符串匹配，在该领域常被称为总体准确性，它直接比较预测的可视化查询与真实查询之间的匹配程度。这种评估方式能够直观地反映模型在生成可视化查询时的准确性，通过精确对比两个字符串是否一致，判断模型是否准确地将自然语言转换为了正确的可视化规范。如果预测的可视化查询与真实查询完全相同，那么模型在该指标上表现良好，说明其能够准确理解自然语言并生成相应的可视化指令。然而，与 Text-to-SQL 中的精确字符串匹配类似，它也存在过于严格的问题，可能忽略了一些虽然语法不完全相同但在语义上能够实现相同可视化效果的查询，从而对模型的评估不够全面。

组件匹配在 Text-to-Vis 中也具有重要意义，它关注预测可视化规范的单个组件。例如，在生成图表的可视化规范时，组件匹配会检查图表类型、坐标轴标签、数据系列等各个组成部分是否正确。通过确保每个组件的准确性，能够提高整个可视化的质量和准确性。这种评估方式有助于发现模型在生成可视化时可能出现的局部错误，从而有针对性地进行改进。但是，同样地，组件匹配可能会面临组件之间相互依赖关系复杂的问题，某个组件的正确性可能需要结合其他组件以及上下文信息来综合判断，这增加了评估的复杂性。

5.2.2 人工评估

人工评估在 Text-to-Vis 中主要通过用户研究来实现，其目的是评估模型在实际应用中的有效性、用户友好性和效率。用户研究收集用户对系统生成可视化的反馈，包括系统速度、易用性、用户对可视化效果的偏好以及改进建议等方面。通过用户的直接反馈，可以深入了解模型生成的可视化在实际使用场景中的表现，是否能够满足用户的需求和期望，以及是否易于用户理解和操作。这种评估方式能够从用户体验的角度全面评估模型的性能，对于优化模型以提高用户满意度具有重要指导意义。然而，人工评估受限于样本数量和评估环境的多样性，不同用户的背景和需求差异可能导致评估结果存在一定的偏差，并且组织和实施用户研究也需要耗费大量的时间和资源。

5.3 评估指标选择指南

表4 Text-to-SQL 和Text-to-Vis 的比较

在选择评估指标时，应根据具体的需求和场景综合考虑。对于评估 Text-to-SQL 和 Text-to-Vis 模型的语法正确性，基于字符串的指标是一个重要的选择。精确字符串匹配能够提供最严格的语法检查，确保生成的查询或可视化规范在形式上与目标一致；模糊匹配和组件匹配则可从不同角度补充对语法结构的评估，捕捉可能存在的细微语法错误或部分组件的不匹配情况。当关注语义等价性时，基于执行的指标在 Text-to-SQL 中尤为关键，它能够通过比较查询执行结果判断模型是否真正理解了自然语言的语义并生成了等价的查询；在 Text-to-Vis 中，虽然执行结果的概念相对较难直接定义，但可以通过检查可视化效果是否符合预期语义来间接应用类似的思想。而人工评估则可作为一种补充手段，用于捕捉自动指标可能遗漏的细微差别，尤其是在涉及语义理解、用户体验等复杂方面，人工评估能够提供更深入、全面的见解。综合运用多种评估指标，能够更全面、准确地评估自然语言接口在表格数据查询与可视化方面的性能，为模型的改进和优化提供有力的依据。

06

—

表5 Text-to-SQL 和Text-to-Vis 研究的比较

6.1 推进神经网络模型与方法

尽管神经网络在 Text-to-SQL 领域已取得显著进展，但仍有很大的提升空间。当前，多数模型在处理复杂查询、多轮交互以及特定领域问题时存在不足。例如，面对涉及多个条件、嵌套结构或领域专业术语的复杂查询时，模型可能生成不准确或不完整的SQL语句。未来需要持续优化神经网络架构，如探索更深层次的网络结构，增强模型对复杂语义和语法结构的理解能力。先进的注意力机制可进一步提高模型对输入文本不同部分的关注度，从而更精准地捕捉关键信息。混合模型结合规则基逻辑与神经网络的优势，有望在处理结构化数据时兼具灵活性和准确性。

在 Text-to-Vis 领域，神经网络模型的发展相对滞后，面临着生成多样化、准确且美观可视化的挑战。模型需要根据用户意图生成不同类型、风格和布局的可视化，同时确保数据的准确呈现。例如，在生成数据图表时，能够根据数据特点和用户需求选择最合适的图表类型（如柱状图、折线图、饼图等），并优化图表的样式和布局，使其更具可读性和视觉吸引力。利用外部知识图谱等知识库可以为模型提供更多的背景信息和领域知识，帮助模型更好地理解数据和用户需求，从而生成更符合实际场景的可视化。迁移学习技术可使模型从已有的数据和任务中学习通用的知识和模式，快速适应新的可视化任务，减少对大量标注数据的依赖。多模态策略则能整合文本、图像等多种信息源，为用户提供更丰富、直观的可视化体验，如通过图像识别技术提取数据中的关键信息并与文本信息相结合，生成更全面、生动的可视化结果。

6.2 挖掘大语言模型潜力

大语言模型（ LLMs ）如 ChatGPT 在自然语言处理领域展现出了强大的能力，但在数据库自然语言接口中的应用尚处于起步阶段。目前，虽然已有研究尝试将 LLMs 集成到 Text-to-SQL 和 Text-to-Vis 系统中，但仍未充分发挥其潜力。LLMs 在理解复杂用户查询、捕捉上下文信息和进行泛化推理方面具有独特优势，能够更好地处理模糊、隐含或具有多义性的自然语言表述。

未来研究应致力于根据查询和可视化任务的特定需求定制 LLMs 。一种途径是在特定领域数据集上对 LLMs 进行微调，使其熟悉特定领域的术语、数据结构和查询模式，从而提高在该领域的性能和准确性。例如，在医疗领域，通过在大量医疗记录和相关查询数据集上训练 LLMs ，使其能够准确理解和处理医疗数据查询，生成符合医疗专业需求的可视化报告。将 LLMs 与现有架构有机结合，也是发挥其潜力的重要方向。例如，将 LLMs 与传统的数据库管理系统、可视化工具或神经网络模型相结合，实现优势互补，构建更强大、高效的自然语言接口。开发新颖的提示策略对于引导 LLMs 生成高质量的 SQL 查询和可视化规范至关重要。通过精心设计提示模板、示例和引导语，帮助 LLMs 更好地理解任务要求，减少错误生成，提高生成结果的可靠性和可用性。

6.3 探索先进学习方法

传统的监督学习方法在自然语言接口领域面临着对大量标记数据的依赖问题，这限制了模型的发展和应用。获取高质量的标记数据往往需要耗费大量的人力、物力和时间，尤其在复杂的表格数据查询和可视化任务中，标注工作更加繁琐且容易出错。半监督学习方法提供了一种有潜力的解决方案，它能够利用未标记数据中的信息来增强模型的学习能力。例如，通过在大量未标记的表格数据上进行预训练，模型可以学习到数据的一般结构和模式，然后再结合少量标记数据进行微调，从而提高模型在特定任务上的性能。弱监督学习方法则利用弱监督信号，如部分标记数据、启发式规则或隐含的反馈信息，来指导模型学习。例如，利用用户与系统的交互日志作为弱监督信号，尽管这些交互可能没有明确的标记，但可以从中挖掘出用户的意图和对结果的满意度，从而为模型提供有价值的学习信息。

参数高效的训练方法，如 LoRA（Low-Rank Adaptation），在减少计算资源需求和提高训练效率方面显示出优势。LoRA 通过引入低秩矩阵来近似模型参数的更新，在不改变原始模型结构的情况下，显著减少了可训练参数的数量，从而降低了计算成本和存储需求。在资源有限的环境中，如移动设备或边缘计算场景下，这种方法能够使模型更高效地进行训练和部署，同时保持较好的性能。将大预训练模型与参数高效技术相结合，有望在数据效率和计算效率之间找到平衡，为语义解析任务提供更有效的解决方案。例如，先利用大规模语料库训练一个通用的大语言模型，然后通过参数高效的微调方法使其适应特定的表格数据查询和可视化任务，既能利用大模型的强大表示能力，又能快速适应新任务，减少对大量特定任务数据的需求。

6.4 构建大规模多样数据集

高质量、多样化的数据集是推动自然语言接口发展的关键因素之一。目前的数据集虽然在一定程度上满足了研究需求，但仍存在规模不足和多样性欠缺的问题。更大规模的数据集能够为模型提供更丰富的学习资源，有助于提高模型的泛化能力，使其能够更好地处理各种不同类型的用户查询。例如，涵盖更多领域、更多数据模式和更复杂查询场景的数据集，可以让模型学习到更广泛的语言表达方式和数据处理策略。

多样性方面，不仅要包括不同领域（如金融、医疗、教育等）的数据，还应涵盖不同数据结构（如不同列数、行数、数据类型的表格）和多样化的查询类型（如单表查询、多表关联查询、聚合查询、嵌套查询等）。此外，多语言数据集的建设也至关重要，当前数据集以英语为主，限制了自然语言接口在全球范围内的应用。开发更多涵盖不同语言的数据集，能够促进多语言环境下的研究和应用，使自然语言接口能够服务于更广泛的用户群体，打破语言障碍，实现真正的全球化数据交互。通过构建大规模多样数据集，可以为模型训练提供更全面、真实的模拟环境，从而推动自然语言接口技术在实际应用中的性能提升和普及。

6.5 增强鲁棒性与泛化性

随着自然语言接口在各种应用中的广泛应用，其鲁棒性和泛化性成为关键问题。在鲁棒性方面，模型需要能够抵御对抗攻击和处理分布外（out-of-distribution）的扰动。对抗攻击可能通过故意构造的恶意输入来干扰模型的正常运行，使其产生错误的输出。例如，在 Text-to-SQL 任务中，攻击者可能对输入的自然语言查询进行微小但有针对性的修改，导致模型生成错误的SQL语句，从而影响数据的安全性和准确性。分布外扰动则涉及到模型在遇到与训练数据分布不同的输入时的表现。实际应用中，用户的输入可能具有很大的多样性，模型必须能够处理这些未曾见过的输入情况，而不出现性能大幅下降或错误输出。

泛化性包括组合泛化和领域泛化能力。组合泛化要求模型能够理解和组合已知概念，以处理从未见过的复合查询。例如，当模型学会了处理单个条件的查询和数据聚合操作后，应能够处理将多个条件组合并进行聚合操作的新查询。领域泛化则确保模型在不同领域之间能够有效迁移，即使面对新领域的数据和查询，也能利用已有的知识和经验进行准确处理。例如，一个在商业领域训练良好的模型，在应用于医疗领域时，应能够快速适应医疗数据的特点和查询需求，而无需大量重新训练。提高模型的鲁棒性和泛化性，需要从模型架构设计、训练方法优化、数据集增强等多方面入手，确保自然语言接口在复杂多变的实际应用场景中稳定可靠地运行。

6.6 开创大语言模型时代的先进应用

大语言模型时代为自然语言接口在数据库应用中的创新提供了新机遇。多模态系统是一个重要的发展方向，它将大语言模型与其他模态（如视觉、听觉等）相结合，实现更丰富、自然的人机交互。例如，用户可以通过语音输入查询指令，并结合图像或手势等方式提供额外信息，系统则能够综合理解这些多模态信息，生成更准确、直观的查询结果或可视化展示。这种多模态交互方式能够满足不同用户的需求和偏好，提供更便捷、高效的用户体验，尤其适用于移动设备和智能终端等场景。

集成系统的发展趋势是将自然语言接口与其他功能模块集成，构建综合性的智能系统。例如，与文档集成系统的发展趋势是将自然语言接口与其他功能模块集成，构建综合性的智能系统。例如，与文档摘要功能相结合，用户在查询表格数据时，系统不仅能返回准确的数据结果，还能提供相关数据的简要概括和分析，帮助用户快速理解数据的关键信息。与推荐系统集成，可根据用户的查询历史和偏好，为用户推荐相关的数据查询或可视化方案，提升用户获取有价值信息的效率。与聊天机器人功能融合，用户能够以对话的方式进行连续的查询和探索，系统则可以在对话过程中不断理解用户意图，提供更个性化、深入的服务，形成一个连贯的、以自然语言为核心的交互流程，满足用户在复杂数据处理场景下的多样化需求。

用户中心设计在大语言模型时代尤为重要。未来的应用应聚焦于提升用户体验，提供直观、易用的界面，使非技术用户也能轻松与数据库进行交互。例如，设计简洁明了的交互界面，采用自然语言提示和引导，让用户能够直观地表达自己的需求。提供交互式反馈机制，实时向用户展示系统对其查询的理解和处理进度，让用户感受到系统的响应和关注，增强用户与系统之间的互动性。个性化响应也是关键，系统应根据不同用户的特点和使用习惯，提供定制化的查询结果和可视化展示，满足用户的特定需求，提高用户对系统的满意度和信任度。通过注重用户中心设计，能够使自然语言接口更好地融入人们的日常工作和生活，推动数据交互方式的变革。

07

—

在本次深入的研究中，我们对自然语言接口在表格数据查询与可视化领域进行了全面的剖析。从其发展的历程来看，技术不断演进，从早期的简单规则基方法逐渐发展到如今强大的神经网络和大语言模型驱动的解决方案。数据集的丰富多样为模型的训练和评估提供了坚实的基础，不同类型的数据集在各个发展阶段发挥着关键作用，推动着模型不断适应更复杂的任务需求。方法的创新是该领域发展的核心动力，从传统的手工规则制定到自动化的神经网络学习，再到利用大语言模型的强大能力，每一步都显著提升了自然语言与表格数据交互的效率和准确性。评估指标则为衡量这些方法的优劣提供了客观的标准，帮助我们准确把握模型的性能表现。系统架构的多样化则满足了不同用户群体在不同场景下的需求，从基础用户到专业用户，都能找到适合自己的自然语言接口解决方案。

展望未来，该领域充满了无限的可能性和潜力。推进神经网络模型与方法将进一步提高模型处理复杂任务的能力，挖掘大语言模型潜力有望开启新的应用模式，探索先进学习方法将解决数据依赖和效率问题，构建大规模多样数据集将增强模型的泛化能力，提高鲁棒性与泛化性可确保系统在实际应用中的可靠性，而开创先进应用则将极大地提升用户体验，推动自然语言接口在表格数据查询与可视化领域发挥更大的价值，为各行业的数据驱动决策提供更强大、便捷的工具。随着技术的不断进步，我们期待自然语言接口能够在更多领域得到广泛应用，真正实现人与数据的无缝交互，释放数据的巨大潜力。

论文地址：

来源：中国人工智能学会CAAI