如何优化大型语言模型（LLM）的分块策略

摘要：大型语言模型（LLM）通过其生成类似人类水平的文本、解答复杂问题的能力以及对大量信息进行分析所展现出的惊人准确性，已经改变了自然语言处理（NLP）领域。从客户服务到医学研究，LLM在处理各种查询并生成详细回复的能力使它们在许多领域都具有不可估量的价值。然而，随

本文探讨了LLM分块的不同方法，包括固定大小分块、递归分块、语义分块和代理分块，每种方法都各有独特的优势。

大型语言模型（LLM）通过其生成类似人类水平的文本、解答复杂问题的能力以及对大量信息进行分析所展现出的惊人准确性，已经改变了自然语言处理（NLP）领域。从客户服务到医学研究，LLM在处理各种查询并生成详细回复的能力使它们在许多领域都具有不可估量的价值。然而，随着LLM的规模扩大以处理不断增长的数据，它们在管理长文档和高效检索最相关信息方面面临着挑战。

尽管LLM擅长处理和生成类似人类的文本，但它们的“场景窗口”相对有限。这意味着它们一次只能在内存中保留有限的信息，这使得管理非常长的文档面临重重困难。此外，LLM还难以从大型数据集中快速找到最相关的信息。更重要的是，LLM是在固定数据集上训练的，因此随着新信息的不断涌现，它们可能会逐渐过时。为了保持准确性和实用性，需要定期更新数据。

检索增强生成（RAG）解决了这些挑战。在RAG工作流中有许多组件，例如查询、嵌入、索引等等。以下对LLM分块策略进行探讨。

通过将文档分成更小的、有意义的部分，并将它们嵌入到向量数据库中，RAG系统可以搜索和检索每个查询最相关的块。这种方法使LLM能够专注于特定的信息，从而提高响应的准确性和效率。

本文将更深入地探讨LLM不同的分块方法及其策略，以及它们在为现实世界的应用程序优化LLM中的作用。

分块是将大数据源拆分成更小的、可管理的部分或“块”。这些块存储在向量数据库中，允许基于相似性的快速有效搜索。当用户提交查询时，向量数据库会找到最相关的块，并将它们发送给LLM。这样，这些模型可以只关注最相关的信息，使其响应更快、更准确。

分块可以帮助语言模型更顺利地处理大型数据集，并通过缩小需要查看的数据范围来提供精确的答案。

对于需要快速、精确答案的应用程序（例如客户支持或法律文档搜索），分块是提高性能和可靠性的基本策略。

以下是一些在RAG中使用的主要分块策略：

固定大小分块递归分块语义分块代理分块

现在深入探讨各种分块策略的细节。

固定大小分块涉及将数据分成大小相同的部分，从而更容易处理大型文档。

有时，开发人员会在各个块之间添加少许重叠部分，也就是让一个段落的小部分内容在下一个段落的开头重复出现。这种重叠的方法有助于模型在每个块的边界上保留场景，确保关键信息不会在边缘丢失。这种策略对于需要连续信息流的任务特别有用，因为它使模型能够更准确地解释文本，并理解段落之间的关系，从而产生更连贯和场景感知的响应。

上图是固定大小分块的完美示例，其中每个块都由一种独特的颜色表示。绿色部分表示块之间的重叠部分，确保模型在处理下一个分块时能够访问前一个分块的相关场景信息。

这种重叠策略提高了模型处理和理解全文的能力，从而在摘要或翻译等任务中获得更好的性能，在这些任务中，维护跨块边界的信息流至关重要。

现在使用一个代码示例重新创建这个示例。将使用LangChain来实现固定大小分块。

Python 1 from langchain.text_splitter import RecursiveCharacterTextSplitter23 # Function to split text with fixed-size chunks and overlap4 def split_text_with_overlap(text, chunk_size, overlap_size):5 # Create a text splitter with overlap6 text_splitter = RecursiveCharacterTextSplitter(7 chunk_size=chunk_size, 8 chunk_overlap=overlap_size9 )10 11 # Split the text12 chunks = text_splitter.split_text(text)13 14 return chunks1516 # Example text17 text = """Artificial Intelligence (AI) simulates human intelligence in machines for tasks like visual perception, speech recognition, and language translation. It has evolved from rule-based systems to data-driven models, enhancing performance through machine learning and deep learning."""1819 # Define chunk size and overlap size20 chunk_size = 80 # 80 characters per chunk21 overlap_size = 10 # 10 characters overlap between chunks2223 # Get the chunks with overlap24 chunks = split_text_with_overlap(text, chunk_size, overlap_size)2526 # Print the chunks and overlaps27 for i in range(len(chunks)):28 print(f"Chunk {i+1}:")29 print(chunks[i]) # Print the chunk itself30 31 # If there's a next chunk, print the overlap between current and next chunk32 if i

递归分块是一种高效的方法，它通过将文本反复拆分为更小的子块，从而系统地将庞大的文本内容拆分为更易于管理的部分。这种方法在处理复杂或具有层次结构的文档时特别有效，能够确保每个拆分后的部分都保持一致性且场景完整。该过程会持续进行，直至文本被拆分成适合模型进行有效处理的大小。

以需要由具有有限场景窗口的语言模型处理的一个冗长文档为例，递归分块方法会首先将该文档拆分为几个主要部分。若这些部分仍然过于庞大，该方法会进一步将其细分为更小的子部分，并持续这一过程，直至每个块都符合模型的处理能力。这种层次分明的拆分方式不仅保留了原始文档的逻辑流程和场景，而且使LLM能够更有效地处理长文本。

在实际应用中，递归分块可以根据文档的结构和任务的特定需求采用多种策略来实现，根据标题、段落或句子进行拆分。