大型语言模型（LLMs）在自然语言处理（NLP）领域促进了重大进展，但它们也面临着诸如幻觉和需要特定领域知识等挑战。为了缓解这些问题，最近的一些方法将从外部资源检索到的信息与LLMs相结合，显著提高了它们在NLP任务中的表现，但是缺乏对检索增强型语言模型（RALM）全面概述。

因此，对包括检索增强生成（RAG）和检索增强理解（RAU），提供了对它们的范式、演变、分类和应用的深入、全面综述。

图1：RALM研究总体概述

一、RALM是什么？

顺序单次交互：检索器找到与输入最相关的文档，然后语言模型接收这些文档和输入，产生输出。

顺序多次交互：在长对话生成和解决多跳问题时，可能需要在语言模型和检索器之间进行多次交互。

并行交互：检索器和语言模型独立工作，输出通过加权插值确定。

图2：检索器与语言模型交互的三种不同方式

图3：三种交互类型的路线图。紫色区域代表顺序交互 RALM 模型的工作，红色框表示顺序多次交互 RALM 模型的工作，黄色区域指示并行交互RALM模型的工作。​

二、检索器（Retriever）

检索增强语言模型（RALM）中检索器（Retriever）的作用和分类：

稀疏检索（Sparse Retrieval）：依赖于简单的术语匹配，如TF-IDF和BM25算法，适用于基于知识的检索任务。

密集检索（Dense Retrieval）：使用深度学习技术，通过双编码器架构生成密集的嵌入向量，以提高检索的准确性。

互联网检索（Internet Retrieval）：利用互联网搜索技术，允许非专业人士使用RALM，适合开放领域和泛化。

混合检索（Hybrid Retrieval）：结合不同检索技术的优势，以提高RALM架构的有效性和鲁棒性。

RALM工作中检索器的总结

三、语言模型（Language Model, LM）

检索增强语言模型（RALM）中语言模型（Language Model, LM）的作用和分类：

自编码器语言模型（AutoEncoder Language Model）：这类模型通过无监督学习来捕捉输入文本的关键特征，常用于理解任务。

自回归语言模型（AutoRegressive Language Model）：这些模型旨在预测下一个词，基于前面的词，适用于生成任务，如对话生成和机器翻译。

编码器-解码器语言模型（Encoder-Decoder Language Model）：这类模型使用编码器-解码器架构来处理文本，适用于需要同时理解源文本和生成目标文本的任务。

RALM方法中的语言模型总结​

四、增强组件（RALM Enhancement ）

如何通过增强组件来提升检索增强语言模型（RALM）的输出质量？

RALM增强方法的分类​

五、数据源（Data Sources）

检索增强语言模型（RALM）中使用的常见数据源，并根据数据的结构化程度对它们进行了分类：

六、应用（Applications）

检索增强语言模型（RALM）在自然语言处理（NLP）中的各种应用：

RALM应用的分类

七、评估方法与基准（Evaluation）

检索增强语言模型（RALM）的评估方法和基准：

RALM中评估方法的总结

八、局限性与未来展望（Evaluation）

检索增强语言模型（RALM）目前面临的一些限制：

当前RALM模型的局限性和未来展望的总结

RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

 本文转载自​​，作者：