将外部数据整合到LLMs中的技术，如检索增强生成（RAG）和微调，得到广泛应用，但在不同专业领域有效部署数据增强LLMs面临着重大挑战：

数据增强LLM应用中不同查询层次的主要技术总结​

微软亚洲研究院（MSRA）提出了一种 RAG任务分类方法 ，根据所需的外部数据类型和任务的主要 焦点 ， 将用户查询分为四个层次 ：

四个层次查询的主要焦点​

同时，也将外部数据整合到LLMs中的形式归为三种： 上下文、小型模型和微调 ，强调了它们各自的优势、局限性以及它们适合解决的问题类型。

将特定领域数据注入到大型语言模型（LLM）的三种方式： a) 根据查询提取部分领域数据作为LLM的上下文输入，b) 用特定领域数据训练一个较小的模型，然后指导后续输入到LLM的外部信息的整合，以及 c) 直接使用外部领域知识对通用的大型语言模型进行微调，使其成为领域专家模型。

定义：

提供事实信息的常见数据集分层

挑战：

解决方案：

三种查询-文档对齐类型

关键点：

定义：

挑战：

解决方案：

关键点：

推理查询的示例

定义：

挑战与解决方案

Prompt优化成本：优化提示（Prompt）的过程耗时且计算量大。

有限的可解释性：LLMs对提示的反应不透明，难以一致理解和验证LLMs对不同提示的反应。

L4：隐式推理查询

定义：

领域内数据：可能包括历史问答记录或人工生成的数据。

预备知识：可能包括全面的公理系统或中间结论，如法律代码或数学证明。

挑战与解决方案

逻辑检索：需要更复杂的检索算法来识别与查询逻辑上相关的文本段。

数据不足：外部数据可能没有明确包含与当前查询相关的指导或答案。

离线学习

STaR和LXS：使用LLM生成推理理由。

GL、LEAP、RICP：通过错误识别和原则概括来改进任务。

上下文学习 (ICL)

OpenICL：探索不同的传统方法对ICL效果的影响。

Auto-CoT：通过聚类示例来构建更好的支持学习过程的示例。

微调

指令调整：使用监督微调来增强LLMs在特定领域的能力。

适配器调整、前缀调整、提示调整：通过优化输入前的可训练向量来提高LLMs的性能。​

最后：数据增强LLM应用中查询层次的总结

本文转载自​ ​PaperAgent​ ​