文章指出，传统RAG通过向量检索排序召回与Query相关的片段，通过prompt生成回复，LLMs与检索器之间存在语义鸿沟（LLMs难以有效利用检索器提供的信息）。下面来看看这篇文章引入检索信息增强RAG性能的trick。

RAG和的比较。采用可训练的-Former来弥合检索器和LLM之间的语义鸿沟

方法

模型架构

检索特征提取

这样存在一个问题，这些表示不能直接使用，因为单一的表示无法捕捉到用于LLM生成的交互特征。

因此，为了适应各种检索器，需要将 不同空间中的表示转换为统一格式的特征 。提出三种相似计算方法来对这些表示进行对齐，从而得到检索特征。

检索感知提示

步骤：

这一模块主要是将检索信息作为额外的知识输入，增强了 LLM 对文档的理解能力。

训练策略

主要是训练-Former 和 LLM 的对齐训练。

实验

参考文献

原文链接：​ ​​ ​