大型语言模型（LLMs）在自然语言处理任务中取得了显著的成功。然而，LLMs在处理需要超出其预训练内容的专业知识的查询时，往往难以提供准确的回答。为了克服这一限制，研究者提出了将外部知识源，如知识图谱（KGs），与LLMs集成的方法。KGs提供了结构化、明确且可解释的知识表示，是克服LLMs内在限制的协同方法。尽管LLMs与KGs的融合在近期研究中引起了广泛关注，但现有的方法往往仅依赖于LLM对问题的分析，忽视了KGs中丰富的认知潜力。

一个LLM与KG集成的例子。 观察到的实体以白色显示，而非观察到的实体以灰色显示。代理选择用于回答问题的实体以黄色高亮显示。

ODA（Observation-Driven Agent） 框架是为了解决涉及KGs的任务而设计的。它通过全局观察来增强KG的推理能力，并采用观察、行动和反思的循环范式。ODA的关键模块包括：

观察模块 ：设计用于检查全局KG知识并引导与KG环境的自主推理过程。通过递归进度避免三元组数量呈指数级增长的问题。

行动模块 ：基于观察子图和ODA记忆，战略性地选择最适合执行的行动，确保准确回答问题。

反思模块 ：利用观察子图和从行动步骤获得的知识，提供反馈并更新记忆，为下一次迭代提供连续的推理。

ODA（Observation-Driven Agent）框架

ODA的工作流程示例。 在这个例子中，ODA从实体Johann Wolfgang von Goethe开始观察。在左侧的第一次迭代中，选择了Johann Wolfgang von Goethe的邻居探索行动，并将反思得到的三元组（Johann Wolfgang von Goethe, unmarried Partner, Lili Schöneman）存储在记忆中。随后，对Lili Schöneman的观察引导ODA选择邻居探索行动，并导致三元组（Lili Schöneman, place of birth, Offenbach am Main）被保留在记忆中，如右侧所示。一旦积累了足够的知识，ODA触发回答行动，正确识别出Offenbach am Main作为答案。

通过在四个KBQA数据集上的广泛实验，ODA在处理复杂问题时表现出色，尤其是在QALD10-en和T-REx数据集上分别实现了 12.87%和8.9% 的准确率提升。此外，ODA在 不同基础模型上（GPT3.5、GPT4） 的表现也证明了其在不同LLMs上的通用性。ODA通过 观察模块和反思模块 的有效整合，显著提高了行动选择和反思的准确性，从而增强了ODA的推理能力。

不同方法的性能比较 ，粗体分数代表所有基于GPT的零样本方法中的最佳性能。微调的SOTA包括：1: SPARQL-QA，2: RACo，3: Re2G，4:RAG。

消融比较： 有无观察模块 、以及 不同反思方法

ODA: Observation-Driven Agent for integrating LLMs and Knowledge Graphs

本文转载自​​，作者：