1.为啥要提出VisRAG，检索增强生成，Retrieval，augmentedgeneration，RAG，已经成为解决LLM幻觉和知识更新的经典方案，典型的RAG流程是基于文本的，以下简称TextRAG，，以分割后的文本作为检索单元，但是在真实场景中，知识往往以多模态的形式出现，比如教科书、手册...

  一、引言视觉语言模型，VLMs，已在多种多模态理解和生成任务中展现了显著的性能表现，然而，尽管这些多模态模型在广泛的任务中表现出色，但是它们能否有效地捕获结构化知识，即理解对象间关系以及对象与其属性间关系的能力，仍然是一个未解决的问题，如图，a，所示，我们在分析CLIP模型时发现，与图像不匹配的标题...