1. 首页 > 百货 > 其他百货

大型多模态模型能够进行图片内的学习 将所有有用的信息整合到一张图片中

论文题目:

All in a Single Image: Large Multimodal Models are In-Image Learners

论文链接:

开源链接:

Learning

近年来,大语言模型取得了显著的成功。尽管 GPT-4V 有强大的文本理解和图片输入能力,但仍存在许多问题。例如,在读取一张复杂图片时,无法完全理解图像中呈现的信息。在本文中,我们提出了一种新的上下文学习机制——In-Image Learning,它将所有可能有用的信息,包括样例,视觉线索和思维链等等整合在一张图片上,有助于释放 GPT-4V 的性能。

2. Visual-text interleaved in-context learning(VT-ICL):尽管 T-ICL-Img 取得了显著的效果,但在将视觉输入转换为文本描述时存在丢失信息的风险。

为了避免这个问题,可以为上下文学习准备交错的图文对,直接整合到大语言模型(LLMs)中。

在本文中,我们将样例范本、视觉线索、思维链整合在一张图片上。将有价值的信息整合到单一图像中提供了三个主要好处。

首先,它有效地传达了仅凭文字无法准确描述的复杂图像。其次,它允许信息被放置在图像的任何位置,不像之前的上下文学习方法那样对信息的排序敏感。第三,仅使用一个图像作为输入减少了对冗长输入的需求,从而减轻了输入负担并避免超出大模型(LMMs)的输入限制(注意:我们没有包含任何提示在测试样本上)。

为了结合这两种方法的优点,我们使用 GPT-4V 作为一种选择器。首先提示 GPT-4V 为给定数据示例的图像生成描述。然后让 GPT-4V 根据生成的描述与图像进行对比打分,范围从 1 到 4 分。1 或 2 分表明图像难以描述,使其更适合 In-Image Learning 方法,3 或 4 分表明图像易于描述,使用 VT-ICL 方法更适合这个数据示例。

我们在3个数据集上进行了测试,分别是:(1)MathVista;(2)HallusionBench;(3)VQA.

MathVista minitest 数据集上不同方法和模型上的测试结果如下:

HallusionBench 数据集上不同方法和模型上的测试结果如下: VQA 数据集在不同方法和模型上的测试结果如下:

我们使用 MathVista 数据集上的随机 100 个数据进行消融实验,结果如下,说明 In-Image Learning 方法能激发 GPT-4V 的潜力。

此外,我们为了探究其他影响性能的因素。对分辨率比例、示例数量及测试例子位置等各种因素下,使用 VQA 数据集进行了测试,结果如下:

在本文中,我们提出了 In-Image Learning 的方法,以增强 GPT-4V 的能力。In-Image Learning 将示范例子、视觉线索和指令结合到单一图像中。

In-Image Learning 擅长处理复杂图像,而 VT-ICL 更适合那些可以轻易通过文本描述的图像。为了在多模态任务中利用这两种方法的优势,我们提议使用 GPT-4V 作为选择器,以确定给定任务中每个多模态数据示例的适当方法。

通过在 MathVista 和 Hallusionbench 上的全面实验,我们展示了 In-Image Learning 在复杂推理任务中的有效性,以及在减轻语言幻觉和视觉错觉方面的作用。我们还检查了图像分辨率和示范例子位置等因素的影响,进一步凸显了图像内学习的多功能性和潜力。

对于未来的工作,我们计划在更多的文字难以描述的任务上验证 In-Image Learning 的有效性,以及通过训练的方式来加强 In-Image Learning。

原文链接:​ ​​ ​

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/qitabaihuo/32812.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息