GPT4v和Gemini vision就是探索集成了各种数据类型(包括图像、文本、语言、音频等)的多模态语言模型(MLLM)。虽然像GPT-3、BERT和RoBERTa这样的大型语言模型(llm)在基于文本的任务中表现出色，但它们在理解和处理其他数据类型方面面临挑战。为了解决这一限制，多模态模型结合了不同的模态，从而能够更全面地理解不同的数据。