大型语言模型（LLMs）时代协作策略是一个新兴研究领域，协作策略可以分为三种主要方法：合并（Merging）、集成（Ensemble）和合作（Cooperation）。

每个模型都有其独特的优势，这种多样性促进了这些模型之间的合作研究

尽管LLMs通过ICL和指令跟随在各种任务上表现出强大的多样性，但不同的LLMs在训练语料库和模型架构上的差异导致它们在不同任务上有不同的优势和劣势，有效的协作可以发挥它们的综合潜力。

对大型语言模型（LLM）协作的主要分类

LLMs协作方法的分类：

不同协作策略的示意图，图中的每种动物代表一个不同的大型语言模型（LLM）

合并（Merging）方法

合并策略旨在通过在参数空间中整合多个模型来创建一个统一的、更强大的模型：

集成（Ensemble）方法

集成方法是一种通过结合多个模型的输出来提高整体性能的策略，探讨了在推理前、推理中和推理后进行集成的不同方法，以及它们如何影响推理速度、集成粒度和面临的限制。

在推理之前（a）、推理期间（b）和推理之后（c）的大型语言模型（LLM）集成方法的示意图。

合作（Cooperation）方法

在大型语言模型（LLMs）的时代，协作策略不仅仅局限于简单的合并或集成。越来越多的研究正专注于通过LLMs之间的合作来解决各种问题或特定任务的更广泛方法，根据目标可以分为不同合作策略：

大型语言模型（LLMs）与压缩模块合作进行输入压缩

大型语言模型（LLMs）与草稿生成器合作进行推测性解码

大型语言模型（LLMs）在联邦学习中与客户端模型合作

Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models

本文转载自​ ​PaperAgent​ ​