大型语言模型（LLMs）如GPT-4等，已经在多个领域展示了其强大的能力，能够通过对话帮助人们完成各种任务。然而，这些模型在需要语音输入或输出的场景中仍面临显著的限制。尽管最近的技术进展，如GPT-4o，提升了语音交互的响应速度，但依然存在延迟和质量方面的挑战。如何实现低延迟且高质量的语音交互，成为开源社区亟待解决的问题。

01、概述

为了实现与LLMs的语音交互，研究者们尝试了多种方法，每种方法都有其局限性。最常见的做法是将自动语音识别（ASR）和文本到语音（TTS）模型串联使用，但这种方法由于逐步处理转录文本、生成文本响应和语音响应，往往导致较高的延迟。为了改进这一点，一些研究提出了多模态语音-语言模型，尝试将语音离散化为标记，并扩展LLM词汇表以支持语音输入和输出。虽然理论上这些模型能够实现低延迟的语音到语音生成，但实际上仍需生成中间文本以保持高质量，从而牺牲了一部分响应速度。

此外，还有尝试通过在语义或声学标记上训练语言模型，或将语音编码器添加到LLMs中，以提高语音理解能力。然而，这些方法通常需要大量的数据和计算资源，或者只专注于语音理解，而忽视了生成能力。

02、LLaMA-Omni的突破性创新

为了突破这些限制，中国科学院大学的研究团队推出了一种名为LLaMA-Omni的全新模型架构。LLaMA-Omni的设计目标是实现与LLMs的低延迟和高质量的语音交互。其创新之处在于集成了语音编码器、语音适配器、LLM和流式语音解码器，能够实现无缝的语音到语音通信。具体来说，该模型通过直接处理语音输入绕过了中间文本转录的步骤，显著减少了响应延迟。

LLaMA-Omni的架构主要包括四个部分：语音编码器、语音适配器、LLM和语音解码器。语音编码器基于Whisper-large-v3，从用户的语音输入中提取有意义的表示。接着，这些表示经过语音适配器处理，通过下采样和两层感知器映射到LLM的嵌入空间。LLM则基于Llama-3.1-8B-Instruct直接从语音指令生成文本响应。而语音解码器，一个非自回归流式Transformer，利用连接时序分类（CTC）预测与语音响应相对应的离散单元，实现了文本和语音的同步生成。

03、LLaMA-Omni的训练与评估

LLaMA-Omni采用了两阶段的训练策略。第一阶段关注从语音指令生成文本响应，第二阶段则专注于生成语音响应。在推理过程中，LLaMA-Omni能够同时生成文本和语音响应，语音解码器在LLM生成文本的同时实时转换为语音波形。这种方法实现了极低延迟的语音交互，使得用户在文本完全生成之前即可听到响应。

为了支持LLaMA-Omni的开发和评估，研究人员创建了InstructS2S-200K数据集。该数据集包含200,000个语音指令、文本响应和语音响应的三元组。构建过程包括使用Llama-3-70B-Instruct重写文本指令以适应语音，生成适合语音的简洁响应，并使用CosyVoice-300M-SFT和VITS进行语音合成。该数据集结合了Alpaca的50,000条条目和UltraChat的150,000条条目，涵盖了广泛的主题，为LLaMA-Omni在语音交互任务上的训练提供了坚实基础。

04、未来展望

LLaMA-Omni在InstructS2S-Eval基准测试中的表现优于之前的模型，特别是在语音到文本和语音到语音指令的内容和风格一致性上。模型在语音质量和响应延迟之间提供了良好的权衡，延迟低至226毫秒。与其他模型相比，LLaMA-Omni的文本和语音同时生成能力显著提高了解码速度。案例研究显示，LLaMA-Omni能够提供更简洁、更详细且更有帮助的响应，特别适合语音交互场景。

总之，LLaMA-Omni作为一种创新的AI模型架构，不仅在低延迟和高质量的语音交互方面实现了突破，还通过创建专门的数据集和优化训练过程，推动了基于LLMs的语音交互技术的发展。其卓越的性能和高效的训练过程，为未来的语音交互模型的快速开发奠定了基础。

参考：

基咯咯

原文链接：​ ​​ ​