Stream-Omni：同时支持种种模态组合交互的多模态大模子

Stream-Omni：同时支持种种模态组合交互的多模态大模子

GPT-4o式的多模态大模子（LMMs）展现出在文本、视觉和语音模态上的万能能力，，，，其在线语音效劳还能在语音交互历程中同步提供中心文本效果（即用户输入和模子响应的转录内容），，，，为用户提供“边看边听”的无邪交互体验。。。。。因此，，，，怎样构建支持文本、视觉和语音三种模态的多模态大模子成为近期研究热门。。。。。现有的多模态大模子通常使用多个编码器提取各个模态的体现，，，，然后将各模态体现沿序列维度拼接并输入至大语言模子基座中以天生回复。。。。。这些基于拼接的要领简化了模态集成历程，，，，但它们在很洪流平上依赖大规模数据，，，，以数据驱动的方法学习模态对齐。。。。。别的，，，，这种基于拼接的维度对齐方法缺乏足够的无邪性，，，，无法像GPT-4o那样在语音交互历程中同时天生中心文本效果。。。。。

为应对这一挑战，，，，中国科学院盘算手艺研究所自然语言处置惩罚团队提出了文本-视觉-语音多模态大模子——Stream-Omni，，，，其能同时支持种种模态组合下的交互。。。。。通过对各模态间的关系举行更有针对性的建模，，，，Stream-Omni实现了越发高效和无邪的文本-视觉-语音模态对齐。。。。。仅依赖包括2.3万小时语音的多模态数据，，，，Stream-Omni即可具备文本交互、语音交互、基于视觉的语音交互等种种模态上的交互能力。。。。。与此同时，，，，依赖于立异的语音建模方法，，，，Stream-Omni能在语音交互历程中像GPT-4o一样同步输出中心文本转录效果，，，，为用户提供全方位的多模态交互体验。。。。。

论文问题：Stream-Omni: Simultaneous Multimodal Interactions with Large Language-Vision-Speech Model论文链接：https://arxiv.org/abs/2506.13642开源代码：https://github.com/ictnlp/Stream-Omni模子下载：https://huggingface.co/ICTNLP/stream-omni-8b

Stream-Omni的模态对齐

现有多模态大模子中的模态对齐（如左图所示）：在序列维度上将三种模态的体现举行拼接，，，，输入至大语言模子基座

为了减轻对大规模三模态数据的依赖，，，，Stream-Omni更有针对性地建模各模态之间的关系，，，，即语音与文本应在语义上高度一致，，，，而视觉则在语义上对文本形成互补关系。。。。。因此，，，，Stream-Omni对差别模态接纳差别对齐方法（如右图所示）：

视觉-文本对齐：序列维度的视觉文本拼接语音-文本对齐：层级维度的语音文本映射

实现上，，，，Stream-Omni以大语言模子（LLM）为焦点，，，，并在其底部和顶部引入语音层，，，，通过毗连时序分类（Connectionist Temporal Classification，，，，CTC）建模语音到文本的映射，，，，此建模方法的优势在于：

支持通过语音模态举行外部交互，，，，同时使用文本模态在内部控制天生的内容；；；基于CTC的语音-文本映射为语音文本在体现和结构的对齐上提供越发直接的监视，，，，因此Stream-Omni 能够在仅使用少量语音数据的情形下，，，，将 LLM 主干的文本能力迁徙至语音模态。。。。。层级维度映射使得Stream-Omni在语音交互历程中还能同步输出中心文本效果（即指令和回复的转录文本），，，，为用户提供更周全的多模态体验。。。。。

Stream-Omni

Stream-Omni以大语言模子作为主干，，，，逐步将视觉和语音与文本对齐，，，，高效地构建了一个支持文本、视觉和语音的多模态大模子。。。。。在视觉-文本对齐方面，，，，Stream-Omni接纳视觉编码器和投影�？？？？樘崛∈泳跆逑�，，，，并将其与文本体现举行拼接。。。。。在语音-文本对齐方面，，，，Stream-Omni在LLM主干的底部和顶部辨别引入若干语音层，，，，用于将语音映射到文本以及基于文本天生语音。。。。。

视觉模态

基于视觉模态与文本模态之间具有语义互补性，，，，Stream-Omni接纳LLaVA架构中的序列维度拼接的方法举行视觉-文本对齐。。。。。

语音模态

（1）语音离散化：Stream-Omni接纳CosyVoice Tokenizer对语音输入举行离散化，，，，编码为若干离散的语音单位（< Audio_965>…）。。。。。

（2）语音到文本映射：为了充分使用LLM的能力，，，，Stream-Omni在LLM的底部引入语音层，，，，用于学习语音与文本之间的映射关系，，，，从而将LLM中的文本能力迁徙到语音模态中。。。。。Stream-Omni使用在ASR使命上的CTC损失直接监视底部语音层语音体现，，，，将其与文本模态对齐。。。。。

（3）文本天生：LLM基于输入的视觉体现和语音体现，，，，天生文本回复。。。。。

（4）文本到语音天生：Stream-Omni通过顶部语音层来完成文本到语音天生。。。。。为了在天生文本的同时天生语音单位，，，，Stream-Omni在顶部语音层中引入了alignment-based fusion�？？？？�。。。。。Alignment-based fusion沿用了StreamSpeech等实时天生研究中的同步天生战略，，，，使用CTC对齐来指导同步天生历程。。。。。

恣意模态组合下的多模态交互

Stream-Omni能够通过无邪组合视觉编码器、底部语音层、LLM、顶部语音层来实现恣意模态组合下的交互。。。。。同时，，，，由于层级维度语音文本映射，，，，Stream-Omni能够在语音到语音天生历程中提供中心的文本效果。。。。。

实验效果

视觉明确能力

Stream-Omni和相同规模和数据量级的视觉大模子取得相当的体现。。。。。

语音交互能力

在事实性的语音交互上，，，，Stream-Omni相比于现有要领具有优势，，，，源于层级维度的语音文本映射将LLM的文本能力迁徙到语音模态上。。。。。

基于视觉的语音交互能力

在本实例中，，，，在指令划分通过文本和语音输入的情形下，，，，VITA-1.5给出了两个相互矛盾的回覆：“不允许前往二楼”和“直接通往二楼”。。。。。这一在面临差别模态指令时爆发的矛盾回应，，，，源于沿序列维度拼接视觉、语音和文本体现来实现多模态对齐的要领，，，，并未对语音与文本模态之间的语义举行严酷对齐建模。。。。。相比之下，，，，Stream-Omni引入语音到文本的映射机制，，，，实现了语音与文本体现之间更准确的语义对齐。。。。。因此，，，，Stream-Omni在差别模态下体现越发一致，，，，无论指令是通过文本照旧语音输入，，，，都能天生相似的响应。。。。。另外，，，，Stream-Omni还能天生高质量的语音回复，，，，更多实例请在https://github.com/ictnlp/Stream-Omni体验。。。。。

总结

Stream-Omni是一个GPT-4o式的文本-视觉-语音多模态大模子，，，，能够支持多种模态组合下的多模态交互。。。。。Stream-Omni能够在语音交互历程中输出中心文本效果，，，，为用户提供更周全的多模态交互体验。。。。。Stream-Omni关注怎样构建模态对齐，，，，语音体现力等方面的增强不是本研究的重点，，，，因此其在拟人化、音色多样性等方面保存局限性。。。。。

相关推荐：直男白袜打自慰虞书欣裸被❌视频网站男人猛躁女人㊙️白色液体户外

分享： 2025-07-11 10:40:24 共81款