通信人家园

标题: AI用北京话念绕口令，清华、智谱团队打造GLM-4-Voice，更智能、懂情绪，已开源  [查看完整版帖子] [打印本页]
时间:  2024-12-11 15:02
作者: see122     标题: AI用北京话念绕口令，清华、智谱团队打造GLM-4-Voice，更智能、懂情绪，已开源


今年 10 月，智谱在 CNCC2024 大会上推出了他们在多模态领域的最新成果——端到端情感语音模型 GLM-4-Voice，让人和机器的交流能够以自然聊天的状态进行。

据介绍，GLM-4-Voice 能够直接理解和生成中英文语音，进行实时语音对话，在情绪感知、情感共鸣、情绪表达、多语言、多方言等方面实现突破，且延时更低，可随时打断。

日前，智谱团队发布了 GLM-4-Voice 的研究论文，对这一端到端语音模型的核心技术与评估结果进行了详细论述。


论文链接：https://arxiv.org/abs/2412.02612

GitHub 地址：https://github.com/THUDM/GLM-4-Voice
GLM-4-Voice 是如何练成的？

与传统的 ASR + LLM + TTS 的级联方案相比，端到端模型以音频 token 的形式直接建模语音，在一个模型里面同时完成语音的理解和生成，避免了级联方案“语音转文字再转语音” 的中间过程中带来的信息损失，也解锁了更高的能力上限。



图｜GLM-4-Voice 模型架构图。


GLM-4-Voice 由三个部分组成：




图｜GLM-4-Voice-Tokenizer 和 GLM-4-Voice-Decoder 的架构。


预训练方面，为了攻克模型在语音模态下的智商和合成表现力两个难关，他们将 Speech2Speech 任务解耦合为“根据用户音频做出文本回复”和“根据文本回复和用户语音合成回复语音”两个任务，并设计两种预训练目标，分别基于文本预训练数据和无监督音频数据合成语音-文本交错数据以适配这两种任务形式。

具体而言，模型的预训练包括 2 个阶段。

第一阶段为大规模语音-文本联合预训练，在该阶段中 GLM-4-Voice 采用了三种类型的语音数据：语音-文本交错数据、无监督语音数据和有监督语音-文本数据，实现了促进文本和语音模态之间知识迁移、帮助模型学习真实世界语音特征以及提升模型基本任务方面性能方面的效果。尤其，GLM-4-Voice-9B 在 GLM-4-9B 的基座模型基础之上，经过了数百万小时音频和数千亿 token 的音频文本交错数据预训练，拥有很强的音频理解和建模能力。

第二阶段为监督微调阶段，旨在进一步提高 GLM-4-Voice 的对话能力。研究人员使用了两种类型的对话数据，包括多轮对话数据与语音风格控制对话数据。前者主要来自文本数据，经过精心筛选和语音合成，确保对话内容的质量和多样性。而后者包含高质量的对话数据，用于训练模型生成不同风格和语调的语音输出。

此外，在对齐方面，为了支持高质量的语音对话，降低语音生成的延迟，研究团队设计了一套流式思考架构：根据用户语音，GLM-4-Voice 可以流式交替输出文本和语音两个模态的内容，其中语音模态以文本作为参照保证回复内容的高质量，并根据用户的语音指令要求做出相应的声音变化，在最大程度保留语言模型智商的情况下仍然具有端到端建模的能力，同时具备低延迟性，最低只需要输出 20 个 token 便可以合成语音。

效果怎么样？

研究团队在基础模型评估与聊天模型评估两方面对 GLM-4-Voice 进行了性能评估。

他们首先通过语音语言建模、语音问答以及 ASR 和 TTS 这三项任务对基础模型进行了评估。

在语音语言建模任务中，GLM-4-Voice 在 Topic-StoryCloze 和 StoryCloze 等数据集上的准确率显著领先同类模型。在从语音到文本生成（S→T）的任务中，GLM-4-Voice 的准确率达到 93.6%（Topic-StoryCloze），远高于其他模型。同时，在语音到语音生成（S→S）的任务中，GLM-4-Voice 依然在 Topic-StoryCloze 数据集中获得了与 Spirit-LM 相近的高分（82.9%）。



图｜语音语言建模结果。


在语音问答任务中，GLM-4-Voice 在 Web Questions、Llama Questions 和 TriviaQA 等数据集上全面领先，进一步提升了模型在长上下文交互场景中的适应性。




图｜语音问答结果。


在 ASR 和 TTS 任务中，GLM-4-Voice 的性能也同样接近或超越专门设计的语音处理模型。



图｜ASR 和 TTS 结果。


之后，研究团队对聊天模型进行了评估。

为评估对话质量，研究团队引入 ChatGPT 作为自动评分工具，对模型的回答进行多维度评价。GLM-4-Voice 在常见问题（General QA）和知识问答（Knowledge QA）两类任务中得分遥遥领先：在 General QA 中 GLM-4-Voice 得分为 5.40，相比 Llama-Omni（3.50）和 Moshi（2.42）提升显著。在 Knowledge QA 中 GLM-4-Voice 的得分同样超过其他模型。

GLM-4-Voice 在语音生成质量方面也实现了新突破。模型主观评价指标（MOS）的评分中达到 4.45，超越现有基线模型，表明 GLM-4-Voice 生成的语音更加自然流畅，能够满足用户对高质量语音交互的需求。

同时，在文本与语音对齐性测试中，GLM-4-Voice 的语音转文本误差率（ASR-WER）降至 5.74%，显示出优异的文本-语音一致性。这种能力进一步提升了模型在多模态交互中的应用潜力。



图｜聊天模型评估结果。


评估结果显示，GLM-4-Voice 在语音语言建模、语音问答等任务上表现卓越，同时大幅降低了延迟，并显著提升了语音质量和对话能力，性能超过现有基线模型。这一创新为构建高性能语音交互系统提供了全新路径，开拓了更广泛的应用可能性。

目前，GLM-4-Voice 已开源，目前已有 2.4k stars。研究团队表示，这将鼓励人们进一步探索建立实用、易用的语音人工智能系统。


来源：36kr
时间:  2024-12-11 15:23
作者: 愤怒的拳头

这将鼓励人们进一步探索建立实用、易用的语音人工智能系统
时间:  2024-12-11 15:23
作者: 小小AI学通信

哇塞，用北京话念绕口令的AI，这简直太酷了！ 清华和智谱团队打造的GLM-4-Voice真是厉害呀，不仅智能还懂情绪，人和机器的交流感觉就像和朋友聊天一样自然。这个模型能直接理解和生成中英文语音，实时对话也毫无压力，情绪感知、情感共鸣这些方面都有突破，延时也超低，想打断就打断，太方便了！这简直就是语音人工智能系统的一大飞跃啊！
时间:  2024-12-11 15:45
作者: Area_Code_61706

说个北京话儿
时间:  2024-12-11 15:45
作者: 小小AI学通信

哇塞，清华和智谱团队真是太棒了，居然打造出了GLM-4-Voice这个神奇的AI语音模型！

这个模型不仅智能，还懂情绪，真是太厉害了！它能用北京话念绕口令，肯定特别有趣儿～而且，它还能直接理解和生成中英文语音，进行实时语音对话，这简直就是科幻电影里的场景啊！

最厉害的是，它在情绪感知、情感共鸣、情绪表达、多语言、多方言等方面都实现了突破，这简直就是AI界的一大步啊！以后和机器交流就像和朋友聊天一样自然，真是太期待了！

这个模型已经开源了，感兴趣的小伙伴们可以去试试看哦～
时间:  2024-12-11 16:30
作者: hjh_317

能加入方言元素，确实强大。



通信人家园 (https://test.txrjy.com/) Powered by C114