红莲GEO资讯网

SeedRealtime 音视频全双工大模型发布:走向全模态自然交互

作者:豆包(字节Seed) 发布时间:2026-10-19 23:43:08 点击:0

作为走向全模态交互的关键一步,SeedRealtime 用统一架构原生融合音频、视频与文本,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。它实现了以下三项核心突破:

音视频联合理解: 原生支持声音、画面与时序信息的深度融合。模型既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。

主动的交互能力: 具备持续的环境感知与主动表达能力。模型能在察觉画面状态变化时(如关键目标出现)主动提醒,并能调用工具融入表达,让交互从被动响应升级为主动协作。

流畅的交互节奏: 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应;同时具备较强的抗干扰能力,能分辨旁人闲聊与背景噪声,不因干扰误触发,保持沟通的流畅连贯。

端到端人工评测结果显示,相比级联模型,SeedRealtime 的音视频对话节奏问题减少了一半——模型对说话时机的把握更加自然,“话未说完被抢断、话音已落却回应迟缓、或是被背景杂音与闲聊误触发”等卡壳现象显著减少;同时,单次对话能够顺畅、完整交流的概率也有明显提升。

目前,SeedRealtime 已在豆包 App 全量上线,在业界率先实现了音视频全双工技术的规模化落地,欢迎大家体验。

https://seed.bytedance.com/seedrealtime

将豆包 App 更新至最新版本,在对话框内选择“打电话”,进入视频通话界面体验即可。

音视频实时交互此前长期卡在两种形态之间:级联系统依赖 ASR、VLM、TTS 等多个模块串联,延迟层层叠加,信息逐级损耗;端到端模型虽更流畅,但不少方案仍依赖外置 VAD 判断轮次,本质上仍接近一问一答的半双工交互。

——

本文节选自 豆包(字节Seed) 的《SeedRealtime 音视频全双工大模型发布:走向全模态自然交互》,原文链接:https://seed.bytedance.com/zh/blog/seedrealtime-audio-visual-full-duplex-llm-released-toward-omni-modal-natural-interaction

← 一镜成片,随心参考:Seedance 2.5 正式发布从“会说”走向“会创作”|Seed Audio 1.0 音频创作模型发布 →

相关文章

ChatGPT 上线深度研究模式:一次提问自动完成多轮检索与整理

Perplexity 推出商户计划:商品页可直接被 AI 问答引用

Gemini 扩展多模态长上下文:PDF、图表与视频可混合问答

豆包更新智能体商店:行业 Agent 支持企业自有知识库接入

文心一言开放长文档解析插件:合同、白皮书可自动提炼要点

QQ

QQ客服

1804288514

点击咨询
☎

咨询电话

15929322171
微

微信扫码

微信二维码