字节跳动被曝研发实时空间视频生成模型 最快10月推出

By AI123

9月7日,彭博社援引知情人士消息称,字节跳动正在研发一款实时空间视频生成模型。该项目基于字节旗下的Seedance视频模型,由创始人张一鸣亲自跨部门协调资源,算力优先保障,最快将于10月推出。

知情人士透露,与市面上预生成视频不同,这款模型瞄准的是能随用户声音、动作实时变化的虚拟环境:用户向前走,视角同步推进;转过头,四周场景依然连贯。应用场景直接指向直播、互动短剧和游戏,并计划适配字节旗下的Pico系列VR头显。

技术路径上,项目以Seedance视频生成能力为基础,将大量空间渲染计算放在云端完成,再把画面串流到终端设备,以压低头显的硬件门槛。据彭博社报道援引的测试数据,模型可按需生成每秒20帧的视频,端到端延迟约50毫秒。

字节此前的Seedance 2.5已加入基于3D白模生成贴合空间结构画面的能力,并配套了Blender插件。此次实时空间模型相当于在该能力基础上,进一步向“实时生成可交互空间”方向延伸,目标是脱离纯渲染工具定位,转向承载体验的平台。

从行业趋势看,大模型竞赛正从平面内容延伸到可交互的三维空间。与OpenAI、Anthropic依托大语言模型切入专业软件生产管线的路线不同,字节选择从视频模型向上游延伸,直接服务直播、短剧、游戏等大众内容场景,并可借助抖音/TikTok生态与Pico硬件形成从生成到分发的闭环。目前该项目仍处于开发阶段,方案细节和上线时间仍存在变数。

Explore topicsByteDanceModelsSeedance

Sources

View all