AI视频技术正在快速发展,Vidu S2是一个实时生成系统,能够支持边拍边修改的操作。用户只需打开摄像头并单击角色图像,便可轻松更换画面中的人物,而不影响动作和节奏。用户与虚拟角色的互动同样灵活,随时可以通过简单的指令,例如“跳个舞”,来激活特定模式,流畅度非常出色。
Vidu S2是生数科技最新发布的一款视频生成模型,专注于实时交互与编辑,具备实时数字人、离线数字人及视频编辑的多项核心功能。其中,S2-Avatar负责实时数字人的表演互动,支持720p、25至42帧每秒的输出,能够处理大幅度动作。用户可以在生成过程中实时添加人物、服装、道具或场景参考图。而另一个引人注目的新功能S2-Editing则能够持续接收摄像头或源视频流,并在保持画面原有姿态与动作的同时,实时改变风格、服装、人物和背景。
为确保用户的创作体验,生数科技在产品发布前夕公开了相关技术论文,详细阐述了背后的技术架构,并在发布当天提供了网页体验和API接口。团队强调从一开始就将其视为开放实验,与用户共同创作。 龙8体育
Vidu S2的技术发展非常迅速,自S1论文提交到S2论文公开仅69天,体现了团队强大的研发能力。在这一短时间内,系统不仅增加了功能,还扩展了控制对象的范围、提升了输出清晰度,并改进了整体表现。
值得注意的是,实时视频生成的难度在于不单是速度,还必须保持稳定性和精准性。Vidu S2在设计中围绕着速度、稳定性和控制精度三方面进行优化,以应对用户即时输入指令的需求。
为实现数字人物在视频中的互动,Vidu S2-Avatar和Vidu S2-Editing在数据准备和训练方面进行了详细规划,结合了多种素材,以丰富人物的动作与表情。通过精确的标注与双向音视联合训练,模型能够有效地将用户的指令和状态变化融入到连续生成的视频中。 龙8体育
Vidu S2不仅是技术的突破,更展现了实时视频生成的无限可能。