英伟达提出可同时生成3D运动与视频的模型

英伟达的研究人员提出了一种模型，能根据文本描述，为任意提供的3D骨架（rig）同时生成视频和对应的3D运动数据，并生成一个将运动注册到场景的相机。 该模型的运动部分从近20万对纯运动数据中学习骨架动作，无需配对的视频进行训练。模型声称能更真实地驱动多样化的骨架，其生成的运动可响应场景，并支持从视频生成骨架运动以及基于关键帧的控制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。