PDRVLA: 一种结合物理动态表示的视觉-语言-动作模型

PDRVLA 模型通过轻量的物理动态模块从视觉-语言特征中提取物理 token 条件动作生成，无需在线生成视频。该模块通过直接预测未来 RGB、深度和光流特征进行训练，并借助冻结的预训练视频世界模型进行辅助监督。模型使用公开数据集结合人类到机器人的合成、子任务标注和具身链式推理标注进行训练，在四个仿真基准测试中分别达到 99.3%、89.9%、93.6% 和 81.5% 的成功率。