跳到正文
Hugging Face · 每日论文·· 3 天前AI 评分47

RoboTryOn:通过虚拟试穿合成灵巧机器人演示

RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On

AI 导读

RoboTryOn 将人类视频中的动作转换为指定机器人的演示视频,保留任务、物体和背景。该方法通过自回归翻译关键帧并结合人类手部骨架引导视频合成,同时使用逆动力学模型(IDM)从合成视频中推断动作标签用于策略学习。实验表明,使用该合成数据训练的策略在新任务上的平均成功率从 2% 提升至 60%,且训练成本仅为真实演示数据的三分之一。

来源:Hugging Face · 每日论文 · huggingface.co