研究项目地址:
论文地址:
提出的想法
通过单眼照相机采集的RGB视频,学习人手的运动和交互对象之间的相互作用的因果关系,提出了一种生成模型,可以被用来重建的各种多步相互作用。
该提出的方法用于编码的交互,对象包含在动作时,对象的状态,并且创建一个动作情节描述他们的因果关系,使用动作情节,回归神经网络(RNN )训练模型。
通过使用训练模型,我们可以使用它来创建交互预测,用于动画合成和机器人行动计划等应用程序。在视频中,作为未来的行为预测,演示将证明机器人预测你手的位置并将进行交互动作。