什么是DexCap?

DexCap是由Chen Wang、李飞飞和Karen Liu等人提出的一套便携式手部动作捕捉系统。这套系统的核心在于其能够实时追踪手腕和手指的运动,而成本仅为3605.59美元,相较于传统的动作捕捉技术,这是一个极具吸引力的价格点。
26162930-2024-03-26T08:29:31.png

DexCap的工作原理

DexCap系统结合了SLAM(同步定位与地图构建)、电磁场以及3D观察技术,使其能够精确捕捉手部动作,而不受视线遮挡的影响。系统包括一个特制的手套,用于捕捉手部运动数据,以及一个背包中的迷你PC,用于数据处理和分析。

特点

  • 无遮挡捕捉:DexCap能够通过传感器捕捉到手部精确的运动数据,即使在视线被遮挡的情况下也能正常工作。
  • 便携性:整个系统设计为便携式,可以轻松地在不同环境中使用。
  • 低成本:与传统的动捕系统相比,DexCap的成本大大降低,使得更多的研究者和开发者能够接触并使用这项技术。

DexCap的应用

DexCap的应用场景非常广泛,从机器人训练到虚拟现实,再到动作捕捉和数据分析,都有着巨大的潜力。例如,它可以用于训练机器人完成复杂的任务,如泡茶、剪纸等,甚至可以从野外动捕数据中学习,为未来的灵巧操作提供数据支持。
26162549-1.gif
26162602-2.gif

技术细节

DexCap系统的设计包括了多个组件,如胸部的RGB-D激光雷达摄像头、SLAM追踪摄像头,以及背包中的迷你PC。这些组件共同工作,捕捉和处理手部动作数据。此外,DexCap还引入了全新的模仿算法DEXIL,结合了逆运动学和基于点云的模仿学习,进一步提高了手部动作的精确度。

硬件教程

地址:https://docs.google.com/document/d/1ANxSA_PctkqFf3xqAkyktgBgDWEbrFK7b1OnJe54ltw/edit#heading=h.t3oe3oo3ujny
CAD 模型清单 打印项目包括:

论文地址:https://arxiv.org/abs/2403.07788