DexCap:便携式手部动作捕捉系统
什么是DexCap?
DexCap是由Chen Wang、李飞飞和Karen Liu等人提出的一套便携式手部动作捕捉系统。这套系统的核心在于其能够实时追踪手腕和手指的运动,而成本仅为3605.59美元,相较于传统的动作捕捉技术,这是一个极具吸引力的价格点。
DexCap的工作原理
DexCap系统结合了SLAM(同步定位与地图构建)、电磁场以及3D观察技术,使其能够精确捕捉手部动作,而不受视线遮挡的影响。系统包括一个特制的手套,用于捕捉手部运动数据,以及一个背包中的迷你PC,用于数据处理和分析。
特点
- 无遮挡捕捉:DexCap能够通过传感器捕捉到手部精确的运动数据,即使在视线被遮挡的情况下也能正常工作。
- 便携性:整个系统设计为便携式,可以轻松地在不同环境中使用。
- 低成本:与传统的动捕系统相比,DexCap的成本大大降低,使得更多的研究者和开发者能够接触并使用这项技术。
DexCap的应用
DexCap的应用场景非常广泛,从机器人训练到虚拟现实,再到动作捕捉和数据分析,都有着巨大的潜力。例如,它可以用于训练机器人完成复杂的任务,如泡茶、剪纸等,甚至可以从野外动捕数据中学习,为未来的灵巧操作提供数据支持。
技术细节
DexCap系统的设计包括了多个组件,如胸部的RGB-D激光雷达摄像头、SLAM追踪摄像头,以及背包中的迷你PC。这些组件共同工作,捕捉和处理手部动作数据。此外,DexCap还引入了全新的模仿算法DEXIL,结合了逆运动学和基于点云的模仿学习,进一步提高了手部动作的精确度。
硬件教程
地址:https://docs.google.com/document/d/1ANxSA_PctkqFf3xqAkyktgBgDWEbrFK7b1OnJe54ltw/edit#heading=h.t3oe3oo3ujny
CAD 模型清单 打印项目包括:
- 中心相机架和连接板
- 两个手套相机支架(分别为左手和右手设计的镜像版本)
- 两个T265相机的后装板(同样需要左右镜像)
相关的STL文件如下:
地址:https://drive.google.com/drive/folders/1pfUISMJTJU68g6HkjKkiJAOBtRBKKByx?usp=sharing