今年3月,Hugging Face(以维护最大的开源人工智能模型而闻名)通过“挖角”特斯拉公司前研究员Remi Cadene引起轰动。

而如今,Cadene领导了一个新的开源机器人项目LeRobot——一个旨在降低进入机器人技术的门槛,以便每个人都可以做出贡献并从共享数据集和预训练模型中受益,激发新一代机器人学家的创新活力,现在已经在Github上可用。

LeRobot项目给出了一份详细的指南,包括如何从头开始构建AI控制的机器人,——组装、配置,以及训练控制机器人的神经网络。项目基于开源的Koch v1.1机器人套件(也可以是别的硬件或者虚拟平台),包含两个六电机的机械臂,可使用一个或多个摄像头作为视觉传感器。LeRobot还计划在未来开发更具性价比的Moss v1版本,定价仅为150美元。

11111339-lerobot.gif
Cadene在他的X账户(原Twitter)上发布了一系列推文,表达了他的观点:“人工智能的下一步是进入我们的物理世界。”他介绍了这个社区驱动的努力,强调其对所有人开放的特性。

LeRobot 是什么?

LeRobot 是一个强大的框架,LeRobot 对于机器人学来说就像Transformers 库对于 NLP 一样。

该工具包不仅是一个软件包,而且是一个包含了用于共享、可视化数据和训练最先进模型的多功能库的全面平台。LeRobot 包含最先进的方法,这些方法已被证明可以转移到现实世界,重点是模仿学习和强化学习。用户还可以访问大量预训练模型,以启动他们的项目。此外,LeRobot 与物理模拟器无缝集成,这使得没有物理机器人硬件的爱好者和开发者可以在虚拟环境中模拟和测试他们的人工智能模型。
功能和特点

该工具包的功能不仅限于软件。它设计用于处理各种机器人硬件——从用于教育和研究的简单机器人手臂到在先进人工智能研究机构中看到的更复杂的人形机器人。其目标是提供一个可以适应和控制任何形式的机器人的人工智能系统,从而实现机器人应用的多功能性和可扩展性。Cadene 在 Github 上现在可用的 LeRobot 库中发布了一些示例,展示了代码提供的机器人能力,包括训练机器人在未绘制的空间中导航和从视频中抓取物体……以及如何在两个机器人夹手/手臂之间传递物体。

LeRobot的主要特性

预训练模型: LeRobot提供了已经为各种机器人任务训练好的模型,因此用户无需深入了解AI就可以开始构建和测试机器人。
数据集: 它包括针对不同机器人应用场景的多种数据集,如物体操纵和移动任务。这些数据集对于训练和测试机器人系统至关重要。
与模拟器集成: LeRobot可以无缝集成物理模拟器,使用户能够在虚拟环境中测试和改进机器人模型,然后再应用于现实世界。

LeRobot的现实应用

LeRobot在多个环境中进行了测试,以展示其能力:
AlohaTransferCube: 在500次实验中评估其在物体传输任务中的效果。
PushT环境: 另一个测试场景,LeRobot在物体操纵任务中表现良好。

链接:https://github.com/huggingface/lerobot