LEO：三维世界具身多任务多模态通才智能体

北京通用人工智能研究院联合北京大学、卡耐基梅隆大学和清华大学的研究人员提出了首个三维世界中的具身多任务多模态的通才智能体 LEO。

通才智能体 LEO 以大语言模型为基础，可以完成感知（perception）、定位（grounding）、推理（reasoning）、规划（planning）和动作执行（acting）等任务。

LEO 的三维视觉语言理解、具身推理和动作执行能力在现实世界中有广泛的应用场景与巨大的应用价值。作为未来的家庭助理，LEO 可以与人交互，回答与场景相关的问题，例如根据用户喜好调整家居布局、帮助用户找到特定物品、为用户的各种问题提供建议。LEO 的导航能力可用于购物中心、办公楼中的智能引导，其操控能力可用于家居自动化任务，如打扫、整理或简单厨房任务，以及仓库和物流中心的物品整理和搬运。

通才智能体 LEO 以 LLM 为基础，在不同任务之间采用共享的架构和权重，经由如下两个阶段训练得到：
1）三维视觉 - 语言对齐
2）视觉 - 语言 - 动作指令微调。

为完成上述两阶段的训练，作者收集并生成了包括物体级别（object-level）和场景级别（scene-level）的大规模数据集，并在问答（3D QA）、描述（3D captioning）、具身推理（embodied reasoning）、具身导航（embodied navigation）、机器人操作（robotic manipulation）多个任务上展示了 LEO 杰出的能力。

该工作的主要贡献可以总结如下：
1）构建了第一个能够在三维世界中进行感知、定位、推理、规划和动作执行的具身智能体 LEO。
2）提出了高效的学习策略，将以物体为中心（object-centric）的三维表征与 LLM 连接起来，同时加入具身动作任务，在三维世界中打通视觉 - 语言 - 动作（vision-language-action）。
3）提出了生成高质量三维视觉语言数据的方法，构建了视觉 - 语言 - 动作（vision-language-action）指令微调的大规模数据集。

论文链接：https://arxiv.org/abs/2311.12871
项目主页：https://embodied-generalist.github.io/
代码链接：https://github.com/embodied-generalist/embodied-generalist