为何AI Agent尚未奏效

AI Agents智能代理一直是人工智能研究的终极目标和梦想,也是实现通用人工智能系统的关键。但是目前普通的语言模型代理仍存在可靠性、可解释性等多方面的困难。这使得虽然AI在某些特定任务上取得巨大进步,但距离实现真正意义上的通用AI还有一定距离。

独角兽公司Imbue正试图解决这一难题。他们通过优化模型的推理能力,构建新的代理操作系统,强调可靠性和可解释性,来实现可依赖、可信赖的智能代理。Imbue的技术路线具有颠覆性,也为整个AI行业实现通用AI目标提供了宝贵启示。最近著名人工智能技术播客latent space邀请到了AI独角兽🦄企业Imbue CEO Kanqun Qiu进行了非常深入的对话，强烈推荐‍

对话时长超过1小时，地址：https://www.latent.space/p/imbue#details

本文我尝试总结他们对话，深入剖析Imbue的技术方案,分析他们在可解释的智能代理等方面的创新之处,以及需要克服的挑战。

在人工智能领域,智能代理一直是一个重要而艰巨的目标。最近,Imbue(原名Generally Intelligent)成为这一领域新的独角兽公司,完成2亿美元B轮融资,估值超过10亿美元。Imbue的崛起标志着基础模型公司正在人工智能领域掀起新的浪潮。

Imbue最初专注于通过强化学习训练智能代理。他们开发了Avalon这个基于Godot游戏引擎的智能代理测试平台,比Minecraft快100倍,可以快速评估和衡量代理的智能。但是,他们发现纯粹的强化学习无法教会代理进行复杂的推理和规划。于是他们转向了基于语言模型的推理方法,受到斯坦福Chelsea Finn的SACAN研究的启发。

Imbue现在致力于训练巨大的基础语言模型,专门针对推理能力进行优化。他们拥有约1万块Nvidia H100 GPU的集群,可以对模型架构、训练数据等进行快速迭代。Imbue使用自监督学习方法从代码和其他数据中提高模型的推理能力。他们采用全栈方法,涵盖模型训练、工具开发、界面设计和理论研究等多个方面。

目前Imbue正在开发代码相关的智能代理,以帮助程序员更好地编写代码。他们同时也在研发支持自然语言编程的界面,让用户更直观地指挥代理完成各种任务。Imbue的CARBS系统（CARBS可以自动完成大部分超参数调整和网络架构搜索）实现了超参数优化,大大提高了研究效率。他们发表了一篇关于模型缩放定律的论文,揭示了模型优化背后的规律。

Imbue的CEO Kanjun Qiu相信目前代理的开发还处于“底层阶段”,他们的目标是打造可靠的代理“操作系统”。这需要在抽象和接口设计上做更多工作,与代理实现良好的协作,而不仅仅是交流。Qiu认为当前的代理抽象存在缺陷,导致很难构建复杂的上层应用。Imbue希望通过构建更好的模型和工具抽象,解决代理可靠性和可部署性的核心难题。

Qiu认为推理是实现通用智能代理的最大障碍。Imbue专门设计数据集来增强模型的推理能力,比如科学论证的过程等。他表示代码也是提升推理的重要手段,是互联网上最明确的推理数据。Imbue在内部大规模地进行dogfooding（直译为“吃你自家的狗粮”，亦略称为dogfooding）是一句英语俚语，常用于描述公司（尤指软件公司）使用自己生产的产品这一情况）,以解决实际使用中的各种问题。他们希望最终构建出像Mac或Windows那样的代理平台,以重新点燃人工智能的梦想。

Imbue的使命是打造新的计算机,释放更多的知识能量,让代理能完成更大的目标。他们充分认识到这项技术的风险,一方面从工程角度设计可检验、可解释的系统,另一方面研究政策法规,以确保这种技术的部署是有益而无害的。Qiu对人工智能的未来保持乐观,认为如果用好这项技术,世界将变得更加美好和高效。

Imbue目前的技术路线是正确的吗?对这个问题业内观点不一。有专家认为,语言模型已经展示了强大的通用能力,只需继续扩展模型规模,加强微调,就能最终达到通用智能的目标。这也是OpenAI等公司正在采取的技术路线。但Imbue选择了不同的道路——他们认为单纯追求模型规模是不够的,必须从抽象和接口的设计入手,解决代理的可靠性问题。

事实上,可靠性是所有代理技术面临的核心难题。就像自动驾驶技术,我们必须确保代理系统在部署后能稳定可控,不会出现意外情况。而当前的语言模型往往是不稳定和难以预测的。Imbue正试图通过设计新的代理操作系统来解决这一问题。他们将代理的推理过程表示为自然语言,以便进行检验;他们研发新的接口,让用户能够监控代理的决策过程;他们还探索不同代理之间的协作,通过互相批评来提高系统的鲁棒性。这些设计思路都值得业界借鉴和学习。

当然,要解决可靠性问题,单纯依靠软件和算法的创新还不够,硬件的进步也起到关键作用。处理海量参数的巨型模型需要强大的计算能力支持。Imbue使用数万块N卡GPU集群来加速研发迭代。随着算力不断增强,他们能以更快的速度探索新的模型结构和训练方法。充足的计算资源能显著提升研究的效率。

除了技术路线,Imbue不同于其他公司的另一个方面是他们非常重视实际应用。Imbue开发了多种内部工具,广泛使用自己的代理系统,以发现实际使用中可能出现的各类问题。正如Qiu所言,dogfooding是确保技术成熟度的关键。其他许多代理初创公司都存在轻视实际应用的问题,往往停留在实验室概念阶段,很难将技术产品化。这也是业内普遍需要汲取的经验教训。

当然,要解决可靠性问题,单纯依靠软件和算法的创新还不够,硬件的进步也起到关键作用。处理海量参数的巨型模型需要强大的计算能力支持。Imbue使用数万块N卡GPU集群来加速研发迭代。随着算力不断增强,他们能以更快的速度探索新的模型结构和训练方法。充足的计算资源能显著提升研究的效率。

Imbue的技术目标是非常宏大的,他们希望能够改变计算的本质,让计算机软硬件都发生革命性的变化。这需要整个行业的共同努力。光靠一家公司的力量还不足以实现这一雄心勃勃的蓝图。但Imbue的做法对点燃行业还是提供了许多宝贵的启示。他们的故事表明,要推进真正的技术进步,就必须从理念到执行全盘考虑,既不能陷入纯理论的空想,也不能为求快速结果走上歧路。只有找到问题的本质,解决行业普遍面临的共性难题,才能开创出真正原创和颠覆性的研究成果。这也是所有AI创业公司都应当牢记的经验教训

Kanjun Qiu毕业于MIT，主修计算机，电子工程，华裔，连续创业者，已经创立过好几家独角兽公司，福布斯30岁以下30人获得者