史上首位“AI科学家” ,横空出世!一登场就一口气生成了十篇完整学术论文。从提出研究想法、检查创新性、设计实验、编写代码,到在GPU上执行实验并收集结果,最后完成论文撰写,一气呵成。全由这位“AI科学家”自动搞定。每篇论文的成本约为15美元(约107.62元)。

这就是第一个用于自动化科学研究和开放式发现的综合AI系统,The AI Scientist。来自Transformer作者之一Llion Jones的创业公司:Sakana AI
14153836-anim-ai-scientist.gif

这公司搞的事情不只是做出了一位AI科学家,还额外搞出了个AI审稿人。审稿人能对AI写的论文进行评审,提供改进意见。

首个“AI科学家”如何炼成

整个研究想法来自Sakana AI成立之后几个成果的延续:首先,[他们开发了自动合并多个大模型知识,进化产生新模型的方法]。在最近的工作中,他们利用大模型发现新的目标函数来调整其他模型。在这些项目中,团队不断对当前前沿模型的创造力感到惊讶,进而有了更大的梦想:可以使用大模型来自动化整个研究过程吗?最终成果由Sakana AI、牛津大学Foerster实验室、不列颠哥伦比亚大学团队合作完成。

“AI科学家”系统由四个部分组成。

想法生成:

给定一个起始模板,AI首先“头脑风暴”一系列不同的新颖研究方向,并在Semantic Scholar上搜索,验证这些想法是否有前人做过。

实验迭代:

对于第一部分提出的想法,“AI科学家”首先执行提议的实验,然后生成图表可视化结果。

论文写作:

用标准机器学习会议的风格编写了一份简洁且信息丰富的LaTeX文章,同样使用Semantic Scholar自主查找相关论文进行引用。

自动化同行评审:

开发了一个自动化的“AI审稿人”,能够以接近人类的准确性评估生成的论文,实现了持续的反馈循环,使“AI科学家”能够迭代地改进其研究成果。

总共生成了10篇论文如下:

当然,现阶段AI独立完成的论文也不是尽善尽美,也不是直接就能发顶会了。

人类研究者总结了出几点限制和挑战:

  • 当前“AI科学家”系统还没有整合视觉能力,生成的图表有时难以阅读,表格有时超出页面宽度,页面排版不好。
  • AI科学家可能想法对了但执行错误,或者与基线进行不公平的比较,从而产生误导性的结果。
  • AI科学家在写作和评估结果时偶尔会犯严重错误,比如产生幻觉。

Sakana AI介绍

这次完成“新造的人”的公司,Sakana AI,严格意义上也是咱们的老朋友了。由Transformer论文8位作者的最后一位Llion Jones创业成立,目标是做一家“世界级人工智能研究室”。公司base东京,而sakana是日语“魚”(さかな)的罗马读音。可能出于公司文化考虑,Llion还在领英上标明,自己起了个日语音译名字:ライオン(也就是Lion狮子的片假名;以下亲切简称他狮子哥)。去年8月,公司宣布成立。

代码:https://github.com/SakanaAI/AI-Scientist
官网:https://sakana.ai/ai-scientist/
论文:https://arxiv.org/abs/2408.06292