ChipNeMo：英伟达AI芯片设计大语言模型

英伟达推出了自家最新430亿参数大语言模型——ChipNeMo。

对于它的用途，英伟达在官方披露消息中也是非常的明确，剑指AI芯片设计。具体而言，ChipNeMo可以帮助工作人员完成与芯片设计相关的任务——包括回答有关芯片设计的一般问题、总结bug文档，以及为EDA工具编写脚本等等。

2023 年 11 月 1 日：今天发布的一篇开创性研究论文展示了生成式人工智能 （AI） 如何改变半导体设计的游戏规则。这项由 NVIDIA 领导的研究说明了即使是半导体设计等专业领域也可以从大型语言模型 （LLM） 中受益。

设计像 NVIDIA H100 Tensor Core GPU 这样的先进芯片并非易事。该芯片包含数百亿个晶体管，设计精度极高。团队必须使用专门的方法和软件在架构、电路布局和测试等不同方面开展工作。NVIDIA Research 总监兼该论文的主要作者 Mark Ren 表示：“我相信随着时间的推移，大型语言模型将全面帮助所有流程。

该公告是在计算机辅助设计国际会议上宣布的，该会议是电子设计自动化（EDA）领域工程师的重要活动。NVIDIA 首席科学家 Bill Dally 表示：“这项工作标志着将 LLM 应用于半导体设计的复杂工作迈出了重要的第一步。

为了内部使用， NVIDIA 工程师创建了一个名为 ChipNeMo 的自定义 LLM 。该模型是根据公司自己的数据进行训练的，以帮助完成软件生成和分析等任务。未来，他们希望将生成式人工智能应用于芯片设计的各个阶段。最初的用途很有希望，包括一个帮助工程师查找技术文档的聊天机器人和一个跟踪已知错误的工具。

ChipNeMo 是使用 NVIDIA NeMo 开发的，NVIDIA NeMo 是 NVIDIA AI Enterprise 软件平台的框架部分。该模型以 430 亿个参数为基础，并在超过 1 万亿个代币上进行了训练。它接受了两轮关于内部数据和混合示例的进一步培训。该研究的一个关键见解是，像 ChipNeMo 这样的自定义 LLM 的性能与通用模型一样好或更好，即使它们要小得多。任正非强调了选择正确的数据并为训练做好充分准备的重要性。NVIDIA 尝试将 AI 用于半导体设计是更广泛研究工作的一部分。该公司在全球拥有数百名科学家，专注于从人工智能到自动驾驶汽车等不同主题。

这项研究加入了其他项目，这些项目使用人工智能来设计更快、更小的电路并优化模块放置。