SemiKong:芯片设计开源大模型
在Semicon West 2024大会上,Aitomatic发布了首个SemiKong半导体行业设计的新模型,将革新半导体工艺和制造技术。
SemiKong是由Aitomatic与FPT Software合作开发,在处理行业特定任务时,表现优于通用大模型,如GPT和 Llama 3。
SemiKong模型专门接受过半导体领域知识的训练。它基于Llama 3 Instruct微调而来。从放出的代码权重,可以看出SemiKong有8B的参数。SemiKong的训练过程主要分为3个主要阶段:预训练领域知识——自我微调(指令数据集)——合并和量化。在行业相关的基准上,SemiKong优于许多通用LLM。而且,为那些打造适合自身的专有模型的芯片公司,提供了一个有价值的基座。
SemiKong在准确性、相关性和对半导体工艺的理解上,得到了显著的改进。如今业内愈发公认,即使是小模型,在特定领域的应用中也能超越更大的通用模型。显然,无论是在加速创新还降低成本方面,8B的SemiKong在整个半导体价值链中都潜力极大。CEO Christopher Nguye在一份声明中表示,「SemiKong将重新定义半导体制造。由AI Alliance推动的这种开放创新模式,利用了集体智慧来应对行业特定的挑战。在Aitomatic,我们正使用SemiKong创建特定领域的AI智能体,以前所未有的效率解决复杂的制造问题」。