Grok:xAI首个AI大模型产品
马斯克旗下的xAI发布了首个AI大模型产品“Grok”。Grok可以回答其他AI系统无法解决的难题,仿照《银河系漫游指南》设计,可以回答几乎任何问题并给出建议。但Grok仍然是一个早期测试产品,希望用户的帮助下能快速改进。
体验地址:https://grok.x.ai/
Grok的目标是收集反馈,构建造福全人类的人工智能工具。Grok-1是过去四个月内开发的前沿LLM,没有公布参数。Grok-1在HumanEval编码任务中得分为63.2%,在MMLU中得分为73%。xAI感兴趣的研究方向包括通过工具辅助进行可扩展的监督,与安全性、可靠性和接地性的形式验证相集成,长上下文理解和检索,对抗鲁棒性,以及多模态联运能力。
在Grok系统中找不到大家熟悉的PyTorch或Tensorflow,甚至连Python成分也没有。而是选用了Rust编程语言以及深度学习框架新秀JAX。背后原因,xAI认为大模型训练过程就像一列呼啸而过的货运火车,如果其中一节脱轨就很难恢复。
为此团队打造了专门的分布式系统,确保立即识别并自动处理每种类型的故障。在这之中,Rust语言被证明是构建可扩展、可靠且可维护的基础设施的理想选择。此外,对于实时查询和存储𝕏数据的RAG系统,向量数据库供应商Qdrant也跑出来认领了一波功劳。