Mistral AI发布首个MoE开源模型 Mixtral 8x7B

6 个月前，三名来自 Meta 和 DeepMind 的研究人员在法国巴黎创办了 Mistral AI，种子轮融资 1.13 亿美元，刚刚又被曝完成了 4.87 亿美元的融资，估值 20 亿美元。现在 Mistral AI 的投资人包括，a16z、英伟达、Salesforce、Lightspeed 以及 Google 董事长 Eric Schmidt 等。联创三人，Arthur Mensch，CEO，前 DeepMind 研究科学家；Guillaume Lample，首席科学家，前 Meta 研究科学家，Llama 项目带头；Timothee Lacroix，CTO，前 Llama 工程带头。

联合创始人、CEO Arthur Mensch 登上芬兰创投大会 Slush，与资方 Lightspeed 的合伙人 Paul Murphy 进行了一场访谈。同时 Mistral AI 发布了引爆开源社区的首个 MoE 开源模型 Mixtral 8x7B，跑分与 GPT-3.5 平分秋色。

昨天，Mistral AI 上线开放平台 La plateforme（法语，平台），首次商业化动作。其中还上架了一款全面超越 GPT-3.5 的「中尺寸」模型。

一周之内，Mistral 成为最受好评和期待的大模型创业公司。

Mixtral 8x7B 是一个高质量的 SMoE（稀疏混合专家模型），开放权重（open weights），Apache 2.0 可商用，在大多数 benchmark 上表现优于 Llama 2 70B，但推理速度快 6 倍。
Mistral 特别强调，在大多数基准测试中，该 MoE 模型表现优于 GPT-3.5。32k token 上下文，语言兼容英语、法语、意大利语、德语和西班牙语，代码生成表现出色。同时发布了 Instruct 版本的微调模型，MT-Bench 8.3 分。Mistral 表示，Mixtral 共 46.7B 参数，但每 token 仅使用 12.9B，意味着等同于 12.9B 的推理速度和成本。

关于 Mixtral 8x7B 模型本身的详细信息，可以直接访问官网查看：
https://mistral.ai/news/mixtral-of-experts/