微软发布2.7B小模型Phi-2

12月13日，微软正式发布了「Microsoft Ignite 2023」大会上提到的大语言模型「Phi-2」。

虽说是大语言模型，但是 Phi-2 的参数量很「小」，只有 2.7B (也就是27亿)，相较于 7B 起步的 Llama 家族的确算得上是「小模型」。

据微软官方博文，6月份微软发布了 1.3B 参数量的 Phi-1，在 HumanEval 和 MBPP 这两个基准测试中展示了领先的 Python 编程水平。随后团队将其升级为 Phi-1.5，并将能力拓展到了常识推理和语言理解领域，性能与 7B 左右的大模型已经不相上下。目前，Phi-1 和 Phi-1.5 已开源。

本次发布的 Phi-2 模型参数是 2.7B，性能相较于之前的版本已经有了明显的提升，尤其在推理和语言理解方面领域表现出色。

微软自信地表示，在复杂的基准测试中，Phi-2 已经追平甚至超越 25 倍参数量 (70B左右) 的其他大模型了。

而且，似乎是为了应对近期 Google 和 Mistral 发布新的大模型带来的挑战，微软在文中展示了自己「遥遥领先」的基准测试结果:

• 从上图可以看到，Phi-2 的参数量虽然小，性能已经优于Mistral-7B、Llama-2-7B 和 Llama-2-13B，与 Llama-2-70B 算是旗鼓相当。
• 尤其，在 Gemini 报告的基准测试上，击败了谷歌最新发布的 Gemini Nano 2 (3.2B)。[骑脸开大(⓿_⓿)]

微软这一招「四两拨千斤」很有王者风范了！且看下个月 Google Gemini Ultra 这个最高性能的大模型实际表现如何了。

以及，看来 Mistral 最新发布的「Mixtral 8X7B」走在了正确的道路上，小模型的确潜力无限，未来发展很值得关注和期待~