Code Llama：文本生成代码模型

全球社交、科技巨头Meta（Facebook、Instagram等母公司）在官网正式开源了，文本生成代码模型Code Llama。

据悉，Code Llama是基于Meta前不久发布的，最强开源大语言模型Llama 2之上开发而成，提供基础代码、专门针对Python开发和基于自然语言指令微调的，70亿、130亿、340亿三种参数模型。允许企业、个人开发者使用此模型，进行商业化。

Meta表示，Code Llama在代码任务上的表现，优于目前所有开源代码模型。Code Llama支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和Bash等主流编程语言，可根据自然文本或代码直接生成代码!

Code Llama还针对Python编程推出了Code Llama Python模型。是在 Python 代码的 1000亿标记上进行微调。Python是代码生成方面最具基准测试的语言，并且Python 和 PyTorch 在AI 社区中发挥着重要作用，所以，推出了针对Python的代码模型。

Code Llama - Instruct 是 Code Llama 针对自然文本指令微调的模型，该模型支持自然文本输入和输出。如果你想使用文本生成代码，Meta建议你使用该模型，因为Code Llama - Instruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

来源：https://ai.meta.com/blog/code-llama-large-language-model-coding/
源码：https://github.com/facebookresearch/codellama
论文：https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/