OpenAI 提供了两项基于 GPT-3 模型的能力:

  1. fine-tune 微调
  2. embedding 嵌入

fine-tune

一般称之为微调。

模型底层更通用,顶层更垂直,fine-tune 的原理是在不改动(或不能改动)预训练模型的基础上,在模型「顶层」增加分类器或一些特征映射,使微调后的模型能够更贴合实际使用场景。

在 OpenAI 中,可以在不改动 GPT-3 大模型的情况下,针对 prompt 和 completion 的进行训练,对「句式」、「情感」等特征进行优化。

 

OpenAI-fine-tune
GPT-3 已经预训练了大量的互联网内容。只需要在 prompt 里写少量的用例,他基本可以感知你的用意,并生成一段基本合理的 completion。这个功能一般叫做 "few-shot learning".
fine-tune 基于 few-shot learning,通过训练比写在 prompt 里更多的示例,可以得到更好的结果。模型被微调后,就不用在 prompt 里再写一些实例了。这样可以节省成本和耗时。

 

使用场景:

  1. 想让 GPT-3 按照某种格式来识别 Prompt ,或按照某种格式来回答
  2. 想让 GPT-3 按照某种语气、性格来回答
  3. 想让 completion 具有某种倾向

比如不进行 fine-tune 提问

prompt: 
小红喜欢洋娃娃。小红的性别是? 

completion: 
女孩,所以她很喜欢洋娃娃。洋娃娃通常有着丰富多彩的服装和装饰,可以让小红玩得很开心。此外,红还可以给洋娃娃起名字,造出一个属于自己的小世界,从而获得更多的乐趣。

GPT-3 详尽的回答了你的问题,但是可能你只想知道是 男 or 女。

 

在 prompt 里加入示例

prompt:
示例:小红喜欢洋娃娃。小红的性别是?
答案:女 

下面是问题:小明喜欢坦克,小明的性别是? 

completion:
答案:男

经过提示的 prompt 会按照示例的格式回答你的问题。

如果通过对大量如下数据进行 fine-tuning。

prompt:
小红喜欢洋娃娃。小红的性别是? 

completion: 
答案: 女

训练后的模型中,按照 prompt 格式书写,那么 completion 会自动按照期望的格式返回,而不是返回其他内容.

类似于 Masked Language Modeling(MLM) ,系统会将回答识别为「答案: [mask] 」,模型去预测 mask 的内容,或者理解为「完形填空」

 

embedding

一般称之为嵌入。

embedding 一般是指将一个内容实体映射为低维向量,从而可以获得内容之间的相似度。

OpenAI 的 embedding 是计算文本与维度的相关性,默认的 ada-002 模型会将文本解析为 1536 个维度。用户可以通过文本之间的 embedding 计算相似度。

embedding 的使用场景是可以根据用户提供的语料片段与 prompt 内容计算相关度,然后将最相关的语料片段作为上下文放到 prompt 中,以提高 completion 的准确率。

具体可以看 (二)如何使用 Embedding 提升回答质量?

使用场景:

  1. 获取文本特征向量
  2. 提供「相关」上下文,让 GPT-3 依据上下文回答

fine-tune 和 embedding 可以结合使用,比如通过 fine-tune 训练基于 context 识别 prompt 模型,再使用此模型使用 embedding 插入上下文,这样新模型也能更好地理解 prompt

两者如何选择

我有一堆语料,想让 GPT-3 依据我的语料输出内容 - 使用 embedding

想让 GPT-3 模仿一个温柔贤惠的女人和我对话 - 使用 fine-tune

希望用户按照一定格式提交问题 - 使用 fine-tune

可以根据产品的使用手册来回答用户的问题 - 使用 embedding

 

参考资料:

https://platform.openai.com/docs/guides/fine-tuning

https://www.tensorflow.org/tutorials/images/transfer_learning?hl=zh-cn

https://platform.openai.com/docs/guides/embeddings/what-are-embeddings

https://developers.google.com/machine-learning/crash-course/embeddings/video-lecture?hl=zh-cn

 

来源:https://zhuanlan.zhihu.com/p/609359047