如何将AI训练成资深CFO
这是由 AI 平台公司 Lepton 和著名 LLM 工具平台 LangChain 合著的，关于如何通过微调的方式，来实现更加“聪明”的大模型的实践文章。
介绍
你有没有想过参加财报电话会议并向这些首席财务官提问?这曾经是摩根大通、高盛和摩根士丹利等高端投资银行投资者的特权。
然而，凭借LLM的能力和围绕它的适当技术，不再了。如果您不想阅读整篇文章，请随时在此处尝试演示。此演示是根据 Apple 2 年第二季度收益电话会议创建的。
走进尖端技术与金融敏锐度相遇的领域，让我们深入了解利用人工智能能力的变革过程，并揭开打造像经验丰富的首席财务官 (CFO) 一样说话的人工智能的秘密，如下所示。
问题陈述
首先，我想将上面提到的挑战分解为一个抽象概念，希望它可以帮助您在工程层面上了解我们面临的问题。简而言之，问题看起来像这样:
我们在这里面临的问题是将 organically 原始的收益电话会议记录，文本生成模型（主要是OpenAI ChatGPT 3.5）和工具集（python，langchain，chroma，这里没有什么花哨的）结合起来模仿CFO。
深思熟虑的解决方案流程
从OpenAI开始
首先，我从OpenAI的ChatGPT 3.5和Langchain检索QA链开始使用，这对于任何构建此类应用程序的人来说都是一种非常标准的方法。话虽如此，解决方案现在如下所示:
毫不奇怪，ChatGPT 3.5 非常适合简单的问题，例如What's covered in this earning call?。 .开源工具在原型设计方面就像一个魅力。构建产品的第一个版本并不需要很长时间。然而，对于更复杂的问题，ChatGPT很快就放弃了。你可以在这里查看。
来自 ChatGPT 3.5 的完整问题列表包含回复，请点击此处
然后我尝试了vanilla vicuna
无意中听到朋友和开源开发人员(在Jupyter Lab工作，是的，笔记本，但超越笔记本!😅)，我决定尝试Vicuna，一个开源聊天机器人，通过微调LLaMA对从ShareGPT收集的用户共享对话进行训练。话虽如此，解决方案现在如下所示:
这里棘手的部分是该产品的第一个版本是基于Langchain构建的，它最初是基于OpenAI的API构建的。所以作为许多其他提示工程框架。在这种情况下，切换到另一个模型在兼容性问题上需要做很多工作。例如。另一个模型可能没有相同的嵌入API终结点。或者TikToken库不支持某些模型。
由于这个问题，Lepton.AI 的工程团队找到了一种方法，使模型与原始OpenAI的API端点兼容，使LLM应用程序的模型切换变得更加容易。模型服务使用户能够通过简单地更改环境来切换模型
OPENAI_API_BASE=https://api.openai.com/v1
OPENAI_API_KEY=YOUR_OPEN_API_KEY到
OPENAI_API_BASE=YOUR_DEPLOYMENT_URL
OPENAI_API_KEY=YOUR_LEPTON_AI_API_KEY乍一看，结果变得非常可靠，但对输出的评估却非常具有挑战性。这就是LangSmith派上用场的地方。它允许我添加四行代码来更改环境变量，并且可以从那里为我处理所有事情。
事实证明，微调模型甚至更好
尽管原版模式不会那么快放弃，但它仍然不像首席财务官那样说话。也就是说，它的说话方式并没有给我一种真正参加由顶级金融机构人才包围的收益电话会议的感觉。
因此，受到Llama的微调模型Vicuna的启发，我决定微调一个利用收益电话问答部分数据的模型。通过从收益成绩单中收集数据，我设法抽取了不少收益电话。然后使用 TUNA(一种同时增强数据和模型的模型增强服务)创建一个更专注于赚取呼叫上下文的模型。话虽如此，解决方案现在如下所示:
以下是问题列表中的一些查询结果
同样，我的代码中唯一更改的是 OPENAI_API_BASE ，并且一切都从那里开始工作。通过利用 LangSmith，我可以更有效地比较结果，并将其分享给有兴趣查看它的人，如这篇文章多次演示的那样。
结论
总之，数据和LLM技术的集成，如数据增强和微调，是人工智能应用程序开发的关键里程碑。通过将庞大而多样的数据集与LLM的力量相结合，我们释放了前所未有的潜力，使AI系统能够生成更准确，上下文感知和连贯的输出。数据和LLM之间的协同作用不仅提高了AI应用程序的整体性能，而且还为创新和发现开辟了新的途径。
随着我们不断完善和扩展对这种动态关系的理解，我们踏上了一段旅程，数据驱动的洞察力和高级语言模型的融合重新定义了可能性，推动我们进入一个卓越的人工智能时代，并改变我们与技术互动的方式。未来在等待着我们，因为我们自信地迈向人工智能超越期望的地平线，成为我们寻求进步不可或缺的资产。
对于上面提到的工具，LangSmith和LeptonAI都处于封闭测试阶段，但请随时在候补名单上注册并尝试一下。随时给我发电子邮件 uz@lepton.ai，我很想听听你的想法!
相关链接
原文：https://blog.langchain.dev/lepton-x-langchain-earning-sage/
