• 时间:
  • 分类: AI创业
  • 标签: None
  • 阅读(361)
  • 👍推荐(0)
  • 评论(0)

与第一代基于 CNN、RNN 和 GAN 的 AI 初创公司不同，生成式 AI 浪潮已经看到一批 AI 基础设施提供商获得了巨大的吸引力。它们共同构成了一个“生成式 AI 堆栈”：一套围绕数据管道、模型部署和推理、可观察性和监控以及将 LLM 投入生产所需的安全性的工具。该堆栈具有高度的流动性，因为构建生成式 AI 应用程序的理想架构正在迅速发展。

在此提醒下，让我们探讨一下我们在生成式 AI 基础设施领域关注的三个主题。

关注点一：RAG（检索增强生成） 跳过 fine-tune、克服幻觉、链接信息源 -> 进入生产场景

检索增强生成（Retrieval-Augmented Generation，简称 RAG），结合了大型语言模型（LLMs）和检索机制，让信息生成时可以引用外部数据库的知识。这种方法提高了回答的准确度和上下文相关性，同时降低了产生幻觉误解和意外数据泄露的风险。它为开发者提供了一种工具，能够创建适应不断变化的环境的应用程序，而无需频繁进行开销高昂的模型更新训练。RAG 的可信度和透明度得益于其链接到知识来源的能力。

Foundation Capital 指出，约有 80% 的 LLM 应用开发者在一定程度上利用了 RAG 技术。随着其逐渐普及，一套围绕 RAG 系统设计的最佳实践也在形成中。这包含从潜在的数据源，例如 CRM、ERP、CMS 系统，内部通信工具，云存储服务到其他 SaaS 应用程序中发掘相关数据，再将这些数据抽取、转换，并直接输入模型中以供检索时使用。向量数据库与 RAG 架构天然契合，因为其设计理念与 LLMs 的信息处理方式相一致。在向量数据库里，信息是被分解为小块并通过嵌入模型传递来凝练其含义，进而根据用户查询的语义相似性而非简单关键词匹配来索引和检索数据。目前备受瞩目的讨论集中在新兴的针对生成式 AI 的向量数据库产品（如 Chroma、Pinecone 和 Weaviate）是否能超越现有解决方案（如 Databricks、Elastic、MongoDB 和 Postgres）。尽管初创公司推出的专用向量数据库已经显示出早期成功，Foundation Capital 认为现有企业通过在产品中集成向量搜索功能，将最终占据市场主导地位。对 RAG 的挑战涵盖了有效的文档分块策略、根据用途选择适宜的嵌入模型、向量搜索优化以及整个系统性能的评估。

在这个领域，值得注意的初创公司包括 Metal（提供机器学习嵌入），Unstructured.io（针对 LLMs 的数据提取、转换和加载工具），以及 Foundation Capital 自家投资的 Arize（对 RAG 进行性能评估）。Arize 的开源可观察性库 Phoenix 为用户揭示了他们知识库的盲点，帮助识别相关内容的检索问题。该工具还能解决关键问题，比如检索到的数据是否包含有用信息、最佳块大小和数量是多少，以及整个系统的回应是否准确等。

关注点二：AI Agent（智能体） 更复杂的工作流、更多自动化、超越之前的交互方式

“AI Agent”这一概念非常广泛且含混，既可能是指一个简单的聊天机器人，也可能是指一个有潜在风险的高级机器人。广义上，AI Agent 是指能够感知环境并自主执行任务的系统。构建 Agent 的技术范围广泛，从简单的 LLM 响应链到复杂的架构，后者能够转化目标为行动计划、与 API 互动并使用各种工具。BabyAGI、Auto-GPT 和 AgentGPT 是值得关注的例子。今年，我们注意到与 AI Agent 相关的项目提案数量激增，涵盖了创建和管理 Agent 的框架、优化 Agent 链的策略、评估 Agent 性能的工具，以及买卖 Agent 服务的市场。这些项目中的共同焦点是改善 Agent 与人类的交互。一个引人注目的想法是，通过如拖放和编辑等直观操作，用户能直接影响 LLM 的推理过程。为了执行复杂任务，AI Agent 需要将任务分解成一系列更小、更具序列的步骤。因此，任务的分解和综合已成为 Agent 开发的重点。今年 3 月提交至 arXiv 的一份论文提出了一个名为 CAMEL 的框架，该框架涉及三个 AI Agent 合作：一个负责指导，一个提出解决方案，另一个指定任务。

Foundation Capital 正在关注这一框架及其他类似的项目，并相信 Agent 领域的未来突破很可能源自模型在模拟环境中的迭代交互。虽然 AI Agent 的前景令人兴奋，但它们目前仍在早期阶段。在有限的、定义明确的环境中，这些 Agent 表现出色，但在面临重复任务循环、任务偏差、局限性情境感知以及延迟问题时，它们仍存在挑战。由于 AI Agent 本质上是推理引擎，提升它们的性能将需要优化推理模型，这是一项复杂任务，需要多种启发式方法。像 Imbue 这样的初创公司正在尝试应对这一挑战，专注于用代码训练模型——互联网上现成、逻辑清晰的推理数据资源。

关注点三：多模型策略 哪个合适用哪个

上月在 OpenAI 发生的动荡提醒人们，仅依赖单一模型供应商是有风险的。为了减轻风险并提高产品性能，最好的策略是使用一个集成了开源和专有 LLMs 的模型库，并采用动态路由架构，将任务指派给最适合的模型。最近的研究显示，采用多模型策略的企业趋势正在增加，约 60% 的企业正在使用路由架构。

Foundation Capital 观察到，许多企业不仅仅在使用大规模的基础模型，还渐趋倾向于更小的、定制化模型。这些小型模型通过平台（例如 Foundation Capital 投资的 Outerbounds）结合特定领域的数据和知识进行定制，在某些任务上通常优于更大的模型，并且提供了附加的优势，例如成本较低、响应更快和对模型行为的更大控制。随着生成式 AI 的不断发展，轻松在模型之间切换并分配任务的软件解决方案变得越来越重要。Foundation Capital 投资的 Anyscale，基于开源分布式计算框架 Ray，就提供了这样的企业 AI 解决方案。

关注点四：旧时代 SaaS 公司的计费策略可能会整体改变因为服务商有机会去解决 system-level problems

随着生成式 AI 服务标准的日益提升，以服务为导向的公司需要重新思考自己的价值主张。同时，这也将催生新的软件定价模型。与传统 SaaS 的按席位计费不同，新模型将反映 AI 带来的直接成果和附加价值。这种定价模式的演化也会影响这些应用程序的客户。例如，在计时收费的咨询和法律专业中，AI 工具带来的效率提升可能导致单位定价模式落伍。有了生成式 AI，初创公司还有机会从系统层面着手解决业务挑战。再例如，一个针对营销的生成式 AI 工具能利用企业网络中的客户数据，自主设计、测试和推出有针对性的营销活动。同样，一个生成式 AI 产品可以聚合并分析供应链中的数据，以主动管理需求的波动、应对中断和优化物流。

这种做法标志着 AI 应用范围和影响的显著扩大，预示着 SaaS 新时代的到来，关注的不再仅是单一工作流程的效率，而是整个系统的效率。

关注点五：数据护城河（More than just data moats）

在 AI 开发中，有一个普遍的看法，即数据越多元、质量越高，构建的 AI 模型就越优秀。这产生了一个概念，即 AI 初创公司可以通过数据飞轮建立防御性，即增长的使用会积累更多数据，从而不断完善底层模型，并吸引更多用户。这种循环被认为是构建护城河的有效方式。

尽管在数据孤立且难以获得的行业中，这个理念仍然有效，但仅依靠数据护城河来获得持久竞争优势的观点正逐渐变得不那么坚定。研究表明，AI 规模返回递减，这说明光靠积累越来越多的数据并不保证 AI 的成功。更关键的是，在特定领域，辛苦获得的数据优势可能会因下一次基础模型更新而丧失。因此，以 AI 为中心的公司的数据策略需要更细致，不能仅仅采取“越多越好”的简单策略。最根本的是，它需要与正在开发的模型的具体目标保持一致。例如，尽管公开可用的数据可以作为基础模型训练的起点，但它们通常带有偏见，可能不适合特定的任务。创新的数据生成方法，比如使用模拟（在上面提到的 CAMEL 框架中讨论），将来可能越来越重要。用户生成的数据尤其具有价值，因为它具有高度相关性、实时性以及难以复制的特点。

Foundation Capital 认为，最成功的生成式 AI 公司将建立直观的反馈循环，吸引用户并整合他们的反馈，以持续完善模型。其他可能的竞争优势可能在于界面设计、增加工作流程的黏性和系统的集成能力。在这些不断演变的趋势中，一个明确的共识是，基础模型将只是完整产品的一部分。

关注点六：垂直软件的 AI+（Vertical Software）

垂直软件结合生成式 AI 时，其潜力呈指数级增长。通过整合 LLMs，垂直 AI 解决方案可以更精细地定制工作流程，自动化特定任务，并为每个组织和用户提供定制化体验。 

Foundation Capital 投资的 ConverzAI 和 Docket 就是垂直 AI 的杰出代表。ConverzAI 正在打造一个以语言为驱动的招聘领域 AI Agent，而 Docket 则允许企业克隆顶级销售工程师。在会计、咨询、建筑、金融服务和医疗保健等有大市场规模（TAM）以及生成式 AI 采用率相对较低的行业中，垂直 AI 初创公司同样显示出巨大潜力。

此前，垂直软件主要局限于那些拥有大量干净、结构化数据的领域。但拥有处理非结构化数据能力的 LLMs （涵盖电子邮件、PDF 文件和多媒体内容）的出现，显著拓宽了垂直 AI 解决方案的实用范畴。

除了核心的基础模型之外，垂直 AI 的增长还受到更小、专门化模型的推动，这些模型以特定行业的数据和流程进行定制，通常可以以更低的成本提供更优的性能。