人工智能创业试金石
现在，没有什么比说你正在建立一个由人工智能或GPT4驱动的公司更酷的了。但仅仅酷是不够的。杰克·多尔西（Jack Dorsey）并没有为Twitter筹集资金，他说他们正在Heroku上建立一个社交媒体网站。
当 Spanning Labs（德鲁的公司）构建 web3 基础设施时，我们发现自己不断需要解释我们不是在寻找问题的技术，而是相反。太多人花了太多年时间构建和投资 web3 技术而不是企业。我们看到今天在生成式人工智能中出现了类似的模式。
生成式 AI 是一个强大的工具集。它确实改变了游戏规则。但这不是最终游戏。
这是一把双刃剑：在人工智能中构建从未如此简单。在（巨大的）好处方面，这意味着我们现在可以将以前不可能实现（或以前只能线性扩展）的商业理念转化为伟大的、回报基金的投资。现有公司也在利用人工智能来建立新的效率，让他们走得更远、更快。这一切都非常令人兴奋。不利的一面是：还有很多新的垃圾需要筛选。
我们最近参加了一个演示日，其中三家公司听起来很有前途 - 然后我们查看了他们刚刚在其上构建皮肤的开源库。现在，要知道什么是困难的、独特的和可防御的——而不是建立在开源项目之上的周末项目，可能很棘手。创始人和投资者，尤其是在指数增长和共识的时刻，在评估下一个生成人工智能公司时，需要通过一些试金石问题。
幸运的是，如果你知道去哪里看，那么一个小团队可以通过多种方式在今天的人工智能中构建一些困难、独特和可防御的东西。因此，我们（摩根和德鲁;是的，我们是兄弟姐妹）在最近的一次家庭晚宴上齐心协力，为创始人和投资者编制笔记和危险信号，他们分别在推动和评估在生成式人工智能中建立的新创业公司。
里面只是人工智能
第一个音符很简单，也是最重要的。如果你在你的推介材料中引用了人工智能，这仍然是一个好生意吗？
AI 可能对您解决问题或扩展解决方案的方式至关重要，但对于此测试，请将其视为黑匣子。如果你正在构建一个用户喜欢的产品，并且你在人工智能之外的东西上是可以防御的，那么恭喜你。（来和我们谈谈）。
专注于引擎盖下的酷炫 AI 如何与核心业务价值主张相关联。“ChatGPT for X”不是生意。X是生意。从那里，您可以使用已经验证的相同系统和方法来评估 X。X是一个足够大的市场吗？人们愿意为X付费吗？X 在某种程度上是可以防御的吗？
如果你正在构建一个产品质量严重依赖于生成式人工智能的产品，那么其他可以访问基础模型的人（即每个人）也可以同样闪耀。另一方面，如果您的用户体验是无与伦比的，因为您比任何人都更了解您的最终用户，那么您可能会有所作为。
好企业就是好企业。
您在正确性谱系中处于什么位置？
人工智能模型会出错。它们是问题的概率解决方案。在大多数LLM的情况下，他们正在猜测下一个最可能的词。这意味着他们幻觉事实，得出错误的结论，撒谎。随着模型变得越来越智能，注意力窗口越来越大，这个问题越来越好，但这永远是一个问题。
对你来说，这意味着几件事。首先，考虑你的产品在一项任务中失败的频率，但仍然有价值。直接向患者提供医疗建议的聊天机器人需要一个基本上完美的正确性栏。向医生提供医疗建议的聊天机器人只是将其用作众多工具之一，需要清除的门槛较低。确保您正在考虑您的酒吧在哪里，并且考虑到这一点，您正在为正确的用户提供正确的产品。
专注于正确的行业和用户角色甚至可以将这个问题转化为优势。在一些不一定有“错误”答案的创造性领域，这些幻觉可能是有价值的表达。
自动驾驶汽车行业花了最多的时间来研究这个正确性问题，以及为复杂的模型和系统解决这一问题的框架。这通常称为操作设计域 （ODD）。通过绑定 AI 的 ODD，测试和验证管道的正确性变得更加容易。对于自动驾驶汽车来说，这意味着将车辆限制在非常特定的路况、地图和场景中，并模拟数百万英里的行驶里程。
此方法最简单的示例是具有已验证 ODD 的 LLM。你问模型任何问题或任务，它只会回答它不知道如何回答或继续。“我不知道”不是特别有用，但至少永远不会错！
正如唐纳德·拉姆斯菲尔德所说：“有已知的未知数;也就是说，我们知道有些事情我们不知道。但也有未知的未知——那些我们不知道的我们不知道的......后一类往往是困难的。
如果你可以定义所有的“已知”并构建护栏来防止任何“未知的未知”，那么你就可以为特定用例实现高标准的正确性。
这并不容易，而且非常特定于案例，但是可以定义ODD并将您的产品限制在该ODD，从而使需要高度正确性以进行范围广泛的使用的业务相当独特。
让您的 AI 管道与众不同
我们正在越来越深入一个基础模型为王的世界。没有数十亿美元，你不应该期望建立并保持在人工智能研究的最前沿。
这意味着您应该将时间集中在围绕这些基础模型可以构建的内容以及如何优化它们上。NFX 的 5 层生成技术堆栈是一个很好的起点。
请记住，基础模型就是：基础。围绕基础模型推理，您可以在其中在 AI 管道中构建可靠的差异化。
一些例子：
– 为正确的任务选择正确的基础模型;像 GPTNeox 一样，汇总信息以输入 GPT3 的上下文窗口可以优化性能和基础架构成本。
– 使用自定义嵌入提示工程和预处理数据，以显着提高特定生成任务的性能。
– 对结果进行后处理，以强制执行 ODD 的边界。
– 将基础模型微调为特定数据集以获得独特的性能。
– 强大的基础架构，支持端到端验证管道，允许在公司的管道中构建快速测试、迭代和改进。
评估 AI 初创公司的团队
第一：不要炒作招聘。
创始人们，考虑到聘请在思科拥有10年经验的基础设施工程师，而不是斯坦福大学热门的新ML博士，对你来说可能更重要。到目前为止，我们在构建差异化方面所讨论的很多内容实际上并不需要一群以研究为重点的ML工程师。
不要误会我们的意思，您需要内部专家，他们可以阅读最新论文并将该技术整合到您的产品中。我们不会撒谎;现在，ML博士的聘用可能会使筹集早期轮次变得容易一些。但是，您整合这些更改的速度和程度通常归结为良好的基础设施。关键基础设施的聘用将使构建和维护尖端产品和可持续业务变得更加容易。
这是华而不实和可持续之间的艰难平衡。能够进行新的研究并为提高人工智能能力做出贡献是很棒的，但如果没有一个非常大的研究团队，就很难将其变成一个可重复的过程。
对于创始人和投资者来说，这里的重要教训是，你应该将优秀的基础设施工程师视为一些最好的生产ML工程师。事实上，具有生产化系统工作经验的 ML 工程师可能会花费大量时间在基础设施上工作。
另一个教训是，在生成式人工智能时代，你的创业公司并不需要你想象的那么多人。你可能会对你需要的人的类型感到惊讶。
一些好的试金石
以下是您应该问自己的一些具体问题，投资者肯定会问您。
问：基础模型会吃你的午餐吗？
- 你花在什么上，只有当你放弃新的基础模型时，才会变得更好？
- 围绕可以申请专利的基础模型的调用，您在 AI 管道中构建了什么？
问：如果其他人有同样的想法并且可以访问相同的模型（他们这样做），您将构建哪些独特，困难且他们无法做到的模型？
- 差异化是否存在于预处理、后处理、测试管道等中......
- 或者它是否存在于您的用户体验、商业模式或问题焦点的技术堆栈之外？
问：您需要多久向用户提供一次正确答案才能使产品可行？
- 您如何定义您的 ODD 并围绕已知的未知数和未知数构建护栏？
- 您如何衡量正确性？
问：用户使用 ChatGPT+ 执行与您的核心产品相同的任务需要多长时间？
- 仅仅是知道正确的添加提示的问题吗？
- 它是否需要大量的设置，例如复制和粘贴到其他文档中？
- 可能吗？
问：如何验证 AI 管道中的更改是否改进了产品，验证需要多长时间？
- 您使用什么指标来衡量改进，它有哪些固有的偏差？
- 您的流程是手动的还是自动化的？
- 如果自动化，您的验证管道是否具有语义含义/何时指标更改是清楚原因？
问：为什么你是做这件事的合适团队？
- 您对客户角色的了解程度如何？
- 您是否有建立和优化生产 ML 基础设施的经验？
- 您了解如何评估和测试 AI 模型的优势和劣势吗？
