Benchmark合伙人：训练大模型目前成本远大于收入；但理论上成功回报极大，所以你仍需不断加注

图片来源：Unsplash

Z Highlights：

• 随着LLM的进步，它将超越代码补全（“Copilot”）的功能，进入代码创作（“Autopilot”）的领域。随着LLM变得越来越复杂，它们能够释放的经济价值也会越来越大。AGI的经济价值仅受我们的想象力限制。 

• 目前每训练一个更复杂的LLM所需的资金量都会呈数量级增加，而且一旦某个模型被另一个超越，旧模型的定价权会迅速降为零，这导致训练大模型的成本必然大于收入。但是理论上成功的回报如此之大，如果有一个明确的赢家出现，他们的市场机会几乎是无上限的，因此你必须不断加大赌注。

我相信你读过David Cahn那篇引发争议的文章《AI‘s $600B Question》（AI的600亿美元问题），他在文章中论述道，鉴于NVIDIA预计2024年第四季度的收入为1500亿美元，要收回为训练和运行大语言模型所投入的巨额资金，现在AI收入需要达到6000亿美元，而在这方面我们至少还差5000亿美元。这个数字确实令人震惊……而且只会越来越大。

在我们达到边际价值的有效前沿之前，或者遇到某种其他障碍导致人们对当前架构失去信心之前，现在的竞争就是“谁先眨眼”的游戏。如果你是Meta、Microsoft、Google这样的“大牌”玩家，或者是专注于基础模型的纯玩家，你别无选择，只能继续加注——因为“胜利”的奖励和权力实在太大了。如果你眨眼了，你将两手空空，只能眼睁睁看着别人数着你的筹码。可能会有数千亿美元被毁掉，数万亿美元被赚走。现在还为时过早，不知道谁是赢家谁是输家。但对于我们所有身处初创生态系统的人来说，这将带来新的AI机遇浪潮。

退一步来看，随着LLM的进步，它们能够处理越来越复杂的任务。如果今天的LLM可以处理一个人类需要花费30分钟才能完成的任务，那么随着LLM的进步，它们将能够处理那些需要人类花费更多时间才能完成的更复杂的任务。在未来的十年内，它们应该能够处理那些人类需要数年时间才能完成的任务。因此，随着LLM变得越来越复杂，它们能够释放的经济价值也会越来越大。

例如，据估计，我们每年在全球范围内花费约1万亿美元在软件工程师上。当人们谈论GitHub Copilot时，经常会听到10-20%的生产力提升的说法，当然，GitHub声称提升更高。如果这种提升被完全应用的话，这相当于每年可以创造1000亿到2000亿美元的价值。

随着LLM的进步，它将超越代码补全（“Copilot”）的功能，进入代码创作（“Autopilot”）的领域，价值创造几乎没有上限，因为这将极大地扩展市场——如果有人成为主导者，这将是一个潜在的数万亿美元的机会。而这仅仅是在编程领域。我们都体验过LLM所带来的生产力提升，或是收到了自动化客户支持的响应。AI的潜在价值创造和获取，已经超出了我们现有的思维模型。

挑战在于，每训练一个更复杂的LLM所需的资金量都会呈数量级增加，而且一旦某个模型被另一个超越，旧模型的定价权会迅速降为零。如今，开发者可选择的GPT3.5等价模型已经多到不值得一一尝试。当GPT3.5在2022年11月发布时，它遥遥领先于任何竞争模型，1000个tokens的成本是0.0200美元。而现在，这个价格已经降到0.0005美元——仅仅1年半内价格下降至原来的2.5%。我无法回忆起有哪项技术像LLM这样迅速商品化。这种动态使得此时此刻几乎不可能为任何投资的LLM找到合理的投资回报率，因为每一笔投资几乎都会在下一个版本推出时立刻贬值。然而，你也无法跳过任何步骤。要实现最终的理想目标，理想化的“AGI”，你需要经历无数看似毫无价值的版本。

所以，现在形成了一场完美风暴：

1.随着模型的不断升级，能够释放的经济价值应该显著增加。AGI的经济价值仅受我们的想象力限制。 

2.定价杠杆来自于你在某个维度上领先竞争对手一步。如果落后于竞争者，你的模型对外部客户的价值会迅速被商品化，当然，对于内部用例仍然有价值。 

3.Microsoft、Google和Meta有核心业务，能够源源不断地产生现金流；Anthropic得到了Google和Amazon的支持；而OpenAI则有望继续从拥有自己’现金水龙头’的主权基金中筹集资金。

最终结果是，在短期内，除非在继续投资现有Transformer架构的基础设施的边际价值上达到了一个有效前沿，或者电力资源耗尽，亦或是某个团队凭借智能的算法工作取得无法超越的领先地位，否则这些巨头在这一领域的投资必将继续大幅增加，而成本必然会先于收入。理论上，回报是如此之大，如果有一个明确的赢家出现，他们的市场机会几乎是无上限的，因此你必须不断加大赌注。

我们所有人都是这场战斗的巨大受益者。基础设施、训练等领域极端的投资速度，加上只有在激烈竞争中才会产生的紧迫感，为我们带来了疯狂的创新速度，以及能够以极其低廉的价格处理越来越复杂任务的模型。一些今天可能还无法实现，甚至还不具备经济可行性的应用例如大多数语音和视频应用，很快就会盈利。振奋起来吧！

原文：The big stack game of LLM poker

https://www.sarahtavel.com/p/the-big-stack-game-of-llm-poker

编译：Amber

文章来自于微信公众号“Z Potentials”，作者“Sarah Tavel”