首次曝光，OpenAI遭遇罕见挫折，中断开发新AI模型

去年年底，当聊天机器人ChatGPT开始在全球引发轰动的时候，人工智能研究公司OpenAI的工程师们就已经开始着手研究新的人工智能模型，并为其取代号Arrakis。

OpenAI CEO Sam Altman

尽管OpenAI利用大语言模型（LLM）GPT-4提升了ChatGPT的性能，但Arrakis模型将使该公司能够以更低的成本运行聊天机器人。Arrakis的成功也将帮助OpenAI向微软展示其连续创建大语言模型的超能力，这对两家公司完成100亿美元投资和产品合作谈判都具有重要意义。

但据知情人士透露，到2023年中期，OpenAI取消了Arrakis的发布，因为该模型的运行效率并没有公司预期的那么高。这一失误意味着，OpenAI失去了许多宝贵的发展时间，并需要将资源转移到开发不同的模型上。此外，此次失败也让微软的多位高管感到失望，因为后者曾花费巨资购买了在其产品中使用OpenAI新技术的权限。

Arrakis项目受挫可能打破OpenAI不可战胜的光环。此前，OpenAI击败了人工智能先驱谷歌，并打造了历史上增长最快的软件业务之一。这表明，人工智能的前沿领域充满了难以预测的陷阱。

虽然Arrakis的问题并没有拖累OpenAI今年的业务，但随着推出新大语言模型的竞争加剧，这家初创公司可能会在明年感受到影响。例如，谷歌即将推出人工智能模型Gemini，并希望其能在编码和其他能力以及响应的准确性方面击败GPT-4。

就OpenAI而言，该公司继续对其业界领先的模型进行改进，包括解码图像的能力，并计划在11月份宣布一系列新功能。大语言模型是ChatGPT等产品的基础，OpenAI内部甚至认为其有可能成为一种操作系统，包括用于个人设备，因为这些模型能够编写代码、理解图像和检索文件等。

得益于GPT-4带来的巨大优势，OpenAI的业务迅速膨胀。OpenAI之所以能达到年化13亿美元的收入（远高于去年全年的2800万美元），主要归功于GPT-4，它为ChatGPT的付费版本提供动力。在今年第二季度出售员工股份后，OpenAI的账面价值约为300亿美元，但该公司正试图大幅提高这一估值。

01 表现不及预期被叫停

据知情人士透露，OpenAI从去年秋天开始开发Arrakis，希望开发出一种与GPT-4能力相当但运行效率更高的模型，部分原因是利用了机器学习领域所谓的稀疏性(Sparsity)。稀疏性指的是模型具有非常大的容量，但只有模型用于给定任务、样本或标记的某些部分被激活。这样，能够显著增加模型容量和能力，而不必成比例增加计算量。

谷歌等其他人工智能开发商也公开讨论了他们对稀疏性的使用，OpenAI成功地将这个概念纳入了早期的软件中。他们说，Arrakis将允许OpenAI更广泛地推广其技术，因为该公司可以使用数量有限的专用服务器芯片来为其软件提供支持。

到了今年春天，OpenAI的研究人员开始训练其新模型，其中包括使用先进的计算硬件来帮助模型处理大量数据，以便它能够学习其中的模式。知情人士说，OpenAI预计这将比训练GPT-4的成本低得多。然而员工们很早就意识到该模式的表现不够好，无法获得预期的效果。在员工们花了大约一个月的时间试图解决这些问题后，OpenAI管理层决定叫停这个项目。

不过，尽管遭遇挫折，OpenAI仍然可以将其在Arrakis上的工作整合到其他模型中。其中包括即将推出的模型Gobi，它可以生成或分析文本和视觉效果，也被称为多模态模型。

两位知情人士表示，OpenAI曾试图提高模型的稀疏性从而降低运行成本，但Arrakis的表现依然低于该公司的预期。这个模型在早期测试中表现不错，但其在之后的测试中表现不佳的原因尚不清楚。

一位知情人士说，Arrakis是以《沙丘》系列中一颗沙漠星球命名的，这是对模型设计中使用稀疏性的一种象征。OpenAI其他模型的代号（包括Gobi和Sahara），其公开为GPT-3.5 Turbo，也使用了类似的沙漠象征，以反映OpenAI正努力使模型变得稀疏。

类似这种感觉

两位知情人士表示，自从Arrakis项目失败后，OpenAI研究人员开始转向开发新版本的GPT-4，以期更快地对用户需求进行响应。其中一位知情人士说，OpenAI曾讨论将更新后的模型称为GPT-4 Turbo，这也是OpenAI在Arrakis失败之前考虑过的对外名称。

对于OpenAI来说，随着人们对该技术成本的担忧日益加剧，以及开源替代方案的激增，让其模型变得更便宜、更高效是他们的当务之急。OpenAI发言人未予置评。

知情人士表示，微软使用OpenAI的GPT模型来支持Office 365应用和其他服务中的人工智能功能，并预计Arrakis将提高性能并降低这些功能的成本。微软搜索引擎必应依靠GPT-4和其他模型为类似ChatGPT的聊天机器人提供支持，该公司原本希望在2023年初就能用上Arrakis模型，但这个目标最终未能实现。

这次升级失败在商业上可能给微软带来了很大损失。因为很可能在早期发布产品时，微软是按照该计划可成功的预期进行定价的。根据华尔街日报的报道，微软的拳头AI产品GitHub Copilot定价10美元，而平均每个月在每个用户身上都要倒贴20美元，最高能达80美元。这表明，微软一个月在这一款软件中的亏损就高达3000万美元，一年亏损预计过亿。

据悉，自那以后，微软始终致力于开发其他大语言模型。与OpenAI相比，这些大模型的运行成本可能更低。

02 降低成本成未来趋势

许多行业从业者预计，稀疏性模型能够降低人工智能开发成本。在今年8月的一次会议上，谷歌首席科学家、Gemini人工智能模型的主要开发者杰夫·迪恩(Jeff Dean)表示，未来几年，该行业将朝着稀疏性模型的方向发展。

与Llama 2等“更密集”的模型不同，稀疏性模型只调用模型内的某些计算，即完成任务所需的参数，使该过程更具成本效益。迪恩说：“稀疏计算将是未来的一个重要趋势！”

许多人工智能从业者说，增加稀疏性的一种方法是通过一种被称为“混合专家模型”的技术。在这种技术中，大型模型的特定部分被训练来处理某些任务。换句话说，这些子模型成为执行这些任务的专家，这样就不需要触发整个模型。知情人士称，OpenAI将这项技术纳入了GPT-4, Arrakis也会这样做。

GPT4是由多专家模型组成的稀疏模型

加州大学伯克利分校的计算机科学教授伊安·斯托伊卡(Ion Stoica)在一封电子邮件中写道：“一般来说，专家模型的数量越多，模型就越稀疏，效率也越高。然而，这也可能会导致结果不那么准确。”

参考资料

OpenAI Dropped Work on New ‘Arrakis’ AI Model in Rare Setback — The Information

本文来自微信公众号“腾讯科技”（ID:qqtech），作者：金鹿，编辑