站在AGI的大门前，为何我们开始感到恐惧？

谁曾想到，一场惊动整个科技圈的内斗大戏，起因竟是一封信。

据路透社透露，在Sam Altman遭解雇之前，曾有OpenAI的研究人员向该公司董事会发出举报信，警告一种强大的人工智能可能会威胁到人类。

这是一个名为Q*（读：Q-stard）的AI模型，知情人士表示这可能是OpenAI在AGI方向上的最新突破。

长期以来，硅谷大佬们针对“AI安全”的争论一直没有罢休。

或许正因如此，这项可能是下一个革命性技术的直接最新发现，才能被内部人士提前曝光。

关于新模型究竟是什么，目前能知道的信息还很少，但从OpenAI的社区留言可以看出来，大多数人对于Q*的到来并不欢迎。

什么是Q*

根据外媒的曝光，我们先来简单介绍一下Q*。

Q*的前身是由Ilya Sutskever团队在2021年发起的GPT-zero项目，目的是解决了合成数据的问题。

如果说此前训练大模型的数据大多源于网络个人数据，而GPT-zero项目可以用计算机生成的数据训练，一下子就解决了数据来源的瓶颈。

对于AI公司们而言，数据也是一种资源。尤其是高质量的语言数据，更是直接决定大模型的质量。

在大模型混战面前，AI公司都是将数十亿参数起步，以TB为单位的数据集进行喂养。不仅数据集可能被耗尽，价格也是水涨船高。

因此当合成数据出现后，就能像永动机一样可以无限生成高质量的数据，从而解决数据问题。

在谈到GPT-zero项目，马斯克也评论称：“Synthetic data will exceed that by a zillion.（合成数据可以超过1ZB）”。

对比目前已有的数据，一个硬盘就能装下（lt’s a little sad that you can fit the text of every book ever written byhumans on one hard drive ）。

在GPT-zero的研究成果下，OpenAI两位高级研究人员Jakub Pachocki 和 Szymon Sidor构建了Q*模型，

虽然目前可能水平并不高（小学生数学能力），但专业人士认为该模型能够解决此前从未见过的数学问题。

而这又牵涉另一个技术——Q-learning算法。

这是一个经典的强化学习算法，有很强的规划能力但不通用、不可泛化；而大模型的优势就是近乎大模型具备了人类水平的泛化能力，又称举一反三。

那么将两者合二为一后，这种既有规划能力，又有泛化能力的大模型，已经非常接近人脑，可以自主学习和自我改进，而最终的结果：大概率可以出现自主决策，并具备轻微自我意识，成为接近超越人类的AGI。

如果报道内容属实，我们可以设想一下，在商业化和安全性观念分歧下，保守派代表Ilya Sutskever高调主导这次罢免Altman事件。

就在今年7月时，Ilya Sutskever就从组建了一个团队，致力于限制AI潜在的安全威胁。

 而在Altman回归OpenAI后，Ilya Sutskever没能留在董事会。

图 | Ilya Sutskever在Ted上谈论AI安全

目前，OpenAI并未对Q*的报道发表回应，OpenAI究竟是不是实现了AGI，我们也只能等后续的报道。

人们在担忧什么？

在报道发出后，OpenAI 开发者论坛的网友们开始了激烈的讨论。

从几个高赞评论可以看出来，大多人对于Q*的到来还是表现地担忧。

不少人表示，AGI到来的速度比想象得太快，由此带来的负面影响，甚至大于大模型本身。

这不免让人联想到此前硅谷大佬们针对“AI安全”的争论——为何在新时代到来前，恐惧、不安也会开始涌现？

让我们以最近DeepMind公布的论文作为参照。

评估一个系统是否符合AGI 的定义，需要从六个维度考虑：广泛性和性能、自主性、持久性、递归性自我改进、任务自主选择、目标驱动。

其中，单就广泛性和性能来说，AGI的最高等级是超越人类（Superhuman AGI），即在所有任务上都能超过100%的人类。也只有这样，才算达到了真正的AGI。

如果再对应其他维度，又可以发现AGI的发展其实会引发许多伦理和安全问题

最终在机遇面前，风险也无法避免：在一些特定领域，AGI可能会超越人类，在关键角色中取代人类，或进行递归性自我改进。一旦这样的AGI最终实现，将彻底改变我们的社会、经济和文化。

有意思的是，网友们对于AGI的恐怖，其实更多出于AI公司垄断的担忧。

从前文可以看出来，想定义AGI是一件非常复杂的事情。如果询问不同的AI专家，或许会给出不同但有联系的答案。

在这种情况下，想要决定某件事是否是AGI，完全是取决于AI公司的领导人。

一旦人工智能在商业化取得可行性方面，同时又能既得利益，这样一款产品很有可能成为一种“垄断”。

我们都知道，Sam Altman其实是一位对AI商业化特别执着的人。作为激进派的代表，Sam Altman对于AGI一直都是最积极的态度。

然而在非营利治理结构下，无论是Sam Altman，甚至微软，一旦开始做出危险的或违背人类利益的行为，董事会都可以直接驱逐。

这也与这次事件的前期发展十分相似。

不过随着Sam Altman回归OpenAI并重组董事会，目前已有的三人均未独立董事。换句话说，董事会其实无法驱逐。甚至自己都被颠覆了。

在缺少了监管后，OpenAI只剩下政府监管机构这一限制。

然而作为OpenAI背后的大金主，微软在美国政府的AI监管对局里，一直扮演积极推进AI的角色，最终政府的监管对于OpenAI的影响也会越来越小。

在利益面前，关于Q*乃至AGI技术本身，似乎也很少有人讨论了。

本文来自微信公众号“镁客网”（ID:im2maker），作者：MKWjh