当人工智能有了意识，然后呢？

16世纪晚期，在布拉格，拉比犹大·罗·本·比撒列（Rabbi Judah Loew ben Bezalel）从伏尔塔瓦河岸边采集黏土，用这些黏土塑造了一个人形——魔像。这个魔像被称为“约瑟夫”（Josef），或“约瑟利”（Yoselle），是为了保护拉比的人民免受反犹太大屠杀而创造的，而且显然这样做非常有效。一旦被魔法咒语激活，像约瑟夫这样的魔像就能移动，有意识，并且会服从。但是约瑟夫出了严重问题，它的行为从愚蠢的服从变成了怪物般暴力的屠杀。最终，拉比设法解除了他的咒语，他的魔像在犹太教堂的场地上摔成了碎片。有人说，魔像的遗骸至今仍被藏在布拉格，也许在墓地里，也许在阁楼里，也许在耐心地等待着被重新激活。

拉比犹大的魔像让我们想起了，当我们试图塑造智能的、有感知力的生物时（按照我们自己的形象或从上帝的心智中创造的生物）所招致的傲慢。这种企图大多不会顺利进行，结果也不尽如人意。从玛丽·雪莱（Mary Shelley）的《弗兰肯斯坦》中的怪物到亚历克斯·嘉兰（Alex Garland）的《机械姬》中的艾娃再到卡雷尔·恰佩克（Karel Capek）的同名机器人、詹姆斯·卡梅隆（James Cameron）的《终结者》、雷德利·斯科特（Ridley Scott）的《银翼杀手》中的复制人、斯坦利·库布里克（Stanley Kubrick）的HAL，这些创造物几乎总是会攻击它们的创造者，最终以毁灭、悲伤和哲学困惑而收场。

在过去十年左右的时间里，人工智能的迅速崛起给机器意识的问题带来了新的紧迫感。人工智能现在就在我们身边，内置于我们的手机、冰箱和汽车中，在许多情况下由神经网络算法提供动力，其灵感来自大脑的结构。我们有理由担心这种新技术的影响。它会抢走我们的工作吗？它会瓦解我们的社会结构吗？最终，无论是出于其刚刚萌生的自身利益，还是由于缺乏编程远见，导致地球上所有的资源都变成一大堆无用的回形针，它会毁灭我们所有人吗？在这些担忧的背后，尤其是那些更关乎生存和末日的担忧，都有一种假设，即人工智能将在其加速发展的某个时刻变得有意识。这便是硅基魔像的神话。

怎样才能让机器有意识？有意识的机器会对人类有什么影响呢？而我们要如何区分有意识的机器和僵尸机器呢？

一

为什么我们会认为一个人工智能机器可以变得有意识呢？正如我刚才提到的，人们通常认为（尽管这绝不是普遍的），一旦机器通过了某些未知的智能门槛，意识就会自然而然地出现。但是这种直觉从何而来呢？我认为有两个关键的假设在其中起到作用，但没有一个是合理的。第一个假设是关于任何事物有意识的必要条件。第二个是关于特定事物拥有意识的充分条件。

第一个假设——必要条件，是功能主义。功能主义认为，意识并不取决于系统是由什么构成的，无论是湿件还是硬件，无论是神经元还是硅逻辑门，亦或是伏尔塔瓦河的粘土。功能主义认为，对意识来说，重要的是系统是做什么的。如果一个系统以正确的方式将输入转换成输出，那么就会有意识。正如我在第一章解释过的，这里有两个单独的主张。第一个是关于任何特定基质或材料的独立性，而第二个是关于“输入—输出”关系的充分性。大多数时候它们是一起的，但有时它们也会分开。

功能主义在心智哲学家中是一种流行的观点，也经常被许多非哲学家视为默认的立场。但这并不意味着它是正确的。在我看来，对“意识是独立于基质，或者意识仅仅是‘信息处理’的输入—输出关系”这一立场，无论是支持还是反对，都没有确凿的论据。我对功能主义的态度是一种保持怀疑的不可知论。

为了让人工智能计算机变得有意识，功能主义必须是正确的。这是必要条件。但仅仅满足功能主义是正确还不够，信息加工本身对意识来说就是不够的。第二个假设是，足以产生意识的信息加工同时也是智能的基础。这是一个假设，即意识和智能是紧密相关的，甚至本质上是联系在一起的，意识只是顺带而来。

但这一假设没有得到很好的支持。正如我们在前一章看到的，将意识与智能混为一谈的倾向可以追溯到一种有害的人类中心主义，通过这种主义，我们会从自身价值观和体验的扭曲的视角来过度解读世界。我们是有意识的，我们是智能的，我们是如此特别的一个物种，为自己宣称拥有智能而自豪，以至于我们认为智能与我们的意识状态有着不可分割的联系，反之亦然。

尽管智能为有意识的有机体提供了一份丰富的分支意识状态的菜单，但认为智能（至少在高级形式中）对意识来说是必要或充分的假设是错误的。如果我们坚持认为意识在本质上与智能有关，我们可能会太急于将意识归因于看起来是智能的人工系统，也会过于迅速地否认意识源于其他系统（比如其他动物），只因这些系统未能达到我们值得怀疑的人类认知能力标准。

在过去的几年里，这些关于必要性和充分性的假设被一大堆其他的担忧和误解所粉饰并被排除在外，给了人工意识的前景一种紧迫感以及一种末世般的光景，而这其实并不值得紧张。

以下是其中一些担忧。人们担心，人工智能无论是否有意识，正走向超越人类智能的路上，超出我们的理解和控制。这就是所谓的“奇点”假说，由未来学家雷·库茨魏尔（Raymond Kurzweil）提出，并受到过去几十年原始计算资源惊人增长的推动。我们在指数增长曲线上处于什么位置？正如我们许多人在最近的新冠病毒大流行期间所认识到的那样，指数曲线的问题是，无论你站在指数曲线的哪个位置，前面的路看起来陡峭得令人难以置信，而后面的路看起来平坦得毫不相干。从原地的视角看不出你在哪里。然后是我们的普罗米修斯式的恐惧，担心我们的创造物会以某种方式攻击我们，这种恐惧已经被许多科幻电影和书籍所认识、重新包装并卖回给我们。

最后，一个不幸的事实是，当谈到机器的能力时，“意识”这个词经常被毫无帮助性的滥用。对于一些人（包括一些人工智能研究人员）来说，任何东西，只要会对刺激做出反应、能学会一些事物或者以最大化一个奖励或达成一个目标行事，都被认为是有意识的。而对于我来说，这是对“有意识”合理含义的荒谬过度延伸。

将所有这些因素结合在一起，就不难发现为何许多人认为有意识的人工智能即将出现，而我们应该非常担心当它到来时会发生什么。也不能完全排除这种可能性。如果奇点论者的观点被证明是正确的，那么我们确实应该担心。但从目前的情况来看，这种可能性微乎其微。更有可能的是像图13.1所示的那种情况。在这里，意识不是由智能决定的，智能可以在没有意识的情况下存在。两者都有多种形式，并且都是在许多不同的维度上表达的，这意味着无论是意识还是智能都不是单一维度的。

在图13.1中，你会注意到当前的AI在智能维度上处于相当低的水平。这是因为目前还不清楚当前的人工智能系统是否具有任何有意义的智能。当今的大部分人工智能被描述为复杂的基于机器的模式识别，或许还包含一些规划。不管是否智能，这些系统只是在毫无意识地做着它们该做的事情。

展望未来，许多人工智能研究人员宣称的“登月”目标是开发具有人类通用智能能力的系统，即所谓的“人工通用智能”或“通用人工智能”。除此之外，还存在着后奇点智能的未知领域。但在这个过程中，我们没有理由假设意识只是顺带出现的。更重要的是，可能有许多的智能以偏离类人智能的形式出现，它们是补充而不是取代或扩大我们物种特有的认知工具，这同样不涉及意识。

也许某些特定形式的智能在没有意识的情况下是不可能存在的，但即使是这样，也并不意味着所有形式的智能（一旦超过某些尚不可知的阈值）都需要意识。相反，如果智能的定义足够宽泛，那么所有有意识的实体都可能至少有一点智能。当然需要再次指出的是，这并不能证明智能是通往意识的捷径。

仅仅让电脑变得更聪明并不能使它们拥有感知力。但这并不意味着机器意识是不可能的。如果我们从一开始就尝试按照有意识的方式来设计机器呢？如果不是智能使机器有意识，那要怎样才能造出一台有意识的机器呢？

二

回答这个问题取决于你认为是什么足以使一个系统具有意识，而这又取决于你赞同哪一种意识理论。因此，对于如何让机器具有意识，存在多种观点也就不足为奇了。

在更宽容的一端，那些认同功能主义者观点的人认为，意识只是一种正确类型信息加工方式的问题。这种信息加工不一定等同于“智能”，但它毕竟是信息加工，因此是可以在计算机上实现的。例如，根据2017年发表在《科学》杂志上的一项提议，如果机器加工信息的方式涉及信息的“全局可用性”，并允许“自我监控”其性能，那么它就可以被认为是有意识的。作者对“这样的机器是真的有意识还是仅仅表现得像有意识”含糊其辞，但其潜在的主张是，除了正确类型的信息加工之外，意识不需要其他任何东西。

信息整合理论的倡导者提出了一个关于意识机器的更有力的主张。正如我们在第三章看到的，信息整合理论声称意识仅仅是整合的信息，系统产生的整合信息的数量完全由其内在机制的属性决定，也就是由它的“因果结构”决定。根据信息整合理论，任何产生整合信息的机器，不管它是由什么材料制成的，也不管它的外表看起来是什么样子，都会有某种程度的意识。

然而，信息整合理论也对这样一种可能性持开放态度：即在外部观察者看来，机器可能显得是有意识的，或者是智能的，或者两者兼而有之，但其机制根本不能产生整合信息，因此它们也完全缺乏意识。

这两种理论都没有将意识与智能等同起来，但两者都认为，满足某些特定条件（正确类型的信息加工，或非零整合信息）的机器是会有意识的。但要接受这些含义，当然也有必要接受这些理论。

三

野兽机器理论将世界和自我的体验建立在一种追求生理完整性的生物驱动力上，即维持生存。这个理论对机器意识的可能性有何看法呢？

想象一下在不久的将来，一个拥有硅基脑和人形身体的机器人，它配备了各种传感器和效应器。该机器人由根据预测加工和主动推理的原理设计的人工神经网络所控制。流经其电路的信号实现了其环境和其自身身体的生成模型。它不断地使用这个模型，对其感觉输入的起因进行贝叶斯最佳猜测。

根据设计，这些合成的受控（和控制性）幻觉是为了让机器人保持最佳的功能状态——凭自己的直觉，使它“存活”。它甚至还拥有人工的内感受输入，从而指示其电池电量以及执行器和合成肌肉的完整性。对这些内感受输入的控制导向型最佳猜测会产生合成的情绪状态，从而激励和引导它的行为。

这个机器人自主地行事，在正确的时间做正确的事情来实现其目标。它这样做给人的外在印象是一个有智能的、有感知力的主体。在内部，它的机制直接映射到预测机器上，这是我所提出的具身和自我的基本人类体验的基础。这是一个硅基野兽机器。

这样的机器人会有意识吗？

一个不太令人满意但诚实的答案是，我不确定，但答案可能是否定的。野兽机器理论认为，人类和其他动物的意识是在进化过程中产生的，在我们每个人的发展过程中逐渐显现，并以与我们作为生命系统的地位密切相关的方式每时每刻运作着。我们所有的体验和感知都源于我们作为自我维持的生命机器的本性，这种生命机器关注自我的持久性。

我的直觉是（再强调一遍，这只是一种直觉），生命的物质性对于意识的所有表现都将被证明是很重要的。其中一个原因是，生命系统的调节和自我维护的必要性并不局限于一个层面，比如整个身体的完整性。生命系统的自我维护一直深入到单个细胞的水平。随着时间的推移，你身体里的每一个细胞（或任何一个身体里的每一个细胞）都在不断地重新生成为保持其自身完整性所需的必要条件。但在当前或不久的将来，对任何计算机来说，情况都并非如此，即使对于我刚才描述的那种硅基野兽机器来说，也不会如此。

这并不暗示意味单个细胞是有意识的，也不意味所有的生物都是有意识的。关键在于，在野兽机器理论中，支撑意识和自我性的生理调节过程是由基本的生命过程引导的，而这些生命过程可以“一直贯穿始终、向下分解”。从这个观点来看，是生命而不是信息加工给生硬的公式注入了意识的火焰。

四

即使真正的有意识的机器还很遥远（如果它们真的有可能实现的话），但仍然有很多事情需要担心。在不久的将来，即使没有确凿的理由相信未来机器真的有意识，但人工智能和机器人技术的发展完全有可能带来看似是有意识的新技术。

在2014年亚历克斯·嘉兰的电影《机械姬》中，隐居的亿万富翁、科技天才纳森邀请才华横溢的程序员加勒到他的偏远藏身处，与他创造的智能机器人艾娃见面。加勒的任务是弄清楚究竟艾娃是有意识的，还是她（它）只是一个智能机器人，而没有任何内在生命。

《机械姬》很大程度上借鉴了图灵测试，这是评估机器是否能思考的著名标准。在一个富有深意的场景中，纳森正在询问加勒关于这个测试的情况。加勒知道，在图灵测试的标准版本中，一个人类裁判仅通过交换键入的信息来远程询问一个候选机器人和另一个人类。当裁判始终无法区分人与机器时，机器就被认为通过了测试。但纳森有更有趣的想法。说到艾娃，他说：“真正的挑战在于，先向你展示她是个机器人，然后看看你是否仍然感觉她有意识。”

这个新游戏将图灵测试从智能测试转变为意识测试，正如我们现在所知，这是非常不同的现象。更重要的是，嘉兰向我们表明，这项测试根本与机器人无关。正如纳森所说，重要的不是艾娃是否是一台机器，甚至连它作为一台机器是否具有意识也不那么重要。重要的是艾娃是否让一个有意识的人觉得她（它）是有意识的。纳森和加勒之间交流的精彩之处在于，它揭示了这种测试的真正含义：这是对人的测试，而不是对机器的测试。图灵最初的测试和嘉兰21世纪的以意识为导向的测试都是如此。嘉兰的对话如此灵巧地捕捉到将意识归因于机器的挑战，以至于“嘉兰测试”这个词现在也开始受到关注——这是科幻小说对科学反馈的一个罕见的例子。

许多简单的计算机程序，包括各种各样的聊天机器人，现在都被声称“通过”了图灵测试，因为有足够比例的人类裁判在足够长的时间里被愚弄了。在一个特别离奇的例子中，同样是在2014年，在30名人类裁判中有10人被误导，认为一个假装成13岁乌克兰男孩的聊天机器人实际上是一个真正的13岁乌克兰男孩。这导致人们纷纷宣称，人工智能领域长期存在的里程碑终于被超越了。

但是，冒充一个英语很差的外国青少年比成功冒充一个与自己年龄、语言和文化相同的人当然要容易得多，特别是在只允许远程文本交流时。当聊天机器人获胜时，它的反应是“我感觉以一种非常简单的方式击败了图灵测试”。把标准降低了这么多，考试当然就更容易通过了。这是对人类易受骗程度的考验，但人类失败了。

随着人工智能的不断进步，图灵测试可能很快就会通过，而不会出现这种人为降低标准的情况。2020年5月，研究实验室OpenAI发布了GPT-3，这是一个巨大的人工神经网络，它使用从互联网上大量提取的自然语言示例进行训练。

除了参与聊天机器人的对话外，GPT-3还可以在提示开头的几个单词或几行文字时，生成许多不同风格的文本段落。尽管GPT-3不理解它生成了什么，但它输出文本的流畅性和复杂性令人惊讶，甚至令一些人感到恐惧。它在《卫报》上发表了一篇关于为什么人类不应该害怕人工智能的500字的文章——主题涵盖了从人类暴力心理学到工业革命，其中还包括那些令人不安的文字：“AI不应浪费时间试图去理解那些不信任人工智能的人的观点。”

尽管GPT-3很复杂，但我相当确定，它仍然可以被任何相当复杂的人类对话者所识别发现。对于GPT-4或GPT-10来说可能不是这样。即使未来类似GPT的系统在图灵测试中屡屡胜出，它也只会表现出一种非常狭窄的（模拟）智能形式（非具身的语言交流），而不是我们在人类和许多其他动物身上看到的那种完全具身的“在正确的时间做正确的事情”的自然智能，就像我假设的硅基野兽机器一样。

说到意识，乌克兰的聊天机器人是无法比拟的，更别说是GPT之类的了。嘉兰测试仍然保持原样。事实上，试图创造有感知能力的人类拟像常常会使人产生焦虑和厌恶的感觉，而不是像《机械姬》中加勒对艾娃产生的那种吸引、同情和怜悯的复杂混合感觉。

五

日本机器人学家石黑浩花了几十年时间制造出与人类尽可能相似的机器人。他称它们为“双子机器人”。石黑浩已经创造了像他自己和像他女儿（当时6岁）的双子机器人，以及一个基于大约30个不同人的混合体的机器人电视女主播。每个双子机器人都是由详细的3D身体扫描构造而成，并配有气动执行器，能够产生丰富的面部表情和手势。这些设备中几乎没有人工智能——它们都只是关于人类模仿的，可能的应用包括远端临场或“远程呈现”。石黑浩曾经用他的双子机器人为150名大学本科生做了一场45分钟的远程演讲。

不可否认，双子机器人是令人毛骨悚然的。它们很现实，但还不够现实。想象遇见双子机器人和遇见一只猫完全是截然不同的对立面，所激发的感觉完全相反。当你遇到一只猫（也可以是一只章鱼）时，即使视觉外观是如此的不同，也会立即感觉到另一个有意识的实体的存在。但对双子机器人来说，惊人但不完美的身体相似性会加剧一种分离和异己的感觉。在2009年的一项研究中，游客在见到双子机器人时最常见的感觉是恐惧。

这种反应体现了所谓的“恐怖谷”概念，这个概念是由另一位日本研究人员森政弘在1970年提出的。森政弘提出，随着机器人变得越来越像人类，它将引起人们越来越积极和移情的反应（想想《星球大战》中的C-3PO）。一旦它超过某个点，在某些方面它看起来非常像人类，但在其他方面却不像，这些反应将迅速转变为厌恶和恐惧（恐怖谷效应），只有当相似性变得更加接近，近到不可区分的程度时，情绪才会恢复。关于恐怖谷效应为何存在有很多理论，但毫无疑问它确实存在。

尽管现实世界的机器人很难摆脱恐怖谷效应，但虚拟世界的发展已经爬上斜坡并走出另一端。使用“生成式对抗神经网络”（GANNs）进行机器学习的最新进展，可以生成从未存在过的虚拟人脸（见图13.2）。这些图像是通过巧妙地混合来自真实面孔大型数据库的特征而生成的，使用的技术与我们在幻觉机器中使用的技术类似。

一种“深度伪造”技术可以使这些脸变得栩栩如生并且可以开口讲出任何话，当虚拟人脸与这种技术结合时，并且当它们说的话由日益复杂的语音识别和语言生产软件（如GPT-3）提供支持时，我们好像突然间就生活在一个充满虚拟人的世界里，这些虚拟人与真实人的实际表现难以区分。在这个世界里，我们将逐渐习惯于无法区分谁是真实的，谁是虚拟的。

如果有人认为在视频增强图灵测试令人信服地通过之前，这些发展将达到天花板，那么这样的观点很可能是错的。以这种方式思考，要么显示出人类例外主义的顽固性，要么显示出想象力的失败，或者两者兼有。这种情况会发生。

还有两个问题依然存在：第一个问题是，这些新的虚拟创造物是否能够穿越石黑浩的双子机器人仍然被困的恐怖谷，进入现实世界。第二个问题是嘉兰测试是否也会被淘汰。即使我们知道这些新机器除了是几行计算机代码，什么也不是，但我们是否还是会觉得它们实际上是有意识的，而且是智能的？

如果我们真的有这种感觉，那会对我们产生什么影响？

六

无论是由何种炒作或现实因素的推动，人工智能的迅速崛起都引发了一场重新兴起的必要的伦理讨论。许多伦理问题都与诸如汽车自动驾驶和自动化工厂工人等未来技术带来的经济和社会后果有关，而这些技术所造成的重大破坏是不可避免的。将决策权授予人工系统所引发的担忧是合理的，因为人工系统的内部运作可能容易受到各种偏差和反复无常的因素的影响，而且不管是对那些受影响的人来说，还是对那些设计系统的人来说，系统仍然不透明。在极端的情况下，如果一个人工智能系统被置于负责控制核武器或者互联网骨干网，会引发什么样的恐怖局面？

关于人工智能和机器学习在心理和行为上的后果，也会带来伦理方面的担忧。深度伪造对隐私的侵犯，预测算法对行为的修正，以及社交媒体中过滤气泡和回音室中的信念扭曲，这些只是影响我们社会结构的众多力量中的一小部分。通过释放这些力量，我们心甘情愿地将自己的身份和自主权拱手让给不知名的数据公司，进行一场大规模、不受控制的全球实验。

在这种背景下，有关机器意识的伦理讨论可能显得放纵而深奥。但事实并非如此。即使这些机器（目前）还没有意识，这些讨论也是必要的。当嘉兰测试通过后，尽管我们可能知道或相信机器没有意识，我们还是会与那些我们感觉拥有自己主观内心生活的实体分享我们的生活。这种情况的心理和行为后果是很难预见的。一种可能性是，我们将学会把我们的感觉和我们应该如何行动区分开来，如此一来，尽管我们觉得人和机器二者都有意识，但我们关心在乎一个人而不是一个机器人就会显得很自然。目前还不清楚这会对我们个人的心理产生什么影响。

在电视剧《西部世界》中，栩栩如生的机器人被专门开发出来用于被虐待、杀害和强奸——作为人类最堕落行为的发泄工具。有没有可能在折磨机器人的时候，在没有精神崩溃的情况下，能感觉到机器人是有意识的，但同时又知道它是没有意识的呢？以我们现在的认知来看，这样的行为是极端反社会的。另一种可能性是，我们的道德关注范围将被我们的人类中心主义倾向所扭曲，这种倾向也就是我们对那些我们感觉更相似的实体产生更大的同理心。在这种情况下，相比其他人类，我们可能更关心我们的下一代双子双胞胎，更不用说其他动物了。

当然，并非所有的未来都需要如此反乌托邦。但随着人工智能的进步与炒作之间赛跑步伐的加快，基于心理学的伦理也必须发挥作用。仅仅推出新技术，然后静观其变是不够的。最重要的是，不应该盲目追求重新创造并超越人类智能这个标准人工智能目标。正如丹尼尔·丹尼特明智地指出的那样，我们正在打造的是“智能工具，而不是同事”，我们必须确保能够认识两者的区别。

然后就是真正的机器意识的可能性。如果我们有意或无意地向世界引入新的主观体验形式，我们将面临前所未有的伦理和道德危机。一旦某个物体有了意识地位，它也就有了道德地位。我们有义务尽量减少其潜在的痛苦，就像我们有义务尽量减少生物的痛苦一样，我们在这方面做得不是很好。对于这些假定的有人工感知能力的主体来说，还有一个额外的挑战，那就是我们可能不知道它们可能会体验到的是什么样的意识。

想象一下，一个系统承受着一种全新形式的痛苦，对此我们人类没有对等的感受和相关的概念，也没有任何识别它的本能。想象一个系统中，积极情绪和消极情绪之间的区别甚至都不适用，也没有相应的现象学维度。这里的道德挑战是，我们甚至不知道相关的道德问题是什么。

无论真正的人工意识离我们有多远，即使是遥远的可能性也应该予以考虑。虽然我们不知道创造一个有意识的机器需要什么，但我们也不知道它不需要什么。

正是出于这些原因，2019年6月，德国哲学家汤玛斯·梅辛革（Thomas Metzinger）呼吁立即暂停所有旨在产生他所谓的“合成现象学”的研究，暂停时间为30年。他宣布的时候我恰好在场。当时我们都在剑桥的利弗休姆未来智能中心主办的人工意识会议上发表演讲。梅辛革的请求很难严格执行，因为很多（如果不是全部）心理学的计算模型可能都属于他所说的范畴，但他的信息主旨是明确的。我们不应该仅仅因为觉得人工意识有趣、有用或者酷，就轻率地尝试去创造它。最好的道德是预防性的道德。

在生命主义的全盛时期，谈论人工生命的伦理学可能看起来就像今天谈论人工意识的伦理学一样荒谬。但是，一百多年后的今天，我们不仅对生命的形成有了深刻的理解，而且还拥有许多新的工具来修改甚至创造生命。我们有像CRISPR这样的基因编辑技术，它使科学家能够轻松地改变DNA序列和基因的功能。我们甚至有能力仅仅从基因出发构建出完全合成的有机体：2019年，剑桥的研究人员创造了一种具有完全合成基因组的大肠杆菌变体。创造新生命形式的伦理突然变得非常重要。

或许让我们最接近人工合成意识的是生物技术，而不是人工智能。在这里，“大脑类器官”的出现具有特殊的意义。这些微小的类似大脑的结构，由真正的神经元组成，这些神经元是由人类多能干细胞（可以分化成许多不同形式的细胞）培育而成。虽然大脑类器官不是“迷你大脑”，但它在某些方面类似于正在发育的人类大脑，这使得它们在作为大脑发育出现问题的医学条件的实验室模型上非常有用。这些类器官是否蕴藏着一种原始形式的无身体意识？很难排除这种可能性，尤其是最近的一项研究发现，这些类器官表现出与人类早产儿类似的协同电活动波。

与计算机不同的是，大脑类器官是由与真实大脑相同的物质构成的，这消除了将它们视为潜在的有意识的一个障碍。另一方面，它们仍然非常简单，完全脱离身体，并且根本不与外部世界互动（尽管可以把他们连接到相机和机械臂等类似物体上）。在我看来，虽然目前的大脑类器官不可能是有意识的，但随着技术的发展，这仍然是一个悬而未决的问题，并且令人不安。这让我们回到需要预防性道德伦理这个问题上。类器官意识的可能性具有伦理紧迫性，不只是因为它不能被排除，而且还因为它所涉及的潜在规模。正如类器官研究人员阿里森·穆特里（Alysson Muotri）所说：“我们想要建造这些类器官的农场。”

七

为什么机器意识的前景如此诱人？为什么它会对我们的集体想象力产生如此大的影响？我开始认为，这与一种技术狂热有关。这是一种根深蒂固的渴望，随着世界末日的临近，想要超越我们受限制而混乱的物质生物存在。如果意识机器是可能的，随着它们的出现，我们以湿件为基础的意识心智就有可能被重新安置在一个未来超级计算机的原始电路中，这个超级计算机不会老化，也永远不会死亡。未来主义者和超人类主义者将其比喻为心智上传的领域，这也是他们喜欢的比喻，对他们来说，一个生命是不够的。

有些人甚至认为我们可能已经在那里了。牛津大学哲学家尼克·博斯特罗姆的“模拟论证”概述了一个统计案例，认为我们更有可能是高度复杂的计算机模拟的一部分，这个模拟是由在技术上先进并且痴迷于家族谱系的我们的后代设计和实现的，而不是原始生物人类种群的一部分。按照这个观点，我们已经是虚拟世界中具有虚拟感知能力的主体。

一些被技术狂热所吸引的人看到了一个正在快速逼近的奇点，这是历史上的一个重要节点，在这个节点上，人工智能会自我引导，超越我们的理解和控制范围。在后奇点的世界，有意识的机器和祖先模拟比比皆是。我们碳基生命形式将被远远落在后面，我们在阳光下的时刻已经结束了。

不需要太多社会学洞察力就能看出这种令人陶醉的佳酿对我们这些技术精英的吸引力，从这些角度来看，他们可以把自己视为人类历史上这一前所未有的转变中的关键，并以永生为奖励。当人类例外主义完全偏离轨道时，就会发生这种情况。从这个角度来看，对机器意识的大惊小怪是我们与生物本质和进化遗产日益疏远的症状。

野兽机器的视角几乎在所有方面都与这种叙述不同。在我的理论中，正如我们所看到的，人类全部体验和精神生活都是由于我们作为自我维持的生物有机体的本性而产生的，而我们关心自己的持久性。这种关于意识和人性的观点并不排除有意识机器存在的可能性，但它确实削弱了技术狂热对于即将获得感知能力的计算机的夸大的叙述，这种叙述推动了我们的恐惧并渗透到我们的梦境中。从野兽机器的角度来看，理解意识的探索使我们越来越融入自然之中，而不是离它更远。

正如它应该的那样。

本文来自微信公众号：腾讯研究院 （ID：cyberlawrc），作者：阿尼尔·赛斯