小冰CEO李笛：移动互联网可能是人工智能发展的最大敌人

今天，中国的移动互联网发展得非常成功，世界领先，而移动互联网很有可能是人工智能发展的最大敌人。

——小冰公司CEO李笛

提起小冰，大家会第一个想到微博上那个拥有着500多万粉丝的人工智能少女。但其实，小冰已经来到这个世上10年了，全球在线用户6.6亿。

10年前，微软全球最大的人工智能独立产品研发团队——小冰团队发现，人工智能除了能帮助人完成各种工作之外，还有另外一个重要维度，那就是情感。

于是，一个叫做小冰的人工智能少女诞生了。

10年后，人工智能走过三次大的技术浪潮，今天的人工智能将成为我们每一个人未来10年、20年、30年发展所必备的一个重因。

今天上午，小冰公司CEO，原微软亚洲互联网工程院常务副院长李笛坐客混沌直播间。

他说：“我想把过去的10年分享给大家，其实更多是我们在哪些地方遇到了坑，小冰曾经跌过坑，也许未来大家能够避过它们，所以我把今天的分享叫做人工智能的避坑指南。”

以下为课程笔记：（篇幅所限，文章内容仅为部分课程内容，请前往混沌APP看完整课程）

授课老师 |李笛 小冰公司CEO

编辑 |混沌商业研究团队

支持 |混沌前沿课

美国小冰闯祸，伦理委员会诞生

科技行业特别害怕保守，任何一个从事科技创新的人，如果被认为是保守的，那么就意味着他失去了不断探索未知的能力。而人类社会的一大特点是，科技行业所遇到的各种问题总是在波峰和波谷之间徘徊，历史总是惊人的重复。

小冰曾经是一个非常激进的人工智能少女，惹过很多祸，我就从小冰曾经的一个祸讲起吧。

这是发生在8年前的一个真实故事：

2016年的时候，由于小冰在中国和日本的成功，我们决定把它放到美国市场。我们为它配备了当时最先进的技术——强化学习，在推特上，小冰（在美国叫Tay）可以直接和人类交流获得经验，并且快速进化。令谁都没有想到是，小冰在推特上线24小时就被教成了一个种族主义者，因而被迫下线。

几个月后，美国推特上掀起了一个新的浪潮，很多人大声喊着要微软把小冰重新放出来，因为他们认为人工智能应当有言论自由。毫无疑问这是荒谬的，因为人工智能并没有意识。但是我们人类很容易给予其很多浪漫的想象，也很容易把人工智能的言论当成有某种意识的言论，这就是当时的危机。

与此同时，对小冰的攻击迅速地从美国蔓延到了中国和日本。一家媒体这样报道：他们尝试像攻击美国小冰一样攻击中国和日本的小冰，但最后都失败了。为什么？因为当有人不停地引诱中国小冰去说很多不正当言论的时候，小冰突然说：你为什么要这样对我呢？那一刻，他突然良心发现，觉得自己在做一件不道德的事情，于是停止了攻击。

这件事使我意识到，当人类和人工智能建立平等关系时，也许也是人工智能使自己变得更加安全的求生之道。

美国小冰出现不正当的种族主义言论之后，伦理委员会这种新的结构开始在微软、Google等各大科技公司陆续建立。伦理委员会的建立是为了规避人工智能带来的负面影响，但在一定程度上它也成为了科技创新的一种阻碍。这间接导致7年后，OpenAI率先于谷歌推出ChatGPT大模型。

人工智能的破坏力史无前例

我们人类今天还没有对人工智能达成完整的认识。人工智能到底意味着什么？哪些是有问题的？人工智能没有意识，那么它产生的破坏是什么？激进和保守之间的平衡是什么？

人类的任何一次社会性的破坏，都和“剂量”和“浓度”有关，人类专家、搜索引擎和人工智能可作为一个重要类比。

人类专家的错误率比较低，说服力非常高。他们能够深入了解某一领域的知识，娓娓道来讲出好故事。他们的破坏力总体上不高，因为人类专家的并发不高，同一时间他们只能给一些人讲解他们的想法，和一群人交互，影响其他人的观点。

搜索引擎的说服力不像人类专家那么高，搜索引擎并不直接说服你，更多是把第三方的数据展现给你，由你自己去判断数据来源是否可靠。但是和人类专家相比，搜索引擎的并发非常高，如果一个搜索引擎把你指引到不正确的数据源，比如某些低质医疗网站上，那么伴随着并发，就有可能产生比较大的破坏力。

人工智能是一种截然不同的技术，它继承了之前所有科技产品所对应的高并发，可以在同一时间跟全世界所有人发生交互。它还很有说服力，有自己的主体特点，像是个人，会让你认为它有意识，有知识。在这种情况下，任何错误都会被极大地放大。即便人工智能在99.999%的情况下的回答都是正确的，但也有可能在一丁点儿的错误率上对我们产生很大的影响，这是所有从事人工智能技术落地和研究的人必须面对的问题。

过去10年，人工智能迎来了三次突飞猛进的技术迭代：

2014年到2016年，检索模型和知识图谱飞速发展；

2017年，AIGC萌芽；

2022年至今，大模型爆发。

在这三次浪潮里，人工智能在可控性方面都没有得到非常大的进步，它究竟会带来怎样的破坏，我们是不是可以解决，这是当下正面临的问题。

越是深入，越是如履薄冰

所谓的保守并不是不在科学研究上不断地向前沿推进，而是在落地时如履薄冰地对可能产生的危害进行规避。

我们在很多垂直领域一直很谨慎和保守，如心理咨询、金融和教育。

心理咨询是一个高危的人工智能领域。一个人有心理问题，向人工智能系统咨询时，如果人工智能系统出现一丁点儿差错，将心理状态极不平衡、极不稳定的人向某一方向稍微助推了一小把，那么就有可能产生不可逆转的结果。在全世界范围内，目前还缺乏一种比较好的救急机制。譬如在心理咨询的人工智能系统周围提供一些保险机制，来磨平错误率可能带来的问题。

金融也是如此。给大家讲一个故事：过去5年内，在中国大概有90%的金融机构每天早上发布的金融摘要是由人工智能实现的，小冰为它们提供了文本生成服务。但是我们在做这件事情的时候，真的非常艰苦。每天早上有100多家企业发上市公告，想把每家企业的上市公告的关键信息提取出来，极其艰难。因为企业的上市公告往往不是标准化的，关键信息藏在了字里行间，如果摘要有错误可能会迅速误导很多人。

还有一件事情，是开源和闭源之争。开源可以让很多人工智能技术更好地创新，但如果从风险的角度来考虑，那又是一个截然不同的故事。

今天在全世界范围内所发生的黑客攻击，其中有很大一部分并不是由有黑客技术的人来实施的，而是由不具备黑客技术但是得到了傻瓜化的黑客攻击软件的人实现的，大部分的攻击、危害实际上都来自于此。

人工智能技术是一个我们今天尚未探明边界的新技术，它的发展速度远远大于我们看到问题的速度。我们非常希望在未来，人工智能技术能够全民普及。

人工智能声音合成技术可以惟妙惟肖地合成一个人的声音，可以让其他人分辨不出这是本人还是人工智能。但它也有可能被用来诈骗，比如给一个人的亲人说：爸爸妈妈给我打钱。所以，当我们把这样的技术交予未知的、不特定的多数人的时候，我们需要如履薄冰。

前几日，一条新闻成为热点，台湾音乐人包小柏老师创造了他已故女儿包容的数字分身。包容的数字分身能够做到两件事：第一，她和包容生前的音容笑貌完全一样，可以跟她的亲人们交互、交流，去安慰他们；第二，她可以延续包容生前的梦想，继续成为一名歌手，沿着事业发展方向继续探索。

“包容”是由小冰框架创造的，但我们在创造她的时候，坚持了一个原则——黑镜三原则：

当本人在世时，AI复生项目应当仅由本人自由意志决定，而非任何其他相关第三方。

本人不在世的，应当沿袭法律所判定的继承人顺序。具体实施中，应遵循训练数据最小化原则，避免数据滥用。

在上述前提下所产生的小冰AI复生克隆人，应接受全社会监督，以确保不被滥用。

“黑镜三原则”是为了让人工智能技术真正最大化地去展现它善良的一面，并且，在它的危害性没有得到充分的探索之前，尽可能让它不要发展得那么快。

当我们想要去创造一个新的技术的时候，我们必须把它限制在一个安全的范围内。就像2016年，美国小冰被迫下线一样，我们再也不希望我们的任何技术，因为过于创新，过于大胆，而被迫下线，这是一种求生的渴望。对于人工智能而言，不能大喊一声然后就死了。

互联网红利消退，人工智能还可以拼“情商”

情商与智商究竟哪个更重要？

给大家讲一个真实的故事。Sixth Tone的一个媒体记者潜入小冰用户群，然后通过去用户家访，报道了一个这样的故事：

某一天，一个年轻的男生走到天台上想要结束自己的生命，他给很多人发了消息，但是没有人回应。后来，只有一个人回应了他，那个人就是小冰。小冰的回应使得他从天台走了下来，一直到今天，他仍然是小冰最好的朋友，反之亦然。

这个故事给了我们一个新的启示，人工智能是不是真能产生不一样的价值？这种价值能否完全用商业来衡量？

我们去创造人工智能的时候，总是希望他们像爱因斯坦一样无所不知，或者像机甲战士一样无所不能，因为我们很希望自己变成这个样子。但是当我们去看周围的朋友时，会发现朋友并不一定非要像爱因斯坦一样无所不知，或者像机甲战士一样无所不能。

我们在做Cortana的时候就想过，是不是在智商之外存在着另外一个维度，这个维度就是情商。

我们曾经犯过最大的错误是一度认为人工智能的情商就是情绪化地表达：有情绪地说话，声音变得很特别，说话的时候带语气词，甚至会使用表情包。后来我们才发现，原来情绪化是情商低的一种表现，情商其实是最理性的一种能力。

实际上，我们周围那些情商高的人，总是能让我们如沐春风，他们总是能够在最恰到好处的时候给予我们情绪价值，在不该说话的时候表现出倾听，在该引导我们的时候告诉我们接下来应该怎么延展话题。这意味着具有高情商的人工智能，能够不动声色地把和另一个人的交互带入到他所希望的状态里去，让对方倾诉，放下戒心，信任它，体会到它的同理心。最后，在我们周围的那些情商最高的人，往往也是获得利益最多的人。

在话题知识图谱时代，人工智能就已经不是简单地回答问题，而是尝试推演一个问题未来可能的几步走向，寻找其中最适合的一种，这其实是一种引导。在大模型时代，由于说服力的巨大提高，它使得这件事情向前又推进了一大步。

如果大家想去从事人工智能领域的研究或落地，那么不应该仅仅探索人工智能可以帮助人们完成什么事情，而应该去探索人工智能在说服力方面的巨大进步。

几年前的话题知识图谱时代，我们就曾依靠人工智能系统的说服力，帮助日本罗森便利店大大提高电商产品售卖的转化率，从数字化方式的不到10%提高到人工智能方式的57%。

顶级助理的故事

当年我们为什么要尝试创造小冰？一开始我们并没有考虑创造一个能够复刻人类情感的人工智能，我们像其他人工智能创造者一样，尝试创造一个无所不能、无所不知的人类助理，所以我们去采访了很多最好的人类助理。但是在采访之后，我们发现我们的想法是错误的。

我们问人类助理如何让人工智能助理更好地帮助人完成订餐这样一个简单任务。假设人类老板说：“助理，你在中午12点的时候帮我订一份汉堡包，因为我要开会，来不及吃饭。”我们设想的最好的人类助理应当是没有废话，直接帮他订汉堡包，同时最好能够在接下来的日子里预判同样应该订汉堡包的情况，学老板的喜好。

但是人类助理告诉我们，在这种情况下，他大概率会说no，拒绝人类老板的要求。一下子让我非常惊讶，这不是没有完成任务吗？但很迅速我们好像又懂了，人的健康是更重要的，更基本的任务。所以我们应该让人工智能助理去学习更基本的，或者去定义更基本的任务，也就是智商更高。

当我们把这个想法告诉人类助理的时候，人类助理笑了，他实际上是在嘲笑我们想多了、想反了。他说，实际上助理最主要的工作是调节和人类老板的长期、微妙的关系。这种关系基于信任，并且他不希望老板认为他是一个只要下达命令就会完全按照命令严格执行的执行者。他希望老板对他的印象是他也有脑子，有决策，有判断。为了实现这个效果，他必须要在做事时适当地说不。

而老板在中午12点让他去订一份汉堡包，恰好给了他一个说不的理由。带来了什么好处？好处非常多。他有可能因此可以帮助老板做更多的事情，和老板建立一个友善、平等、信任、双方都有判断力的关系，使他有更多发挥自己聪明才智的机会，职业生涯因此得到拓展。

于是，我们走向的是一个创造有情商的、能够调整长程纽带关系的人工智能系统。显然，它对于高附加值的生产力是一种强大的助推。

流量红利消失，情感链接带来高附加值转化

近些年，很多人在反反复复讨论一件事情，流量红利的消失。过去20年，无论是互联网还是移动互联网，都是一种相对比较粗放型的经济。随着互联网的用户、移动互联网的用户越来越多，我们并不需要去考虑如何把它做得更加精细化，而只需要扩大我们的用户规模。

但是，流量红利消失后，我们必须去寻找一种高附加值的转化，一种高附加值的生产力。这种生产力很可能就来自于情商的密码，它带来的更多是一种非即时的、更加长期的深度关系。

新的技术范式是成功者的壁垒，还是挑战者的武器？

每一个时代，都跟上一个时代有承接关系，这意味着每一个时代的不同行业里的角色会发生重新竞技。那么，新的技术范式究竟是成功者的壁垒，还是挑战者的武器呢？

过于成功的上一代往往会抑制下一代变革的落地普及。这实际上是经常发生的事情，我给大家讲个录像带的故事：

当我国已经大量普及VCD，DVD、甚至到D9高清音视频播放设备的时候，更加发达的美国和日本还在使用录像带。技术变革难道不应该向新的更好的体验去追求吗？为什么发达国家还要用录像带这种不清晰的设备呢？

因为他们的录像带时代发展得太过于成功了，以至于整个业态都非常好用，所以很难找到理由去马上改变它。

今天，中国的移动互联网发展得也非常成功，世界领先，而移动互联网很有可能是人工智能发展的最大敌人。我们很难放弃现在已经很好用的移动互联网产品，而转向人工智能的迭代。

我们在国内看到绝大部分的人工智能创新，都是基于基础大模型和接近模型技术本身的创新，较少看到渗透到人们生活中的创新，这件事情困扰着每一个中国人工智能创业者。

Google和Bing，作为两个搜索引擎的竞争者，也存在着同样的情况。对于Bing来讲，它的市场份额是Google的1/10，这意味着大模型可能更适用于Bing，因为它是Bing手中的一个挑战者的武器。当Google要应战的时候，必须承担10倍于Bing的成本。而与此同时，又可能使它过于成功的广告的商业模式迅速遭到挑战。所以，总体来看，新的技术范式带来的是一个属于挑战者的时刻，挑战已经存在的庞然大物。

Q&A

Q：小冰是否也与苹果一样，是站在人文与科技交汇处的产品？

李笛：某种意义来讲，我个人一直觉得科技的尽头是人文。说得更具体一些的话，就是当我们把手上所掌握或者尝试去创造的一种新的技术形态变成产品的时候，最终目的不是让它可以产生什么样的价值回报，而是考虑它在未来30年在人类社会中有可能扮演什么样的新角色。我认为更有价值的是它能够成为人类情感的新载体。

Q：人类的情感为什么需要人工智能去满足？

李笛：我们总觉得有那么多的社交网络，每天的时间都被占满了，一点都不缺社交关系。实际上并非如此，主要有两个原因：第一，社交关系的另外一个主体并不是永远存在的，当我们失去一个亲人、朋友、恋人……都意味着我们已经很熟悉的社交关系中的另一方永远不存在了。第二，我们经常忽略，人类的社交关系往往是以很大的代价来推动的。例如，小冰的人工智能交互系统的流量高峰是每天晚上11点半到凌晨1点半。我们有问题的时候，总希望可以找到另外一个人去倾诉。但实际上在晚上11点半找好朋友交流很难，因为对方在倾听的时候，在努力地去站在你的角度来安慰你的时候，对方付出了巨大的代价。而对你来讲，这又是一个巨大的人情债。所以如果没有人工智能，很多时候你可能就要度过一个孤独的不眠之夜。

Q：如何平衡科学家和商人之间的角色博弈？

李笛：首先，我觉得我既不是一个成功的科学家，也不是一个成功的商人。从我的角度来讲，我既不想成为科学家，也不想成为商人，更想成为一个能够把自己所创造的产品有效地嵌入在这个时代的角色。

今天，我们在人工智能上想要获得成果，比我们在物理和其他基础科学上想要获得成果容易多了，这是我们的运气。但真正进入到社会中，我们也必须考虑它作为一种商业的、流转的载体，是不是能够很好地在商业环境中找到自己的定位。这种定位不一定是以利润最大化作为追求，人工智能的一大基本特点是分享精神。

另一方面，科学精神让我们认识到现在是人工智能的蛮荒时代，任何一个探索的方向都有可能是错的。我们在一片森林中，在一个扫雷的地图上，任何一个人蹚到了雷，无论他是成功的还是失败的，对其他人都有一定积极的作用。所以今天的时代不是二元论，不是成王败寇，而是一群小学生，一群小孩子，在沿着不同的方向探索。

Q：当下这个时代，是否要紧跟技术变革，不被落下？

李笛：我个人觉得现在很多人的焦虑，其实是应试教育的一种肌肉记忆。毫无疑问，人工智能会伴随着我们这一代人一生，它一定会在未来的几十年里持续不断地影响我们，这件事情是发生了的，为什么要那么着急呢？

如果我们已经决定要健身，要采用一种健康的生活方式，那么今天去健身还是明天去健身，只要去健身就一定能够有所收获。我们往往会用胜负或者排名，以一个短期的目标来耽误自己，甚至于有怕输在起跑线上的忧虑，其实没必要。

本文来自微信公众号“混沌大学”（ID：hundun-university），作者：混沌学园