马斯克“掀桌子”，AI大模型+自动驾驶会诞生什么？

特斯拉的全自动驾驶FSD（Full-Self Driving）V12新版本，很好诠释了这一点。仅需8个摄像头，无需用上激光雷达、毫米波雷达、超声波摄像头等等其他零部件，就实现了老司机一般的驾驶能力。

对于什么是老司机的驾驶能力，我们想先通过一个短视频来体现：在纽约交通最乱的第五大道拍摄，FSD可以根据地理位置意识到自己在哪里，从而切换驾驶风格，在西部就佛系跟车，在纽约就一步不让，这是端到端训练时自动学会的。

马斯克甚至颠覆了自己，V12新版本比V11有极大变化，很多V11中采取的技术也被一并抛弃（即便这些技术可能是领先的）。一个对V12最简单的理解是：V11之前都需要告诉FSD遇到红灯需要停，但V12不再需要，而是依靠V12自己学习，自己“悟”出来。

于是，原本由人工编写的30万行代码，如今骤减到3000行，取而代之的是类似大语言模型的训练芯片矩阵（由上万颗英伟达H100级芯片组成），全靠AI神经网络训练解决。可以说V11还是手工作坊式的生产方式，V12已经开启了“工业革命”。

今天这篇文章，我们就来分析一下FSD V12版本背后有哪些颠覆性变化？以及与其他技术路线相比，FSD V12这种纯视觉方案，有哪些优劣势？Enjoy：

V12新版本背后，最重要的颠覆性变化是什么？

V12最大的变化，在于部署了“端到端”的AI大模型。这里面有两大关键点，一个是端到端，一个是AI大模型。

“端到端”是指，一端指输入端，一端指输出端，输入数据的包括摄像头的感知数据、车身的数据等等，中间通过Transformer架构的AI大模型推演之后，最终直接输出到电门、刹车、方向盘。

而通过Transformer架构的AI大模型，是在2022年底，特斯拉Autopilot部门的一位工程师向马斯克提出的建议，要借鉴ChatGPT，让神经网络通过学习人类驾驶员的训练素材，来实现路径规划。

马斯克听后大喜，拍板就这么干。由此开始，FSD的规划部分，就直接放弃了原来普遍采用的Rule-base（通过人为定义的规则）方案，全面转向神经网络。

在这里我们简短解释一下什么是Rule-base方案：Rule-base就是人为规定的规则式驱动。原来自动驾驶分为几个步骤，分别是感知、规划、控制，先有摄像头、激光雷达、毫米波雷达等等传感器获取信息，然后基于感知结果和人为设定的规则，由自动驾驶软件代码来实现决策。

所以这里面很重要的是，一是怎么获取到足够多维和准确的信息，所以大家都往车上装各种摄像头、雷达；二是决策中，由人为设定的规则需要覆盖所有情况。这些代码的逻辑基本是，如果遇到某种特定情况，算法就会查询代码中预先编写好的应对方案，比如遇到红灯需要停车、直行车道不能转弯等等。

但是日常出现的驾驶情况太多了，并且还会有不常见的边角情况（corner case）出现，它们往往非常危险，因为在算法库里，可能没有编好这种情况下的应对方案。此外，在100种不同的驾驶场景中，你可能需要100种不同的踩刹车和加速的方法，才能达到平滑的驾驶效果，否则就很容易晕车。显然，要想让系统在所有情况下都像人类驾驶那样流畅，这是人类工程师哪怕日以继夜地编写代码，也难以实现的。

特斯拉在以往的方法下，已经是市场领先。特斯拉在感知层面，采用了一个叫做九头蛇（HydraNet）的系统来进行物体识别。HydraNet首先通过八个摄像头的图像输入，进入到后端的一个基干网络（backbone），每一个任务都由一个专门的头（Head）来负责，比如进行物体检测、红绿灯识别、车道预测等等，特斯拉一共设计了50个Head，对各种任务的分类很细。

而在规划部分，特斯拉采用的是类似谷歌AlphaGo下围棋的方法（蒙特卡洛树搜索，加神经网络辅助），快速穷尽所有可能性，并计算出其中胜率最高的一条路径。围棋要遵守棋规，FSD要遵守交通规则，这其中就是大量人为定义的规则。简单来说，就是根据预设规则，在所有可能的驾驶轨迹中，计算出一个不会和任何物体碰撞并且不违反交规的最优解。

V12出来掀了桌子，把之前很多技术都丢进了垃圾桶。V12不再需要通过代码写好“遇到红灯需要停下”，而是通过让AI观看大量人类驾驶员的驾驶视频，让AI自己找出成千上万条规律，遇到红绿灯、减速、刹车这是AI自己学会的，是自己“悟”出来的。正是因为这样的一个转变，原来负责这一块的30万行C++代码，如今变成了3000行。这也是为什么V12版本中，FSD的驾驶表现非常拟人化。

从更底层的角度来说，V12“看”的是像素点。V12不需要先识别画面中的东西是什么、再到决策部门根据这个感知结果做判断，而看的是画面中的最小单位像素点，V12把画面上像素点的位置、组成的形状以及运行的规律，直接输入到神经网络中，通过数以亿计的真实视频来学习经验，把现在输入的像素点，与之前学习时遇到的像素位置进行对比，而这些学习的视频，就是真实人类司机的驾驶反应。然后直接输出一个结果，就是执行所需要的刹车、电门、方向盘。

以往视觉方案中的劣势，比如异形障碍物识别失败的问题，现在几乎不存在了，只要能拍到这个物体，让它出现在画面里，它就会成为画面中的一堆像素点，V12只需要这些像素点就够了，所以V12所代表的AI方案被称为“纯视觉的最终解决方案”。

当然，那如果训练所用的视频数据本身是鲁莽驾驶，那是不是训练出来的AI驾驶员就会非常危险？答案确实是，特斯拉的解决办法是开辟汽车保险业务。

比如在美国，特斯拉通过北美的保险业务，延伸出了一套驾驶员行为评分系统，它会对人类驾驶员的驾驶行为严格打分。特斯拉用于训练FSD的数据，全部来自于90分以上的驾驶员，可以说是对数据的要求极为苛刻。

当然，V12跟ChatGPT这样的大模型很像，都是一个“黑盒模型”，它们需要通过足够多的数据训练，才能涌现出一些惊人的能力，并且设计它的工程师也不知道，为什么会涌现出这些能力。

这也是为何FSD需要超过60亿英里的验证里程，只有推理得够多，才能知道如何对模型进行微调和优化，在自动驾驶领域重现大语言模型中Scaling law的情况，实现指数级的能力增长。如马斯克所言：当你有100万个视频片段，勉强够用；200万个，稍好一些；300 万个，就会感觉哇塞；1000万个，将变得难以置信。

那么，特斯拉的追赶者能追上吗？这背后需要的是极其庞大的算力。“现在来看，自动驾驶超越人类驾驶就只是时间上的问题。”马斯克说。在今年一季度，特斯拉把总算力又提高了，等同于3.5万块英伟达H100的算力，到年底还要翻倍达到8.5万块算力规模，这令特斯拉成为美国拥有第一流算力规模的科技公司，与微软、Meta相当。

纯视觉方案，有哪些优劣势？

目前自动驾驶领域，主要分为纯视觉和激光雷达两个方案。如今纯视觉通过结合AI，实现了端到端，有了突飞猛进的变化。在激光雷达方案里，还是依靠Rule-base的方法，通过激光雷达、毫米波雷达、超声波摄像头这些复杂的组合方案，现阶段其实也有不错的表现。那么纯视觉+AI和Rule-base+激光雷达相比，有何优劣？

一言以蔽之，纯视觉（+AI大模型）的劣势是起步慢，但成长性更强。原来的Rule-base在初期能力增长快，但后期空间严重不足，两者存在一个交点。

Rule-base也可以通过不断修改来进行迭代。一旦发现问题之后，就可以找到对应的代码，一般都是if-else语句，if在什么情况下发生，否则else怎么样，这是规则式的核心逻辑。这时候只要修改某个if-else语句的参数量，或者解出错误的行数，把问题修复就解决了。这里面不需要喂大量的数据，直接把修复代码放在车上重新部署即可。

在到达两者的交点之前，意味着Rule-base算法优于大模型。这是大模型的特点导致的，当数据量不够的时候，相比于规则式算法稳定性不够。这也是Rule-base的核心优势，它的解释性比较强，规则非常明确，当把代码部署到车上之后，会具备最基本的能力表现，能让车实现基本的ACC、LCC辅助驾驶功能。但大模型不行，在没有经过足够的数据训练之前，产品是非常弱的。

但在两者的交点之后，纯视觉的端到端模式，则更像是面向未来的终极方案。由于AI大模型具有通识能力，它能够理解以前没有看到过的东西。

比如说，某一次从前面的车上掉下来了一个塑料袋，另一次则掉出来了一个啤酒箱，但是在我们的训练数据集里，从来没有出现过这两种情况。作为人类司机，我们知道塑料袋是软的，不需要规避，但啤酒箱是硬的，需要规避。如果没有大模型，自动驾驶系统就相当于一直生活在车上，它只能解决曾经在这个车上看到的场景。但是真正的人类驾驶员肯定不只生活在车上，他还生活在整个世界里，而大模型有通识能力，它能识别出塑料袋和啤酒箱的区别，它更接近人类，能应对各种场景，更何况它还有8颗摄像头。

此外，从硬件角度来说，纯视觉的端到端模式完胜，因为只需要8颗摄像头，未来最多是不断升级像素，这能极大降低整车成本。而且基本无需担心硬件迭代，所带来的技术断层问题。

如果展望未来，从用户体验角度来说，大模型更能和座舱联动。未来的自动驾驶AI，可能就会和真正有一位司机在开车一样，你可以跟它聊天：比如“刚刚路过的湖叫什么？”，或者给它下达命令，比如“现在靠边停车”或者“我们不太舒服你开稳一点”等等，这是迈向L4级自动驾驶的重要一步，也是提升自动驾驶体验很关键的一点。

当然，虽然说V12的端到端确实是颠覆性的进步，但我们离真正的完全自动驾驶还有一条明确红线，就是——责任在人类驾驶员还是在汽车系统身上，无论从技术、安全还是产品责任的角度来看，这都是一条最重要的分界线。目前，虽然有这么多进步，但我们还处于L2以下，我们可能需要足够多的安全数据，来证明自动驾驶的事故率小于人类，才有可能真正跨越这条红线。

References

1.Morgan Stanley：Tesla Inc Tesla and Nvidia The Journey to AI Supremacy

2.华泰证券：特斯拉(TSLA.US)如何理解特斯拉的当下与未来？

3.中信证券：特斯拉FSD，2023突围之年

4.西南证券：从特斯拉FSD看人工智能

5.WSJ：Elon Musk Pushes to Increase Use of ‘Full Self-Driving’ Software as Tesla Sales Cool

本文来自微信公众号“经纬创投”（ID：matrixpartnerschina），作者：经纬创投主页君，