想在手机上本地跑AI？还是让子弹飞一会吧

“自1971年的 Intel4004——人类首款商用微处理器的诞生以来，这颗由硅材料打造的人类智慧的象征，已经历了超过半个世纪的风风雨雨。

在这个过程中，处理器的演进历程充满了激烈的品牌竞争和市场需求的不断变迁。不同的时代见证了处理器发展的不同趋势：有过追求 CPU 主频至极致的年代，有过对多核心架构探索无止境的时期，也有过对指令集进行深度优化和改革的时刻。

此外，随着智能手机、智能汽车的崛起，研发重心也从桌面计算转向了移动端。可以说，每一次处理器的重大升级和变革都是应时代需求而生的产物。这不仅是技术进步的必然结果，也是科技产业发展的生动注解。”

Intel 4004

Intel i9-13900K

在2023年的科技领域，无论是桌面还是移动处理器，它们都已经开始步入了AI的新纪元。自OpenAI的ChatGPT引发了AI技术的爆发性增长后，AI已经成为了2023年全球科技界的主宰主题。位于科技漩涡中心的处理器市场自然也受到了这股风潮的影响。

下半年以来，各大处理器品牌都开始着手布局AI产品线。NVIDIA以其无可匹敌的地位推出了H800和A800等专业AI计算加速卡。

而在消费级桌面端市场，Intel和 AMD 也不甘示弱，Intel计划在其第14代处理器Meteor Lake中首次集成AI加速引擎（NPU），而AMD在2023年发布的7040系列处理器中集成了AMD Ryzen AI引擎，这是一款专门用于神经网络AI运算的处理单元，最高可实现每秒十万亿次的AI运算。

在移动设备领域，高通和联发科也将AI计算能力作为其年度旗舰芯片的重点宣传对象。苹果的A17pro和M3也在持续优化其NPU架构和增加神经引擎的核心数量，以期在苹果未来的AI生态中发挥出更大的作用。这些新动态都预示着，AI技术不仅正在颠覆我们的生活，更在深度重塑全球的科技格局。

骁龙8Gen3官方宣传资料

当前AI在桌面端上的表现我们有目共睹，LLMs与SDXL为首的应用正在对多个行业产生着重要冲击，而移动端侧仿佛在2023Q4也开始了“春秋之战”。

那事实上，移动端侧的AI计算能力到底如何了呢？作为普通消费者是否对移动端本地化AI计算有所需求呢？

01 7B，10B，13B参数AI模型，这个B是个什么玩意？

AI生成-Midjourney

相信很多小伙伴都看到“高和联”两家旗舰芯片的宣发时都会注意到，他们都将成功运行XXB（多少亿）参数AI大语言模型的字眼作为营销重点。

那么这个B或者说参数量级是什么意思？在AI模型领域，”B” 通常代表 “billion”，也就是十亿，它指的是模型参数的数量。例如，”LLama-2-7B” 中的 “7B” 意味着这个模型有大约70亿个参数。

Meta开发的LLama-2-7B模型，服务于移动设备或低功耗PC

参数数量是衡量模型复杂度的一个重要指标。一般来说，参数越多，模型的复杂度越高，对数据的拟合能力越强。简单说，这个数字很是关键，通常情况下，参数越多，模型的处理能力和理解复杂性越强，但也需要更多的计算资源。

丰富的模型参数数量如同给一位厨师以丰富的食材原料(AI生成-Midjourney)

02 那参数量是越大越好吗？

不见得，在某些情况下，特化的小模型可能在特定任务或场景上表现得比大模型更好。这是因为小模型可以更好地针对特定的任务进行优化，而大模型可能在尝试适应更广泛的任务时失去了一些特定性。

例如，假设我正在开发一款专注于美容美颜主题的AI大语言模型。我收集了所有关于美容养颜的网络资料，最终模型的参数量达到了30亿（3B）。尽管参数量较小，但模型能够更精确地针对特定任务进行优化，有效避免过拟合问题。同时，模型可以专注于与特定任务相关的特征，无需学习大型模型中的无关特征。相比之下，这种专注性使得小型模型在某些方面超越了参数量为30B或50B的通用大型模型。

AI生成-Midjourney

从某开源AI模型的测试成绩中，我们也可以看到这一点。在这次测试中，LLaMA2-13B模型的子项分数和平均分数均优于Aquila2-34B模型。

03 主流的AI大语言模型的参数量是多少？

以我们熟知的ChatGPT为例，其GPT-3.5版本（于2022年12月发布）拥有1750亿（175B）参数。而目前我们最常用、最熟悉的GPT-4在完整的120层模型中拥有18000亿（1800B）参数。另一个表现出色的模型，Claude 2，其参数量为1300亿（130B）。

在国产模型方面，尽管百度的文心一言没有公开其参数量，但根据我们的推算，其最新的4.0版本的参数量预计也已超过千亿，即1000亿（100B）以上。最近流行的国内大模型月之暗面（Moonshot）的参数量也超过了千亿。在部分小模型中，阿里云的通义千问开源版本达到了140亿（14B）参数量。

04 移动端处理AI性能的能力

尽管MTK 9300和高通8gen3这两款旗舰芯片没有公开其实际运行模型的测试过程，我们仍可以从它们的声明中获取一些信息。MTK 9300强调，它可以在运行参数量为70亿（7B）的模型时实现20 tokens/s的性能。

需要注意的是，”tokens”这个词在这里的含义可能会有所不同，它可能指一个词、一个字符，或者在某些语言中的一个字母。

在高通方面，他们声明其8gen3芯片在运行Meta开发的Llama 2模型时（Llama 2有7B、13B和70B版本，如果没有特别强调，那么一般指的是7B版本）可以达到15 tokens/s的性能。

高通骁龙8Gen3官方宣传资料

根据一些经验来判断，在7B大小的模型中，二者的速度都已经够快了，可以较为流畅自然的速度来实现文字对话或者实时的语音识别与翻译。

05 移动端处理AI性能的性能巨大消耗

虽然移动设备如手机和平板电脑确实可以在本地运行AI模型，但由于这些设备更多地用于个人用途，运行AI模型时会调用一些特定的资源。首当其冲的便是神经处理单元（NPU），这是今年几款旗舰SoC芯片（如A17pro、8Gen3、9300、X Elite等）都在强调的部分。NPU是专门用于神经网络处理的处理器，拥有高效的矩阵乘法和卷积运算能力。在处理AI任务时，NPU主要用于执行模型的推理。

此外，手机的中央处理单元（CPU）和图形处理单元（GPU）也会实时参与其中，负责执行模型的解码、预处理和后处理等任务。同时，手机的随机存取 内存 （RAM）也会被大量使用。对于熟悉AI模型的用户来说，无论是在PC本地的LLMS还是SDXL上，对内存和显存的占用都是相当大的。在移动设备上，RAM主要用于存储AI模型、数据和中间结果。在处理AI任务时，内存的带宽和容量是影响性能的重要因素。

对用户实际使用影响最大的部分是大量的RAM消耗。在MTK 9300的官方发布中，联发科官方介绍说，一个拥有1300亿参数的AI大模型大约需要13GB的内存（在INT8精度下）才能运行。因此，即使是一个拥有70亿参数的模型，也大约需要7GB的内存。尽管存在一些技术，如INT4量化（通过降低计算精度以减少内存消耗），但是在完整调用运行一个7B的AI模型时，也需要至少4GB的内存消耗。这对于RAM资源本就非常宝贵的Android系统来说，无疑是雪上加霜。

可以想象，如果未来本地的AI模型普及开来，当前主流的8GB手机RAM肯定是不够用的。一旦打开AI程序，用户可能会面临其他应用被强制关闭，以及由于反复调用部分应用而导致的系统卡顿等问题。

06 AI 落地移动端？让子弹飞一会

不少小伙伴看到这里，都以为我在唱空移动端侧AI，但其实错了，其实我对于移动端AI应用是一个多头。毕竟手机是我们日常生活中最常用的智能设备，而且我们也看到，从OpenAI布局移动版的ChatGPT，到国内大模型纷纷转战移动端APP，再到手机厂商的“百模大战”，还有智能汽车领域的算力大辩论，都表明移动端的AI应用潜力巨大。

而发展方向上，我认为移动端侧当前十分强调的本地LLMs（大语言模型）并不会是最终的发力方向，因为由于在精度的限制，本地LLMs的质量可能堪忧，即使可以输出较长的对话内容，但其逻辑性与合理性上都会与已知的PC端产品有较大的差距。

那么移动端该如何发展本的AI呢？我认为首当其冲的应该是图像识别与TTS（语音合成系统）。移动设备（涵盖手机与智能汽车）作为视觉与听觉传播的重要媒介，其能带来的远不止文字流的输出。

关于图像识别功能，随着手机摄像头技术的不断进步，图像识别在移动端的应用越来越广泛。例如，人脸识别、物体识别、场景识别等。未来，随着手机端AI算力的提升，图像识别的准确性和实时性将得到显著改善。

GPT长眼睛了，史诗级功能悄咪咪发布！

此外，随着智能汽车移动端AI计算能力的提升，图像识别技术在智能汽车中的应用将变得更加广泛和精准。例如，自动驾驶系统可以借助图像识别技术实时识别路况、标志牌、行人以及其他车辆，从而做出准确的驾驶决策。同时还可以衍生出图像识别可以用于识别车辆的周围环境，并提供相关的服务信息。例如，车辆可以通过图像识别来识别附近的餐厅、酒店等信息，并提供导航和预订等服务，催生新的业态。

另外一点就是语音合成（TTS）这也是本次OpenAI开发者大会中提及的重点内容，该技术结合AI，可以将文本转换为自然语音，广泛应用于智能助手、语音导航、语音阅读等场景。随着手机端AI算力的提升，TTS技术将更加成熟，生成的语音将更加自然、流畅。配合智能AI助理等功能来实现钢铁侠中“贾维斯”的科幻场景落实。

同时，移动端侧越来越强大的AI算力，还可以让V2V（车车互联）慢慢实现，通过AI和V2V技术，车辆可以共享路况信息，如拥堵情况、事故、路面状况等。这些信息可以帮助驾驶员或自动驾驶系统做出更好的导航决策，提高道路使用效率。甚至，可以自动与同目的地的车辆组成车队，AI可以控制一组车辆以固定的速度和距离行驶，从而提高燃油效率和道路容量。

在对未来人工智能市场的展望中，可以明确地预见到，在日常民用领域，移动端将无疑占据主导地位。目前，移动设备在运行大规模AI模型时，的确面临着内存和计算资源的限制。然而，随着科技的持续进步，我们有理由相信这些挑战将会被逐步克服。

作为消费者，在面对如潮水般涌来的AI营销攻势时，我们需要保持清醒的判断力，同时也应对新兴技术抱有好奇心和期待。毕竟，自信息技术革命以来，很少有哪一项技术能引发如此广泛的关注，并激发全球科技巨头展开如此激烈的竞争。人类历史已经多次证明，只有竞争的时代才是科技进步最快的时代，才是人类文明的闪耀时刻。

本文来自微信公众号“PConline太平洋科技”（ID:pconline_cn），作者：PC