从前两年的百模大战到大语言模型 LLM(Large Language Model)的逐步落地应用,端侧AI始终是人工智能技术发展中至关重要的一环。
所谓的端侧AI,即用户在使用过程中不依赖云服务器,直接在终端设备本地使用AI服务。相比于ChatGPT4.0和最新推出的Llama3.1等依赖于云端接口的主流大语言模型,设备端边缘应用的紧凑模型有较强的私密性,也具有个性化操作和节省成本等诸多优势。
虽然,目前市场中已有以微软为代表的几家公司提出了“AI PC”,即将云端大语言模型成功缩小,能够在手机、电脑等更广泛的低成本边缘设备上得以使用。然而,确保在低成本智能设备上,随时随地使用自动化程序,仍然是小语言模型(Small Language Model) 面临的重大挑战。
初创公司「Aizip」于2020 年创立于美国硅谷,专注于轻量化模型在感知端、边缘端等智能硬件上的端侧AI应用。「Aizip」团队成员均来自于斯坦福、伯克利、麻省理工、卡耐基梅隆等知名院校,多位成员曾供职于Google和Meta。
「Aizip」 现已创建了一系列小型语言模型(SLM)和 AI Agents,并取名为Gizmo,其大小从 3 亿到 20 亿个参数不等。该模型支持在各种平台使用,让不同设备间有更好的兼容性,也在不同设备间切换时,让用户体验到一致的操作和功能。
「Aizip」 目前主要面向企业端客户提供智能客服、技术支持、财务支持、人力支持等一系列服务。个人用户可以在手机、平板、手表、汽车、家电等智能设备终端使用个性化语音助手服务。
「Aizip」希望通过构建可随时在移动端部署,且扩展性较强的AI模型,让用户能在任何地点使用AI应用。公司目前突破了以数据为中心的模型效率,以及AI 设计自动化等关键技术。
相比于大模型,小模型可以部署在十美金以下的芯片上,其应用和推广成本低得多,可以广泛应用于智能设备的移动端。
这意味着AI能够更加快速、精准的给用户提供建议。用户也能更加方便地在手机和平板上使用AI技术处理日常工作并进行娱乐,并在离线状态下使用AI的个性化的服务。
据了解,「Aizip」近期已与知名半导体芯片供应商瑞萨科技(Renesas)合作正式推出基于 ARM 微处理器单元(MPU)的超高效小型语言模型 SLM(Small Language Model)和紧凑型AI Agents。瑞萨科技提供广泛的微控制器、系统芯片、电源管理 IC 等产品。
「Aizip」创始成员之一、Aizip SLM和AI Agents 开发负责人 Weier Wan 表示:“我们正见证高效 AI 的一个关键时刻,端侧 AI Agents 可以真正让一切事物懂得思考。在运行速度为 1.2 GHz 的单个 A55 内核的 RZ/G2L 上,模型的响应时间已经可以缩短至 3 秒以内。”
文章来源“Kr氪,作者”常敏潇“
发评论,每天都得现金奖励!超多礼品等你来拿
登录 后,在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则