这一次，钢铁侠的Javis要跑到设备上_钢铁侠 stl

行至2024，云端大模型还未分出胜负，端侧模型早已硝烟四起。

去年上半年，谷歌以可在移动设备上离线运行的PaLM2轻量级选手“壁虎”打响了端侧模型第 一枪，到了年底，端侧模型时代的大幕就被缓缓拉起。

法国创企Mistral AI率先发布Mixtral8x7B模型，微软更是半年时间加速跑，从27亿参数的Phi-2到SLM（小语言模型）Phi-3系列，以“便宜得多，但响应能力接近比它大10倍的模型”强调高性价比。

Google携带Gemma模型向Meta的Llama-2大模型发起挑战，苹果也以“小模型”家族宣告离“让人工智能在苹果设备上本地运行”目标更近一步。

而大洋彼岸的另一侧，在中国上海张江，也有这么一家通用大模型厂商，驶上了端侧模型的快车道，以类脑分区激活的工作机制、改进反向传播算法逐步实现“同步学习”，并在走通多模态上率先“卷”入。

这，就是岩芯数智CEO刘凡平带队的RockAI。

Yan1.2跑通树莓派，“为设备而生”水到渠成

事实上，今年1月，RockAI发布的国内首 个非Attention机制的通用自然语言大模型——Yan1.0模型，就标志走向设备端的第 一步。

当时这一模型100 %支持私有化部署应用，不经裁剪和压缩即可在主流消费级CPU等端侧设备上无损运行，在研究人员现场对Yan1.0模型在Mac笔记本上的运行推理展示中，刘凡平也画出了接下来将在更加便携的设备或终端中进行无损部署的蓝图。

而现在，随着Yan1.0迈入1.2阶段，“在树莓派上率先跑通”把其在更低端设备的无损适配从预期变为了现实。

图为Yan架构模型在树莓派上运行

树莓派系列作为全球最为知名的袖珍型小巧却又性能强大的微型电脑，可广泛应用于物联网、工业自动化、智慧农业、新能源、智能家居等场景及设备，譬如门禁、机器人等终端，但它虽具备所有PC的基本功能，却是算力最 低的设备代表。

同时，树莓派大部分情况没有联网，这就意味着，跑通树莓派，等同于打开了低算力设备端的大门以及不联网的多场景应用。

不过，机遇之大，挑战亦不小，不少大模型玩家都屈身于“有损压缩”。

就连4月网友发现能在树莓派5以每秒1.89个token的速度运行，支持8K上下文窗口的Llama38B ，也是采用把模型量化裁剪后压到极 致的方式。

而这就如同把平铺的纸揉小后放入，会导致纸张有褶皱般，让多模态下的性能损失无法恢复到原有状态去进行模型训练，同时也伴随着卡住不动、死机等不确定情况发生。

此时，原生无损放入的重要性就凸显，而这正是RockAI基于底层技术做“破坏式”创新的优势所在。

不同于传统Transformer模型自带算力消耗和幻觉等问题，Yan架构为低算力设备运行而生，1.0版就以百亿级参数媲美千亿参数大模型的性能效果，以记忆能力提升3倍、训练效率提升7倍的同时，实现推理吞吐量的5倍提升，实现云端运行的高性价比。

对比数据表明，在单张409024G显卡上，当模型输出token的长度超出2600时，Transformer的模型会出现显存不足，而Yan模型的显存使用始终稳定在14G左右，理论上能够实现无限长度的推理。

再到让通用大模型去兼容更多的设备，实现更多个性化的设备端应用，则让RockAI在同模型架构下，可水到渠成地“为设备而生”。

那么，对于树莓派这一门槛，RockAI是如何破局的呢?答案就在技术创新上。

自创业之初，刘凡平就一直在思考“大模型动辄上万亿的token训练是否真的必要”，以人类大脑几十亿的训练量来看，他判断，数据、算力并不是最终的瓶颈，架构、算法才是重要的影响因素。

故而在跑通树莓派的路上，基于全新自研的Yan架构，RockAI在实验室对人工神经网络最 底层的反向传播算法进行挑战，寻找反向传播的更优解尝试。

而在算法侧，RockAI更是在上半年率先有所突破，在人脑神经元分区激活的启发下，实现了类脑分区激活的工作机制。

如同人开车跟写字会分别激活脑部的视觉区域和阅读区域一般，Yan1.2也不再需要全量的参数去训练，会根据学习的类型和知识的范围来决定只调整哪部分神经元，而这种分区的激活方式不仅可以减少数据训练量，同时也能有效发挥多模态的潜力，该算法被RockAI称作基于仿生神经元驱动的选择算法。

数据表明，人脑的神经元大概是800-1000亿，功耗大概是20-30瓦，而一台GPU算力服务器功耗能到2000瓦，这就意味着主流大模型的全参数激活，本身就是不必要的大功耗浪费。

在今年3月类脑分区激活的工作机制实现后，甚至10亿级参数的Yan模型通过改进在0压缩和0裁剪的情况下在一台7年前生产的Mac笔记本的CPU上跑通。

2个月后，“原生无损”跑通树莓派的故事便在RockAI如期而至。

剑指“同步学习”，Yan模型也能千人千面

跑通树莓派，是RockAI走通低端设备上的里程碑，同时也预示着距离其“同步学习”概念落地更近了一步。

众所周知，Transformer大模型带来一种开发范式——先通过预训练让大模型具备一定的基本能力，然后在下游任务中通过微调对齐，激发模型举一反三的能力。

但这样的云端大模型虽好，在实践中却有着不能实时改进和学习的问题。

Transformer架构在大参数大数据的情况下，想在预训练完成之后再大规模的反向更新代价极其大的，尤其对算力要求非常高，更别提返到原厂去重新训练的时间和经济成本。

也就导致在严谨内容场景下，一旦有内容和评价发生较大转变，Transformer大模型学徒们往往要1-2个月去把数据清掉后，再重新训练后进行提交，客户一般很难接受。

这些toB实践中的真实反馈，让刘凡平意识到客户对模型立即更新的需求，这要求模型不仅具备实时学习的能力，同时学习之后不能胡说八道。

怀揣着“机器能否具有像人一样实时学习的能力”的思考，以及跟着客户真实需求走的大方向指引，同步学习这一解法，在RockAI逐步清晰。

相比较泛机器学习领域的实时学习和在线学习、增量学习等概念，刘凡平认为RockAI首创的同步学习概念差异性在于，做知识更新和学习时在模型层面训练和推理同步进行，以期实时、有效且持续性地提升大模型的智能智力，应对各类个性化场景中出现的问题。

而要理解快速更新的问题，涉及到现在神经网络的底层原理，本质上神经网络的训练是前向传播和反向传播的过程。

就如同你正在玩一个猜数字游戏，你需要猜出一个1到100之间的随机数。在开始时，你没有关于这个数字的任何信息，所以你的第 一次猜测可能是基于直觉或是随便选了一个数，比如50。这就好比是神经网络中的前向传播——在没有任何历史数据的情况下，根据当前的参数（权重和偏置）进行一次预测。

当你猜测了50后，游戏会告诉你这个数字“太大”或“太小”。如果你听到“太大”，那么下一次猜测时，你会选择小于50的一个数;如果得到反馈是“太小”，你则会选择一个大于50的数。

这就类似于反向传播对参数的调节过程。只要模型调整足够快、代价足够小，就能更快达到预期，实现从感知到认知再到决策这一循环的加速，对现有知识体系进行快速更新。

为此，RockAI给出的同步学习解法落在，不断尝试寻找反向传播的更优解，试图能更低代价更新神经网络，同时以模型分区激活降低功耗和实现部分更新，从而使得大模型可以给到客户后持续成长，像人类学习一样建立自己独有的知识体系。

在刘凡平的设想中，通过同步学习，Yan模型部署到各类设备后，会更像贴身伴侣，伴随着个人的习惯去进行学习和服务，越来越具备个性化的价值，让手机、电脑，甚至电视、音响等智能家居都能个性化适配到每个人，最终形成可交互的多样性智能生态。

如此说来，那就是每个人在设备上都会找到自己的Javis（钢铁侠的AI管家）。

奔赴2.0，RockAI蓄力C端商业化

把时间线拉长到近半年来看，RockAI的迭代呈现加速度。

3月，类脑分区激活的工作机制实现;5月初，“无损”跑通树莓派;5月底，全模态部分视觉支持走通。

虽然同步学习仍在实验室最后验证阶段，仍需要大规模测试，但刘凡平表示，随着把多模态的视觉、触觉和听觉能力补齐，Yan2.0也最快于今年年底面世。

“届时，全模态支持+实时人机交互+同步学习的落地，Yan2.0的出现或将补齐具身智能的大脑短板。”

技术端的加速，背后是团队“吃苦”换来的。刘凡平坦言，干的都是其他厂商“不愿干”，也可能“干不了”的活。

算法端，RockAI兵分两路，一部分去做基础算法和模型架构的创新升级，在1.2基础上朝着2.0进发;另一部分则广泛收集客户反馈，通过不断调整去贴近商业化落地。

刘凡平认为只有最 大程度获取来自于外界和客户的感知和需求，才能避免闭门造车与用户的距离太远，逐渐形成明确和清晰的商业化路线。

而算法创新外，要实现Yan2.0落地即商业化的未来，工程团队也在做大量的标准化的“周边”补齐，包括基础设施、系统、交付等方方面面，解决方案团队更是从率先商业化的B端客户“扫”到设备厂商，边进化边验证降本增效和市场认可度。

刘凡平也带着团队奔走于上海、深圳、杭州等地，与中科曙光、华为昇腾、壁仞科技、广电五舟等众多硬件和芯片厂商建立了沟通，在端侧模型的适配工作上，刘凡平能感受到设备端“积极提供测试机”的热情，特别是树莓派跑通后给到了话语权，机器人厂商们都开始竞相走访。

而这些前置工作，都为接下来Yan2.0落地合适场景可能试产1-2万台的标品规模化做足“迅速跟上”的周期准备。

就端侧模型来说，刘凡平认为对于设备厂商而言，是类似Windows操作系统般的存在。现阶段可能是系统在适配各种硬件，到了设备厂商深入了解模型的人工智能能力后，就需要设备反向兼容操作系统，而两者合力，是社会分工生产力变化的一个必然趋势。

“站在toC智能化甚至具身智能的大话题下，端侧模型需要结合实际载体（即硬件）去做适配研究和迭代改进，才能逐步形成标准化的类Windows操作系统，既可以装在个人电脑也可以适配穿戴设备，而不同的身体就会需要不同的脑子，我们所构想的通用人工智能，是在诸如智能手机、机器人以及其他多样化设备上展现出的非凡适应力与高度个性化的交互能力。”

作为一家从B端商业化验证过“模”力的企业，刘凡平坦言，当前商业化重心部署到C端设备，是低算力的基因使然，亦是AI与本地设备结合的个性化趋势必然，也是跳出B端商业化内卷，抢占C端蓝海市场的先机。

在RockAI的办公室内，摆满了众多的各类硬件设备，刘凡平笑道，还有大量的适配和兼容工作需要完成，而一旁来自深圳各个厂商的机器人也在等待适配他们的“大脑”。

从Yan1.0到Yan1.2，RockAI花了4个月时间，再到2.0，想必也不会太久。