邬贺铨：大模型开拓边缘计算与终端产业新赛道_邬贺铨演讲视频

通信世界网消息（CWW）12月13日，2023计算产业生态大会在北京举办。中国工程院院士邬贺铨发表主题演讲。

他指出，他也提出大模型嵌入边缘、端侧也面临众多挑战，但大模型开拓了边缘计算与终端产业新赛道。

关于挑战，在算力与存力方面，Meta公司的智能聊天机器人使用LLaMA开源大语言模型，其参数从70～650亿共4档。其中最小的LLaMA 7B也经过了超1万亿个tokens的训练，其FP16版本大小为14GB。手机的处理器（CPU）和图形处理器（GPU）的计算能力远低于服务器级别的硬件，2023年智能手机DRAM平均容量为5.3GB，高端旗舰机也才18GB。

在能效方面，在手机上运行大模型给电池带来了更大的压力，芯片能耗成为一大关键。

在体验方面，考虑到人们的平均阅读速度约为每秒十几个汉字，故大模型的生成速度必须远超于此。模型的运行可能会占用大量的手机资源，会影响到其他应用的运行。端侧的AI助手需要能够理解用户的语言语义并具备图像理解能力，自动选择和调用相应的API。当把一款千亿参数的模型剪裁到几十亿参数时，势必要失去一些原有的学习深度，模型太小又无法智能涌现。

在生态方面，大模型进入边缘/端侧将打开新的智能应用空间，这些应用需要有第三方开发者的参与才能成功，但生态的建立需要厂商强有力的技术体系、工具平台、赋能方案以及商业势能的加持。

据了解，目前手机常用的大模型主要有计算机视觉大模型、自然语言处理大模型及稳固扩散模型。未来，大模型将持续开拓边缘计算与终端产业新赛道

一是大模型创造了对云服务和算力市场需求的飙升

二是大模型融入终端等智能体，促进AI芯片软硬件创新，赋能手机百亿参数的推理能力，开创数字化生活时代，数智化能力也将扩展到工业模组和汽车等产品。

三是大模型是自2007年iPhone商用15年来互联网的新浪潮，iPhone以指尖改变手机的人机接口，大模型用语音交互和智能涌现升华人机接口，其影响将超过当年的iPhone问世，既加持数字产业化也加速产业数字化。

此外，根据IDC预测，到2024年，全球边缘计算市场(包括软件、硬件和服务) 将达到2506亿美元年，增长率为15.9%；到2026年，中国市场中近50%的终端设备的处理器将带有AI引擎技术，AI服务器、边缘AI芯片将有很大的发展前景。

在邬贺铨看来，目前用户更换手机的速度放缓，其原因之一是手机功能变化较小，而大模型的引入将给手机带来新的引擎和创新性。