通信世界网消息(CWW)近年来,人工智能特别是2023年ChatGPT的“狂飙式”发展有目共睹,我们不再将人工智能仅仅看作是一项能够改变未来发展和商业模型的新技术和商业工具,而是将其看作重塑世界格局、机构、企业和个人的巨大力量。
4月10日,在今日举行的“2024年云网智联大会”上,中国电信集团科技委主任韦乐平讲道,以大模型为代表的人工智能发展对高质量网络连接也充满期待,大模型将驱动网络连接走向大算力、大集群,从而激发大通信需求。
大模型价值在应用,小模型也不可忽视
大模型价值体现在应用上,韦乐平讲解道,在最尖端领域,大模型存在高技术、高投入、高能耗、高风险的弊端,仅ChatGPT等5-6个基础大模型能够长期存活;在次尖端领域,行业大模型层出不穷,成千上万,各领风骚。而在大模型的应用层,泛在应用无穷无尽,这才是各类大模型真正体现价值和商业落地的地方。
值得注意的是,韦乐平也提醒,在大模型应用价值凸显的当下,小模型的作用也不容轻视。因为大模型训练所需要的技术、算力、语料以及成本很高,却通而不专,在面向具体运行环境的适应性和经济性方面,往往小模型更加实用,省钱、省力、省时间。
目前已经有多种小模型产品问世,从技术角度看,有两大方向。
其一是知识蒸馏,主要对大模型进行裁剪、优化,使训练好的模型的体积和尺寸更小,成本更低、更适合具体部署环境的实际需求,
国美店铺装修
其二是微型机器学习(TinyML),该方向旨在低于1mw功耗下(如纽扣电池)运行机器学习,在成本和功率受限系统中完成机器学习任务,是物联网领域AI的主要方向之一。
超级以太网将极大赋能智算中心网络
为了支持越来越大的模型训练新需求,同时规避伴随而来的性能、处理时长和成本的挑战,生成式人工智能需要最佳联网技术的支撑。韦乐平介绍目前需要五种联网技术。
一是以太网,传统以太网难以支持大模型训练,但是基于强大以太网生态上的无损以太网,特别是超级以太网仍将是最重要的联网技术。
二是PCIe,其可以为复杂的生成式人工智能扩展距离、简化系统架构、减少功耗。
三是芯片光互连,相比茂片电互连,可以大幅提升计算集群的扩展性(超100T),且功耗很低,物理尺寸也更小。
四是CXL,其不仅可以继续用来增大服务器的内存规模,而且将越来越多的用来承担生成式人工智能训练的加速器作用。
五是IB,其是目前性能最佳的成熟联网技术。但是封闭和价高,仍将维系在高端大模型训练市场的相当份额。
为满足大模型计算的要求,由GPU服务器联网构成的智算中心也应运而生。当大模型训练时,并行计算节点也越多,通信效率也越重要,因此适应大模型训练的智算网络性能成为集群算力提升的关键。
对此,韦乐平认为,就以上技术来看,目前IB性能最优,但技术封闭,价格高。国内更倾向无损以太网,但其也存在性能仍不足,时延过长的缺点,当前业界更倾向采用增强无损以太网((如UEC))。
他预测,未来超级以太网(UEC:Altra Ethernet)将凭借可重构高扩展、高稳定、高可靠的以太网堆栈,在性价比上全面赶上IB。
谈及未来人工智能面临的基本挑战,韦乐平认为主要体现在两方面。一方面是目前人工智能依然主要是技术,还不算是科学,距离通用人工智能还有很长的路。主要靠蛮力计算、复杂算法、高质量海量数据和运气,并未掌握核心原理,还不具备人类智能的基本特征。另一方面体现在深度学习已开始遇到发展瓶颈,无法理解的算法黑盒、蛮力计算的巨大成本和功耗以及不可控的训练结果等已经成为人工智能继续高速发展的桎梏。
在演讲最后,韦乐平总结道,虽然人工智能的极限还未可知,但迈向通用人工智能将是唯一能确定的事情;在思想、情感、道德和自主意识方面,行业仍需做好必要的防范和监管。