中国电信云网融合大科创装置：应用消费级显卡助力大模型训练推理

通信世界网消息（CWW）面对《美国对华芯片出口管制》对中国大模型发展带来的巨大冲击，中央网信办于2023年10月18日发布了《全球人工智能治理倡议》。该倡议旨在通过开展针对低资源芯片的大模型训练推理迁移优化研究，助力解决中国在大模型算力方面面临的“卡脖子”问题。

大模型不仅激发了千行百业的潜力，创造了庞大市场机会，但也伴随着高昂的建设成本、低效的投产比以及无法满足绿色低碳要求等问题。中国电信正以大模型为抓手，内外兼顾，推动云内部云网业务升级，赋能外部行业客户数字化转型。因此，迫切需要分析大模型行业需求，专注于解决行业痛点的关键环节，开展针对低资源芯片的迁移优化研究，以降低大模型训练和推理的成本，推动大模型应用服务的规模化落地。

中国电信研究院利用大科创装置丰富的算力资源，开展面向低资源语言行业大模型训推试验，主要以专业级显卡A100和可购买到的消费顶级显卡RTX4090为主要试验对照目标，同时实验也通过广域互联网专线连接到大科创装置上海GPU资源池，进行多种算力显卡性能对比。

研究团队专注于分析消费级显卡替代专业级显卡进行大模型精调和推理的可行性，并重点考量性价比，不仅通过对开源模型训推试验分析，并在大科创装置上通过对自研行业大模型部署应用，包括司法、客服、新闻等行业大模型，综合参数规模、推理效果、延时及硬件成本等因素，提出了一系列低资源显卡替代A100的推荐方案。

此项研究对于推动大模型应用服务的规模化落地，降低训练和推理成本，提升投入产出比具有重要意义。中国电信研究院将继续深入研究，探索更多创新解决方案，为我国人工智能领域的发展贡献力量。