2023 VDC人工智能会场：vivo全球领先大模型技术实践，助力开发者商业闭环

（原标题：2023 VDC人工智能会场：vivo全球领先大模型技术实践，助力开发者商业闭环）

11月1日,2023 vivo开发者大会上,vivo自研通用大模型——蓝心大模型矩阵正式亮相,为广大用户和开发者带来诸多惊喜。在同日举行的人工智能会场上,vivo AI团队围绕如何构建世界领先的蓝心大模型,分享了大模型的研发过程、安全设计、工程实践、生态建设等主题,用领先的AI技术,助力广大开发者和生态伙伴抓住产业趋势和机遇,打通商业闭环,实现AI普惠。

vivo蓝心大模型四大优势,引领智能化体验革新

当前,vivo已构建起完整的大模型矩阵,覆盖从十亿级到千亿级不同的参数规模,同时开源了70亿参数大模型。大模型矩阵涵盖不同的用户场景,保障以最佳体验为用户带来价值;而开源模型,则助力伙伴以低门槛获得大模型技术,推动产业发展。

vivo AI 算法负责人陈晓昕指出,蓝心大模型具备四大特色:更懂手机、支持端侧应用、安全可控和开放开源。它更深入地掌握手机的运行机制,能够直接在手机端部署,天然支持端侧应用,配备完善的安全管理功能,并拥抱开源生态。

陈晓昕还分享了蓝心大模型的技术全景图,即在应用层,大模型可以服务手机、互联网和营销等领域;在能力层,不断提升大模型的语言理解、逻辑推理等关键技能;在模型层,持续优化文本大模型,并计划推出语音与多模态大模型。

vivo AI 算法负责人 陈晓昕

全链路全周期护航,保障蓝心大模型安全落地

为应对AI安全挑战,vivo打造全新安全能力体系,从数据采集、模型训练、内容安全、业务安全等全链路全周期发力,通过数据层面制定详细的安全等级划分,在训练阶段持续调优模型等,护航蓝心大模型安全落地。

vivo AIGC安全专项组负责人李方圆表示,针对手机终端大模型安全,vivo还打造了行业首发的端侧过滤能力,能够保证用户隐私文件、隐私照片不上云,在端侧完成审核并返回给用户,同时搭建了快速干预的机制,通过知识库内容补充弥补大模型的知识的局限性,并以知识注入的方式降低大模型幻觉和不可控性。

vivo AIGC安全专项组负责人 李方圆

AI工程体系,为大模型生产落地降本增效

大模型训练难度大、成本高,落地效率低。为此,vivo打造AI工程体系,助力大模型预训练、微调和部署降本增效。

据vivo AI 架构专家陈崇沛介绍,AI工程体系支持了从几亿参数到千亿参数体量的模型,同时搭建多个平台:训练平台支持千卡级别的分布式训练;微调平台对指令微调和强化学习有完整支持;部署平台可以解决推理服务性能问题;计算平台可提供高性能计算、高性能存储以及高速网络的能力。

陈崇沛同时分享了蓝心大模型预训练案例和千亿大模型部署案例,并透露,vivo联合阿里云搭建了千卡级别的算力集群,于国内率先配备了最先进的H系列GPU。

vivo AI 架构专家 陈崇沛

灵骏智算服务,让vivo大模型创新敏稳兼顾

大模型的创新和应用需要强劲的AI基础设施支撑,阿里云机器学习平台研发负责人谭锋表示,阿里云人工智能平台PAI打造灵骏智算服务,为伙伴提供覆盖AI端到端的AI基础设施,本次PAI聚焦工程化、高性能、稳定性等方面打造解决方案,助力vivo大模型业务高效稳定开展。

PAI为vivo搭建了CPFS分布式文件存储系统,支持百万级的IOPS以及存储容量的在线无缝扩容,为训练数据、模型文件、模型Checkpoint提供稳定可靠的分布式存储。同时,PAI可以通过实时监控训练任务状态,及时发现故障并调度到不同节点以恢复作业,还支持对模型训练任务step粒度的自动保存,在训练中断后,实现进度无损秒级恢复,让vivo大模型创新敏稳兼顾。

阿里云机器学习平台研发负责人 谭锋

计算加速平台升级,支持大模型端侧化落地

vivo AI长期推进端侧化战略,此次再度升级计算加速平台VCAP,支撑大模型端侧化落地。vivo AI 端计算负责人鲁晶表示,vivo深度分析大模型特性,全面优化算法模型、工具、底层加速框架与kernel层级,设计出大模型端侧化整套解决方案。

在算法模型层面,vivo在结构设计上选择更适合端侧加速的子结构设计与维度;在工具层面,使用int4做权重存储减小模型体积和内存占用,并充分利用带宽达到极致的性能优化;同时优化框架设计与底层运行时的极致性能功耗。

目前,vivo蓝心大模型、视觉大模型已成功端侧落地,vivo成为了首家且是独家使用自研大模型,实现手机端侧大规模产品落地的手机厂商。

vivo AI 端计算负责人 鲁晶

智能体架构,为大语言模型装上“眼和手”

针对大模型落地挑战,vivo创新提出智能体架构,为大语言模型装上“眼和手”,进一步拓展大模型的应用边界,实现从对话助手到全能助手的跃迁提升。

vivo AI系统智能负责人熊官敬表示,vivo将以蓝心大模型为大脑,通过完整的开放架构体系打造,在技能插件化开发、数据感知融通、模型部署层面和开发者深度合作,共同实现能说会做、个性懂你、开放共享的全能助手。

熊官敬强调,具备“自主性”将是对大模型相关应用的核心度量之一。通过系统级丰富的场景感知结合AI大模型的意图理解,vivo始终在推动智能体实现“无需表达,自然懂你”的主动智能。

vivo AI 系统智能负责人 熊官敬

增进AI平台能力,助力开发者智慧进化

长期以来,vivo依托开发者平台为开发者提供丰富能力服务支持。vivo AI 高级产品经理刘诗韵表示,vivo开发者平台新增引入蓝心大模型和AIGC绘画大模型,平台能力和产品全面升级,助力开发者高效创新。

其中,蓝心大模型应用广泛,能为学习阅读、办公创作、生活等场景带来逾越式的改变;AI绘画大模型妙笔生画可以助力开发者高效制作出高质量的设计产品;vivo编码助手则具有代码生成、代码纠错等能力,可以帮助开发者提升代码效率和质量。

此外,vivo开发者平台还新增了图片超清、去手写,AI变声等云端算法能力,以及端侧内容检测、离线翻译等端侧新技术,进一步为开发者打造高水准的服务支持。

vivo AI 高级产品经理 刘诗韵

携手香港中文大学,共筑多模态中文大模型繁荣

从技术发展趋势看,大模型正以“大语言模型”为中心向多模态拓展,香港中文大学电子工程系副教授李鸿升指出,其团队与vivo在多模态领域展开丰富合作,成功打造和优化了多款具有多模态信号理解和推理能力的多模态语言大模型,并将对相关多模态模型和方案进行开源,共同推动国产多模态中文大模型的持续发展。

据李鸿升介绍,香港中文大学团队联合vivo研究院打造了ImageBind-LLM大模型,并首次提出面向多种模态信号理解、推理和回答的统一大模型框架。而针对LLaMA 2中文场景表现不佳的问题,香港中文大学团队将vivo自研大模型BlueLM整合到其研发的LLaMA-Adapter多模态大模型中,替换原LLaMA 2模型,基于BlueLM的强大能力打造出性能领先行业的中文多模态模型。

香港中文大学电子工程系副教授 李鸿升

未来,vivo将在大模型等前沿技术领域保持深耕,创新应用场景,迭代服务工具,携手开发者及伙伴不断为用户创造惊喜,让AI成为造福社会的力量。