您的位置:首页 > 智能设备

大模型的风,还需要一个底层 AI 框架来落地

发布时间:2022-09-10 10:48:50  来源:互联网     背景:

(原标题:大模型的风,还需要一个底层 AI 框架来落地)

深度学习发展至今,语言、视觉、推荐、代码生成等多个领域相继出现一些“大模型”成果,不断刷新着人们对 AI 的认知与想象。深度学习依赖对大量数据的训练,而“大模型”的参数更多、函数更复杂,这样的特征使得模型所演算出来的结果更精准。随着万物互联世界的进一步发展,数据量的扩展与数据收集已不再是难题,随之而来的新命题是如何处理海量数据,并且做出更好地训练。

早在2017年,Transformer 结构被提出,使得深度学习模型参数突破了1亿;2018年,BERT 网络模型的提出,使得参数量首次超过3亿规模;2020年,拥有1750亿个参数的 GPT-3横空出世;2021年推出的 ZionEX 系统,其所支持的推荐模型大小已超过10万亿规模……

随着数据规模的指数级增长,大模型已经逐渐被认为是通过深度学习认知智能的桥梁。

然而,数据量的暴增提出了新的命题——如何跨越通信等瓶颈,提升大模型的训练效率?为了支持大模型的训练,往往需要一套大规模分布式训练框架来训练大模型。

对此,华为交出的答卷便是昇思 MindSpore AI 框架,原生支持大模型训练。昇思 MindSpore 拥有业界领先的全自动并行能力,提供6维混合并行算法,即数据并行、模型并行、流水并行、优化器并行等能力;极致的全局内存复用能力,在开发者无感知的情况下,自动实现 NPU 内存 / CPU 内存 / NVMe 硬盘存储的多级存储优化,极大降低模型训练成本;极简的断点续训能力,可解决大集群训练故障导致的任务中断问题……通过这些特性,可以很好地解决大模型开发时遇到的内存占用、通信瓶颈、调试复杂、部署难等问题。

专注底层能力,昇思 MindSpore 携手伙伴打造四大创新模型

值得注意的是,昇思 MindSpore AI 框架专注底层能力建设,为业界提供大模型的搭建基础。至今,昇思 MindSpore AI 已经携手业内领先的研究机构,推出覆盖自然语言处理、遥感影像、生物医药、多模态的的四大模型,并广泛应用在金融、医疗、农林业、制造等各个行业。

2021年5月,在华为生态大会2021「昇腾万里 共赢智能新时代」上,鹏城实验室基于昇思 MindSpore 推出了全球首个2000亿参数中文 NLP 大模型鹏程.盘古,是最接近人类中文理解能力的 AI 大模型。鹏程.盘古大模型具备广泛的运用场景,在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出。

2个月后,中科院自动化所联合华为基于昇腾AI和昇思MindSpore AI框架打造的全球首个三模态大模型——“紫东.太初”正式推出。紫东.太初能够实现视觉、文本、语音三个模态间的高效协同,性能全球领先,是探索通用人工智能道路上的重要成果,将在工业质检、影视创作、互联网推荐、智能驾驶等领域广泛应用。同时,依托其技术创新性和行业影响力,紫东.太初获得今年WAIC的最高奖项——卓越人工智能引领者奖(Super AI Leader,简称SAIL奖)

除了基础大模型之外,昇思 MindSpore AI 框架还已支撑两个行业大模型上线——鹏程.神农和武汉.LuoJia。

鹏城实验室联合华为基于昇腾 AI 和昇思 MindSpore AI 框架打造了面向生物医学领域的人工智能平台 “鹏程.神农”。制药企业和医学研究机构使用“鹏程.神农”提供的AI能力,将大大加速新型药物的筛选与研制,让人工智能为人类的健康保驾护航。

武汉大学与华为昇腾AI团队一起,共同打造了嵌入昇思MindSpore先进技术特性的全球首个遥感影像智能解译专用框架武汉.LuoJiaNet和业界最大遥感样本库武汉.LuoJiaSET,助力遥感智能解译,为数字乡村建设、粮食安全保护、城市规划建设国计民生应用赋能

构筑体验平台,开放大模型能力

通常,训练一个大模型的人力和资源成本都非常之高,这也就导致了普通开发者入门无道。为了让更多开发者可以体验到大模型的魅力,昇思 MindSpore 社区打造了一站式大模型体验平台,已在7月30日正式上线。

昇思大模型体验平台不仅集模型选型、在线推理、在线训练为一体,还支持了 Gradio 项目可视化推理、在线进行迁移学习。开发者可以在线查询基于昇思 MindSpore 构建的模型和数据集,并选择自己感兴趣的大模型及相关任务,如鹏城.盘古大模型的知识问答、检索和推理等、紫东.太初多模态大模型的以音搜图、以图生音和以音生图等。

实战造英雄,昇思 AI 挑战赛现已开幕!

Get 一项新技能,最好的办法就是立个小目标,自己动手实操。

在开发者领域,底层理论的掌握程度很难代表实际开发效果。为了能让更多开发者有机会学习昇思 MindSpore,探索模型算法并提升算法能力,进而为行业储备人才,推动人工智能软硬件应用生态繁荣发展,昇思 MindSpore 特举办昇思 AI 挑战赛。

昇思 MindSpore 还为参赛者准备了丰厚的奖品:

●一等奖1名,奖金5K元并颁发官方荣誉证书

●二等奖2名,奖金3K元并颁发官方荣誉证书;

●三等奖3名,奖金2 K元并颁发官方荣誉证书;

●入围复赛且通过代码审查且成功在线推理的队伍可获得证书、定制大礼包等奖品;

●凡是提供推理模块的队伍,均可获得参与奖;

本次 AI 挑战赛是面向全球 AI 开发者打造的赛事,开设多类别图像分类、文本分类、艺术家风格迁移三大赛道,涵盖 AI 基础领域。

其中图像分类是计算机视觉中最基础的任务,目前图像分类的算法仍然在飞速发展。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像分类预处理、图像分类的能力。同时为了考察参赛者应对大量数据的处理能力,本赛题采用Celtech多类别图像数据集。

文本分类研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。文本分类在AI领域承担了重要角色。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行NLP的文本处理、文本分类的能力。 本赛题采用Amazon Review数据集,参赛者需要根据用户评论文本,对用户的评分进行预测(1-5分的整数)。

艺术家风格迁移赛道 图像风格迁移技术的发展在图像处理、计算机视觉、影视制作等领域均发挥着不可估量的作用。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像风格迁移的能力。本赛题采用梵高画作作为风格迁移的目标风格。

通过三大赛道的设置,开发者可以自由挑选感兴趣的赛道,实现从理论到实践的跨越,了解行业最新的人才需求,提升自身技能。

htc全面屏

6万元奖金及众多周边福利,还等什么?


返回网站首页

本文评论
华为mate 50pro 支持gms吗_3999元起!华为Mate50E将于今日开启预售:搭载骁龙778G 4G芯片
  一个月前,华为带来了新一代旗舰机Mate50系列,这是两年来Mate品牌再次发布新品,包含Mate50E、Mate50、Mate50 Pro、Mate50 RS保时捷设计等四款机型,其中后三款机型自开售至...
日期:10-12
苹果13pro max边框有划痕怎么修复_苹果iOS 15.7.1正式版发布:修复iPhone 13等机型Face ID失效Bug
  10月28日消息,今日凌晨,苹果推送iOS 15.7.1正式版更新,内部版本号19H117,更新日志显示,此次更新提供了重要的安全性更新,建议所有用户安装。  另外,根据已升级的用户反馈,此次...
日期:10-30
Estimote最大竞争对手亮相美国TechChrunch Disrupt
  9月8日到10日,从微软创投走出来的中国创业团队Sensoro智能传感器云子亮相2014年美国TechChrunch Disrupt旧金山大会。展会还未结束,2天的时间,小小的云子掀起了海外订购的...
日期:07-26
vivo X Fold+折叠屏手机发布:升级骁龙8+ 售价9999元起「vivo x fold折叠屏体验评测」
  新浪数码讯 9月26日晚间消息,智能手机品牌vivo召开线上发布会,正式推出新一代折叠屏手机vivo X Fold+。新机搭载高通骁龙8+定制SPU安全芯片,还进一步增强了产品的续航能力,...
日期:10-01
一加11R规格全面曝光 搭载骁龙8+ 最早今年12月推出「一加11手机发布时间」
  据手机中国了解,一加最早将于今年12月推出其下一代智能手机——一加11系列。根据外媒的报道,一加将在推出一加11和11 Pro的时候,一同推出一加 11R 。该报道还详细介绍了一...
日期:10-12
荣耀X40正式亮相_荣耀X40 GT官宣:强悍性能非凡操控 性能跃级标杆
  10月8日,国庆假期复工第一天,荣耀手机便官宣了即将发布的新品——荣耀X40 GT。从官方的文案来看,“强悍性能,非凡操控,生来强大,实力霸屏,性能越级标杆”不难看出,这一次的荣耀X...
日期:10-12
字节跳动VR一体机Pico 4最近销量_字节跳动新一代VR头显PICO 4发售 售价2499元起
集微网消息字节跳动旗下Pico VR正式发布全新一代VR头显PICO 4,售价2499元起。PICO 4重量为295g,相比于上一代PICO Neo3,其体积减少了43%,重量减少了整整100克。其采用了经典的前...
日期:10-17
苹果15pro最新消息_苹果屠龙刀发动!2023年将推出iPhone 15 Ultra版:Pro或继续减配
今年,苹果在iPhone 14系列发动了“祖传屠龙刀”,标准版明显减配,芯片、外观基本都没升级,重点全都放在了Pro版上。这也引发了大批消费者吐槽,毕竟谁也不想花6000多元买一款过时没...
日期:09-30
iPhone 14 Pro机型灵动岛在iOS 16.1下可实时显示体育赛事比分「iphone 14 pro灵动岛功能介绍」
  本文来自cnBeta  本月早些时候,苹果宣布iOS 16.1将启用一个新的实时活动(Live Activites)功能,这使得iPhone用户能在屏幕锁定的情况下了解实时发生的事情,如体育赛事或食品...
日期:10-02
kindle oasis 3和掌阅ireader smartx2 对比「2199元 掌阅Smart Air Pro电纸书上架:8寸大屏、300PPI显示」
  掌阅新款电纸书Smart Air Pro现已上架,8英寸300PPI大屏,首发2199元。iPhone15曝光  据了解,这款电纸书采用了采用8英寸Carta1200高刷柔性屏,刷新速度提升22%,对比度增加15%...
日期:12-30
显卡功耗超空调?RTX 4090确认1000W版本「rtx2060 12g功耗」
上次狗哥发布了一条关于RTX40系的功耗有点大会自燃的文章以后,有许多网友回复狗哥说:“以后只能给显卡单独安装一台空调了”,可能那个时候大家包括我也只是觉得不过是一句玩笑...
日期:11-18
华为首席科学家:6G不是5G简单升级 而是跨越式提升_华为5G科学家
8月9日下午,世界5G大会在哈尔滨举办,在5G-A/6G论坛上,华为无线网络产品线副总裁、6G首席科学家王俊发表主题演讲。王俊提到,“6G不是5G的简单升级,而是跨越式的提升。”他同时强...
日期:08-20
thinkpad x1 carbon 2022发布「首发13代酷睿!联想2023款小黑旗舰ThinkPad X1 Carbon发布:1.2万起售」
  赶在1月初的CES 2023开幕前,联想提前发布了一大波PC新品,其中就包括新一代ThinkPad X1笔记本。  新本搭载了Intel尚未正式发布的13代酷睿i5/i7 P28处理器,具体规格有待后...
日期:12-30
反杀13代酷睿!AMD锐龙7000 3D缓存版定档「13代酷睿与锐龙7000介绍」
Intel 13代酷睿闪亮登场,性能提升巨大,成功击败了刚捂热乎的AMD锐龙7000系列,但对于游戏玩家而言,AMD还有一个大杀器,那就是3D V-Cache缓存版。锐龙7 5800X3D凭借额外加入的64MB...
日期:10-28
小米笔记本猜想:二合一设计英特尔芯「小米芯片设计」
  或者二合一形态,类 Surface;或者标准笔记本形态,类 MacBook。系统自然是 Windows 10,没必要搞定制版 Linux 或 Android。  二合一看点:支架设计  既然二合一,首先它得是...
日期:07-29
四核待机王二代 飞利浦W6618今日上市
  日前,广受商务人士关注的“四核待机王二代”飞利浦W6618手机终于正式上市。这款配备5300mAh超大容量电池,有着超长待机续航能力的智能手机,市场价仅为1699元, 且上市初期会...
日期:07-26
七彩虹 iGame GeForce RTX 40 系列显卡发布,Vulcan 与 Neptune 登场「七彩虹geforcertx3060显卡型号档次」
  9 月 21 日消息,今天,七彩虹正式发布 GeForce RTX 40 系列高端显卡装备,Vulcan 及 Neptune 等系列家族新品登场,包含 GeForce RTX 4090 及 RTX 4080 16G / 12G 多款型号。I...
日期:09-23
2022年值得入手的中端机排行榜「五款新机遭曝光,并有2023年的机型,先别急着换机」
来源:中关村在线三星智能手表上市时间谷歌创业者虽然现在的手机市场中有非常多的新机,但是对大多数用户来说,还是选择等待自身期待的新机,有可能是千元手机,也有可能是明年的新旗...
日期:09-16
想买的再等等!曝荣耀Magic5明年3-4月发布 会有惊喜「荣耀magic4至臻版新品5g手机」
  此前有爆料称,荣耀Magic5系列将在今年年底发布,实际上可能不会,有数码博主发微博表示,荣耀Magic5系列今年不会发,荣耀Magic系列已经确定将“一年一更”,Magic5系列会保持Magic...
日期:10-02
富士 X-H2 无反相机发布:支持 8K 视频和 1.6 亿像素多帧合成模式,约 13899 元
  9 月 9 日消息,富士公司今天发布了 X-H2 无反相机,采用 4020 万像素 APS-C 传感器,是所有 X 系列相机中分辨率最高的,这款相机也是世界上第一台能够进行 8K 30p Apple ProR...
日期:09-10