您的位置:首页 > 互联网

阿里云第八代企业级实例g8i算力升级:整机性能提升85% AI推理最高提速7倍

发布时间:2024-01-12 01:40:11  来源:互联网     背景:

通信世界网消息(CWW)1月11日,全球领先的云计算厂商阿里云宣布第八代企业级通用计算实例ECS g8i算力再升级,国内首发代号Emerald Rapids的第五代英特尔至强可扩展处理器,依托阿里云自研的飞天+CIPU架构体系,ECS g8i实例的整机性能最高提升85%,AI推理性能最高提升7倍,可支撑高达72B参数的大语言模型,帮助中小规模模型起建成本降低50%。同时新实例还提供了端到端安全防护,为企业构建可信AI应用提供强有力的隐私增强算力支撑。

阿里云弹性计算产品线总经理张献涛表示,“阿里云ECS g8i实例的强劲表现,证明了以CPU为中心的计算体系同样具备加速AI推理的巨大潜力,公共云不仅可胜任超大规模的AI模型,也为AI应用加速落地开辟了新路径。”

英特尔中国数据中心和人工智能集团至强客户解决方案事业部总经理李亚东表示:“最新上市的第五代英特尔至强® 可扩展处理器每个内核均内置 AI 加速功能,完全有能力处理要求严苛的 AI 工作负载。与上代相比,其AI训练性能提升多达 29%,AI推理能力提升高达 42%。我们希望借由阿里云第八代企业级实例(ECS g8i)共同助力开发者实现技术普惠,让 AI 技术无处不在。”

通用算力再提升,整机性能提升85%

作为企业级通用计算实例,ECS g8i实例在计算、存储、网络和安全等能力得到了全方位提升。从关键参数上看,ECS g8i实例的L3缓存容量提升到320MB,内存速率高达5600MT/s,整机性能提升85%,单核性能提升25%;存储方面,ESSD云盘提供100万 IOPS,全面搭载NVMe,存储延迟低至百微秒;网络方面,PPS高达3000万,标配阿里云自研eRDMA大规模加速能力,时延低至8微秒;安全方面,ECS g8i实例支持可信计算与加密计算等特性,全球率先支持机密虚拟机TDX技术,构建了全面的安全防护。

在E2E场景下,ECS g8i实例可将MySQL性能提升最高达60%,Redis和Nginx的性能分别提升40%和24%,面向游戏、视频直播、电商、金融、医疗、企业服务等行业提供强劲的算力支持,满足其在数据库、大数据、AI推理等应用场景下对性能的严苛要求。

此外,ECS g8i实例还提供了多种硬件原生加速能力,包括QAT和IAA等加速器。阿里云通过自研技术,将硬件加速能力更细颗粒度透传至实例虚拟机,小规格的ECS g8i实例也同样具备加速能力。其中,依托于QAT原生加解密加速器,ECS g8i实例在压缩/解压缩场景下性能最大可提升70倍,加解密性能提升4倍以上。

为AI提速,可支撑72B参数的大语言模型生成式AI掀起的技术革命,正在推动计算范式发生根本性的变化。当前,AI大模型推理在算力上依然面临诸多挑战,例如首包延迟受限于并行处理能力与浮点运算能力,吞吐性能则受限于内存带宽和网络延迟。

阿里云ECS g8i实例针对这些难题都进行了相当程度的优化,包括内置指令集从AVX512升级到了Intel  AMX高级矩阵扩展加速技术,可让生成式AI更快地运行。相对于AVX512指令集,启用AMX AI加速后,ECS g8i 实例在int 8矩阵计算的性能最高提升7倍。

基于AMX AI加速能力,g8i可更迅速地响应中小规模参数模型,运行知识检索、问答系统及摘要生成等AI工作负载时,起建成本相比A10 GPU云服务器下降50%。此外,配合阿里云平台的Spot抢占式实例,成本优势将进一步凸显,进一步降低AI推理成本。

与此同时,基于自研eRDMA超低延时弹性网络,阿里云g8i实例集群拥有超低延时网络和高弹性优势,可轻松支撑72B参数级别的大语言模型分布式推理,推理性能随集群规模接近线性加速,并可支持超过32batchsize的超大参数规模的AI模型负载,运行文生图、AI生成代码、虚拟助手以及创意辅助工具等AI工作负载。

以阿里云通义千问开源的Qwen-72B大模型为例,可在g8i实例eRDMA网络构建的集群实现高效运行,在输入小于500字情况下,首包延时小于3秒,每秒可生成7个Token。

为安全加码,助力企业构建可信AI应用

redmi9支持18w快充吗

安全方面,阿里云在全产品线构建了端到端的安全防护,可保障数据存储、数据传输、数据计算的全流程安全。在最底层,基于CIPU的安全架构搭载安全芯片TPM作为硬件可信根,实现服务器的可信启动,确保零篡改;虚拟化层面,支持虚拟可信能力vTPM,提供实例启动过程核心组件的校验能力;在实例可信的基础上支持不同平台的机密计算能力,实现了运行态的内存数据隔离和加密的保护。

值得一提的是,此次升级的ECS g8i实例全量支持Trust Domain Extension TDX 技术能力,业务应用无需更改,即可部署到 TEE 之中,极大降低了技术门槛,并以极低的性能损耗为大模型等AI应用提供隐私增强算力,护航大模型的云上数据安全。

以Qwen-Chat-7B模型为例,启用TDX后,既确保了模型推理的安全可信,也保护了数据的机密性和完整性。

“阿里云将不断深耕技术、持续产品创新,为企业提供更加稳定、强大、安全、弹性的计算服务,推动各行业的AI应用进入全量爆发时代。”张献涛表示。


返回网站首页

本文评论
2025人才战略「2022人才发展报告:  高学历青年成智能制造领域人才供给主力军」
【网易科技4月26日报道】近日,中国电子信息产业发展研究院联合智联招聘通过招聘数据分析我国智能制造及细分领域相关人才的需求、供给及薪资状况,发现智能制造发展需要大量底...
日期:04-26
华为云:以系统性创新,构建AI时代最佳云底座
通信世界网消息(CWW)9月21日,在华为全联接大会2023现场, 华为云CTO张宇昕发表演讲表示,大模型重塑千行万业的背后,是众多复杂的技术挑战,需要核心技术的持续创新和突破。华为云以...
日期:09-21
13799元 尼康发布全画幅微单相机Zf:Z9同款影像处理器_尼康z'9
快科技9月20日消息,尼康发布全画幅微单相机Zf,售价13799元起,将于今年10月正式上市。它搭载全画幅传感器和与微单旗舰机型尼康Z 9相同的EXPEED 7影像处理器,2450万像素传感器,配...
日期:09-21
消息称微软正考虑收购雅虎 后者股价大涨10%(微软为什么收购雅虎)
  10月6日凌晨消息,据国外媒体报道,熟知内情的消息人士周三称,微软正考虑对雅虎发起收购要约,此前该公司曾在2008年试图收购雅虎,但最终未能成功。   消息人士透露,微软可能...
日期:07-23
领先肯德基!麦当劳启动华为鸿蒙原生应用开发:支持国产_麦当劳肯德基现在是中国的吗
快科技12月6日消息,近段时间,新浪、美团、小红书、高德等大批国内主流App都与华为达成合作,陆续开发鸿蒙原生应用。猫抢猫砂盆据博主Adak封狼居胥”消息,麦当劳中国目前也与华为...
日期:12-07
NASA露西号「NASA“露西号”将飞掠地球以进行重力辅助」
NASA任务工程师将持续跟踪“露西号(Lucy)”航天器,因为它准备在10月16日飞掠地球以进行重力辅助。这将使它能利用这个星球的引力来获得一些轨道能量并使自己走上通往木星特洛...
日期:10-18
水污染以至饮水等于服毒?苏宁世界水日超品送“解药”
  李时珍在《本草纲目》中讲,“民以食为天,食以水为先;药补不如食补,食补不如水补。水是百药之王,水是营养之首”。   美国著名医学博士F·巴特曼在《水是最好的药》里指出...
日期:09-02
联想moto razr 40系列发布 售价3999元起 「开启全面外屏时代」
2023年6月1日,联想召开“心动,何止一面”moto razr 40系列折叠屏手机新品发布会。moto razr 40 Ultra与moto razr 40两款重磅小折叠新品正式亮相。moto razr 40 Ultra将外屏做...
日期:09-16
武汉迪士尼游乐园「网友期待迪士尼乐园落户武汉!官方回复:正在洽谈」
最近一段时间,有网友在官方政务平台上向官方部门提出建议,称蔡甸区靠近后宫湖附近有大把空地,希望能把迪士尼乐园引进,之后就再也不用去挤上海、香港迪士尼了。对此,蔡甸区回应表...
日期:06-03
《魔戒:咕噜》道歉信被指使用ChatGPT生成 开发团队毫不知情_魔戒咕噜是谁
文章概要:- 《魔戒:咕噜》因技术问题、重复游戏性等多方面问题受到负面评价。- 有报道指出,Nacon发布的道歉信使用ChatGPT生成,开发团队Daedalic Entertainment对此毫不知情。...
日期:10-09
抖音互动活动「抖音本地生活启动“心动观赛季”营销活动」
10月9日 消息:昨日,抖音生活服务宣布,2022世界杯将至,平台将启动心动观赛季活动,联合全国万家优质商家,覆盖餐饮、酒旅、休娱等全品类生活服务领域,以多矩阵新颖的玩法,超优质资源...
日期:10-11
5nm Zen 4“万人迷”来了!AMD新一代移动APU首现身:直指高端_AMD新一代apu
Zen4架构的桌面处理器已经推出有段时间了,家族中其它更多型号也要接踵而至了。海信 算法工程师日前,细心网友在DX12标志性游戏《奇点灰烬》的数据库中发现了AMD锐龙9 7945HX的...
日期:11-16
英特尔第四季度财报「英特尔三季度净利润下滑85%,未来三年将削减100亿美元成本」
  作者:彭新;红米note10 天玑上海新能源车电费  个人电脑和服务器芯片销售疲软拖累业绩,英特尔业绩承压,将采取裁员等措施削减成本。10月27日美股盘后,英特尔公布2022财年第...
日期:10-28
Gemini自曝中文用百度文心一言训练,网友看呆:大公司互薅羊毛??
声明:本文来自于微信公众号 量子位 (ID:QbitAI),作者:丰色 ,授权转载发布。谷歌Gemini中文语料疑似来自文心一言???先是有读者向我们爆料:在谷歌Vertex AI平台使用该模型进行中...
日期:12-18
BOSS直聘向港交所递交双重主要上市申请「向港交所提请上市申请多久可以上市」
凤凰网科技讯 10月10日消息,BOSS直聘(NASDAQ:BZ)向香港联交所递交双重主要上市申请。摩根士丹利、高盛担任联席保荐人。双重主要上市流程完成后,BOSS直聘将成为同时在美国纳斯达...
日期:10-24
五一佳节,在三星显示器上邂逅“诗与远方”「2021三星显示器」
临近五一小长假,各大平台旅游订单异常火爆,“迁徙式旅游” 盛况即将上演。选择避开出行高峰,宅家邂逅“诗与远方”的你,不妨选购一款性能卓越的显示器。无论是专为玩家而生的三...
日期:04-26
微软授权许可协议_欧盟与微软展开Windows授权协议谈判
  据国外媒体报道,欧盟委员会今日证实它已经与微软展开关于续订Windows授权协议的谈判。   欧盟现在与微软之间的协议将在5月31日到期,欧盟委员会打算谈判后再与微软续订...
日期:07-27
美国芯片材料专家 前六名「美国芯片人才缺口达到6.7万 Intel免费培训:10天速成工程师」
快科技7月28日消息,半导体不仅是个烧钱的行业,同时也对人才的要求很高,美国近年来加大了对本土产业的扶植,但面临的一个重要考验就是人才不足,到2030年前缺口高达6.7万人。针对半...
日期:07-28
杭州女生地铁上隔空收到陌生信息 果粉热议常被此折磨:苹果回应给解决办法
快科技5月10日消息,如果你是苹果用户,是不是被隔空收到陌生人的信息而困扰呢?近日,杭州网友苗苗(化名)反映,自己时常在地铁上收到陌生人的隔空投送消息,有些都不堪入目,自己被这样的...
日期:05-10
手机lgp880「手机LGP503」
手机LG P880是LG电子公司出品的一款旗舰手机。它采用了4.7英寸高清IPS液晶屏幕,分辨率高达1280x720像素,显示效果清晰逼真。同时,该手机还搭载了1.5GHz双核处理器和1GB RAM,流畅...
日期:05-31