您的位置:首页 > 互联网

微软开源“傻瓜式”类ChatGPT模型训练工具,提速省钱15倍

发布时间:2023-04-14 14:22:34  来源:互联网     背景:

声明:本文来自于微信公众号OSC开源社区(ID:oschina2013),授权转载发布。

在利用 OpenAI 的 GPT-4为 Bing Chat、 Bing Image Creator、Microsoft365Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了类似 ChatGPT 的功能后。微软现又宣布推出 DeepSpeed-Chat,一种用于 RLHF 训练的低成本开源解决方案,基于微软开源的深度学习优化库DeepSpeed;声称即使是使用单个 GPU,任何人也都可以创建高质量的 ChatGPT 式模型。

该公司表示,尽管开源社区付出了巨大的努力,但目前仍缺乏一个支持端到端的基于人工反馈机制的强化学习(RLHF)的规模化系统,这使得训练强大的类 ChatGPT 模型十分困难。ChatGPT 模型的训练是基于 InstructGPT 论文中的 RLHF 方式,与常见的大语言模型的预训练和微调截然不同,使得现有深度学习系统在训练类 ChatGPT 模型时存在种种局限。因此,为了让 ChatGPT 类型的模型更容易被普通数据科学家和研究者使用,并使 RLHF 训练真正普及到 AI 社区,他们发布了 DeepSpeed-Chat。

图片

DeepSpeed-Chat 具有以下三大核心功能:

  • 简化 ChatGPT 类型模型的训练和强化推理体验:只需一个脚本即可实现多个训练步骤,包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤、甚至生成你自己的类 ChatGPT 模型。此外,还提供了一个易于使用的推理 API,用于用户在模型训练后测试对话式交互。

  • DeepSpeed-RLHF 模块:DeepSpeed-RLHF 复刻了 InstructGPT 论文中的训练模式,并确保包括 a) 监督微调(SFT),b) 奖励模型微调和 c) 基于人类反馈的强化学习(RLHF)在内的三个步骤与其一一对应。此外,还提供了数据抽象和混合功能,以支持用户使用多个不同来源的数据源进行训练。

  • DeepSpeed-RLHF 系统:其将 DeepSpeed 的训练(training engine)和推理能力(inference engine) 整合到一个统一的混合引擎(DeepSpeed Hybrid Engine or DeepSpeed-HE)中用于 RLHF 训练。DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化,如张量并行计算和高性能 CUDA 算子进行语言生成,同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。

文档内容指出,DeepSpeed Chat 与其他先进方案相比的优势在于:效率和经济性方面比现有系统快15倍以上,在 Azure 云上只需9小时即可训练一个 OPT-13B 模型,只需18小时既可训练 OPT-30B 模型,分别花费不到300美元和600美元。

在速度和可扩展性方面,即使是13B 的模型也可以在1.25小时内训练,庞大的175B 模型可以在不到一天的时间内使用64个 GPU 集群进行训练。在 RLHF 的可访问性和普及化方面,则可以在单个 GPU 上训练超过130亿参数的模型。此外还支持在相同的硬件上分别运行6.5B 和50B 的模型,实现高达7.5倍的提升。

图片

苹果今年产量如何

图片

图片

尽管近期关于对ChatGPT 类大语言模型发展的反对和担忧之声不断,但微软似乎仍在全力推进其 AI 开发。对于微软的此次发布,前 Meta AI 专家 Elvis 也激动地表示,DeepSpeed Chat 提供了 Alpaca 和 Vicuna 等所缺少的、一个端到端的 RLHF 管道来训练类似 ChatGPT 的模型,解决的是成本和效率方面的挑战。这是 “微软令人印象深刻的开源努力...... 是一件大事”。

更多详情可查看官方文档:

https://github.com/microsoft/DeepSpeed/blob/master/blogs/deepspeed-chat/chinese/README.md

腾讯音乐 环球


返回网站首页

本文评论
轻松玩转游戏平台 360游戏小帮手全能体验(360手机游戏助手官网)
  想要在浏览器中一键登录爱玩的网页游戏?想要快速升级,狂开小号而不串号?想要偷遍天下农场,闯遍网络城市?……作为网页游戏爱好者的你,肯定希望有那么一款浏览器应用插件,可以...
日期:07-27
荣耀Play6C正式发布 起售价1099元「华为play6+128多少钱」
中关村在线消息:今日荣耀高性价比机型荣耀 Play6C正式发布,并且已经开启预售,起售价为1099元,将于10月13日正式发布。蓝牙耳机哪家的性价比高刘涛直播嘉宾鲍尔默对微软的贡献硬...
日期:10-10
高通和小米在全球范围成功进行移动端米级定位「小米和高通签约」
4月13日 消息:据高通官方消息,高通技术公司和小米公司宣布,双方已在德国利用搭载第一代骁龙8+移动平台的小米12T Pro成功进行了米级定位验证。据悉,此前小米11Pro/Ultra已率先...
日期:04-13
马斯克等千名科技人士签署公开信 呼吁暂停训练比GPT-4更强大的AI系统
3月29日消息,据外媒报道,在当地时间周二发布的一封公开信中,埃隆·马斯克和一群人工智能专家以及科技高管呼吁所有人工智能(AI)实验室立即暂停训练比GPT-4更强大的AI系统。这封公...
日期:03-29
江西统一网络侵权案裁判 恶意转载追究刑事责任_江西网上诉讼
  如何保护人们在网络上的合法权益不受侵害?利用网络侵犯他人合法权益的自然人和法人应当承担什么样的法律责任?网络服务提供商是否要承担责任?近日日,江西省高级人民法院出...
日期:07-27
Q2总营收增42% 实现阶段性盈利 叮咚买菜梁昌霖:死磕前置仓
联想屏幕有亮点ARC显卡百度carlife智能手机互联 查看最新行情   记者/陈婷; ;   编辑/刘雪梅;;   继低调的一季报之后,8月11日晚间,叮咚买菜交出了一...
日期:08-12
中小企业上云加速,IaaS或成企业刚需
  随着5G时代的来临,云计算越来越成为企业发展的中坚力量,在数字化经济的推动下,企业上云的需求进一步增强。在这样一个阶段,如何选择合适的云服务厂商,成为摆在企业面前的一...
日期:06-16
美团将于8月26日公布2022年第二季度财报_美团2020季报
  讯 8月16日下午消息,美团(香港联交所股份代号03690)今日宣布该公司将于2022年8月26日闭市后公布其截至2022年6月30日的第二季度财务业绩。  另外,美团2022年第二季度财务...
日期:09-28
极客时间契合团队成长需求,专栏课适用所有IT从业者(极客时间课程分享)
  随着全民终身学习体系的构建,职业教育将成为提升人力资源质量,优化人力资源结构的重要动力。极客时间企业版专注深耕互联网领域的职业教育赛道,坚定助力互联网人才职业腾...
日期:07-10
一图了解鲲鹏应用创新大赛2021“鹏飞计划”(鲲鹏应用开发者大赛)
苹果或于9月15日发布iPhone13微软Surface Go1摩托罗拉edge s pro对比小米11谷歌galaxy nexus 松下lx5画质怎么样adobe商业模式 三星Galaxy Z Flip3 5G折叠屏手机 VERTU手...
日期:01-02
三星李在镕案件_韩联社:三星掌门人李在镕获刑 2 年半,当庭被捕
  1 月 18 日韩媒消息,当地时间 1 月 18 日下午,韩国首尔高等法院对李在镕 “亲信案”二审重审宣判,判处其 2 年零 6 个月有期徒刑,李在镕当庭被捕。   午后,三星电子跌逾 3...
日期:07-10
nasa太空飞船「NASA计划花10亿美元开发新型太空拖船 帮助国际空间站受控坠落」
3月14日消息,美国国家航空航天局(NASA)正计划开发一种新型太空拖船,目的是在国际空间站于2030年退役后,能帮助实现国际空间站的受控坠落。上周四,美国白宫发布2024年联邦预算草案,...
日期:03-14
maxccc笔记本怎么样_轻薄本当道!复盘MAXCCC笔记本电脑的“走红之路”
  伴随着人们对电脑需求的不断变化,笔记本电脑也有了更多的类型,但“高性价比”却始终是大多数人追求、看重的关键一点,而2021年最值得期待的笔记本电脑中,时光机Max笔记本电...
日期:07-15
小米笔记本pro 14评测「曝小米13起步就4500 Pro顶配超6000了」
明天晚上,小米13系列将会正式发布,新机首发搭载骁龙8Gen2,并且有着小米12和小米12Pro两款机型,新机有着直屏和双曲面的两款配置,而有消息称,小米13的起售价就来到了4500元,而小米13...
日期:12-01
谷歌手机对比苹果手机_谷歌安卓与苹果iOS占美国智能手机市场2/3
  10月8日消息,据国外媒体报道,互联网流量监测机构comScore一份最新研究表明,谷歌安卓与IOS系统8月雄踞美国智能手机市场2/3,市场份额为43.7%。竞争对手加拿大RIM公司黑莓系...
日期:07-23
暗黑破坏神4试玩视频「暴雪计划进行压力测试:《暗黑破坏神4》公测版排队依旧」
在早些时候面向预购用户的先行测试中,《暗黑破坏神4》曾一度出现严重的排队问题,引起了不少玩家的不满。雷军最后一次创业演讲小鹏汇天试飞基地但根据暴雪社区经理透露的消息,...
日期:03-25
新加坡硕士留学申请专业推荐,去新加坡留学研究生兼具商业与技术思维
  信息系统(Informaiton System)正在改变社会组织和企业的存在方式。但是,信息系统是什么?   信息系统五大要素   信息系统是对硬件和软件的补充网络的研究,人们和组...
日期:07-16
马斯克向广告技术公司寻求数据:应对弃购Twitter诉讼
500左右的电竞耳机推荐   讯 北京时间8月19日早间消息,据报道,当地时间周四,据提交给特拉华法院的文件,已经放弃收购Twitter的全球首富埃隆·马斯克(Elon Musk)正向广告技术公司...
日期:08-19
iPhone 15全面升级type-C?你可能要多花钱_ios15升级教程 #ios15 #iphone
让iPhone升级type-C接口的呼声已久,欧盟也已经出台了强制性措施,目前泄露的iPhone 15相关资料也表明,苹果将在iPhone上放弃Lightning接口,转而升级Type-C接口。apple watch黑科...
日期:03-04
100M宽带网速还是不行?试试360安全路由V2(360路由器网速不稳定)
  在互联网发达的今天,很多人在工作中和生活中都离不开网络,很多时候,WiFi信号的强弱也成为用户比较关心的问题。在一些比较注重上网环境和上网速度的家庭早就已经换上了100...
日期:06-21