您的位置:首页 > 互联网

metamorphmagi「Meta发布全新Megabyte模型 比Transformer快4成」

发布时间:2023-05-30 17:39:30  来源:互联网     背景:

5月30日 消息:最近,Meta团队开发了一款名为Megabyte的模型,声称能够解决“大模型标配”Transformer所存在的问题,而且速度比它还快4成!

目前,Transformer架构比较流行,但是存在两个重要的缺陷:一方面,自注意力成本随着输入和输出字节长度的增加而迅速增加,如音乐、图像或视频文件通常包含数兆字节,而大型解码器通常只使用几千个上下文标记;另一方面,前馈网络单独对字符组或位置进行操作是难以实现可扩展性的,这是由于在每个位置的基础上会带来很多计算开销。

metamorphi

比亚迪销量情况

而Megabyte模型则将输入和输出序列分成patch而不是单个的token。这种架构对于多数任务而言字节预测都相对容易,比如给定前几个字符预测完成单词等,这意味着大型网络中每个字节都是不必要的,并且内部预测可以使用更小的模型进行。这种方法解决了当今AI模型面临的可扩展性挑战,Megabyte模型的patch系统允许单个前馈网络在包含多个token的patch上运算,有效解决了自注意力缩放问题。

meta-morph

另外,在运算效率方面,与等大的Transformers和Linear Transformers相比,Megabyte在固定模型大小和序列长度范围内使用更少的token,这在相同的计算成本下允许使用更大的模型。

总的来说,这些改进使我们能够在相同的计算成本下训练更大、性能更好的模型,并且可以扩展到非常长的序列,同时在部署期间提高生成速度。综上所述,Megabyte模型的出现提供了一种新的、高效的方法来解决AI模型的发展中出现的一些问题。

论文链接:https://arxiv.org/abs/2305.07185


返回网站首页

本文评论
快手或上线商城,“货架”为何对电商如此重要「快手电商对实体店的冲击」
声明:本文来自于微信公众号“三易生活”(ID:IT-3eLife),作者:三易菌,授权转载发布。近期抖音电商的话题度可谓是居高不下,无论是刘畊宏走红带动全平台健身用品销量大涨,还是东方甄...
日期:10-05
1024程序员节日快乐「1024 程序员节官方剧透:大咖再聚,共话中国技术新生态」
在二进制垒起的计算机世界里,1024对于程序员而言,早已不再是单纯的一串数字,不断演进的开发时代赋予了它特殊的意义。富士80微距镜头评测伴随着一份份热衷与期盼,10月22-24日,由...
日期:09-30
接到电话称社保卡违规?腾讯手机管家提醒注意防范社保卡骗局_有打电话说社保卡违规操作能信吗
  人力资源和社会保障部1月26日发布数据,截至2020年末,我国社保卡持卡人数已达到13.35亿人,社保卡已成为众多社会公民的保障。但就在近日,有关社保卡的骗局频频发生,骗子...
日期:07-10
三星技术不如台积电「追赶台积电!三星推动开发高端EUV薄膜」
光罩薄膜是极紫外 (EUV) 光刻工艺中的关键部件,指的是在光罩上展开一层薄膜,然后机器在上面绘制要在晶圆上压印的电路,以免光罩受空气中微尘或挥发性气体的污染,减少光掩模的损...
日期:02-15
融云 x N 世界:构建无限用户实时交互的「元宇宙会场」
*本文转自公众号【融云全球互联网通信云】,专注社交全场景,体验通信新可能。“欢迎登录您的元宇宙空间。”朝着元宇宙这个方向望过去,未来我们终有一天可以在现实世界和虚拟空...
日期:08-11
三星note 3「三星note3现在还能用吗」
三星Note 3是一款由三星公司推出的智能手机,于2013年9月发布,它有一些出色的规格和功能,如6英寸全高清Super AMOLED屏幕、3GB的RAM和高达64GB的存储容量,使它成为当时市场上最具...
日期:05-29
amd290x显卡「RTX 4090发布 AMD丝毫不怵:A卡性价比高、能效好」
昨晚NVIDIA发布了RTX 40系列显卡,首批上市的是RTX 4090、RTX 4080 16GB及RTX 4080 12GB三款,国内售价分别是12999、9499及7199元,相比RTX 30系列涨价不少。不过RTX 40系列显卡...
日期:09-22
阿里ai虚拟模特塔玑效果图「阿里公布内容生成虚拟对话专利 可实现共情对话」
5月19日 消息:天眼查App显示,阿里巴巴(中国)有限公司申请的“对话内容生成、虚拟对话、对话内容的数据处理方法”专利公布。乐视超级手机用户摘要显示,该申请通过构建情感关联图...
日期:05-19
1366万起!联通9个6超级靓号上架,钱少勿入_联通靓号多少钱一个
中关村在线消息:10月10日,据相关爆料,在国内某网拍平台上,上线了一个联通超级靓号,号码为156666666666,起拍价为1366万,加价幅度为5万一次。该产品一经上架便引发了全场关注,共有6万...
日期:10-10
轿车定速巡航失灵 126码开俩小时没停:原因不可思议「汽车定速巡航失灵」
中关村在线消息:近日,在S9苏台高速发生了非常惊险的一幕,一辆小轿车开启定速巡航后踩刹车无法关闭,只能保持126公里的时速行驶,驾驶员崩溃报警,最终在交警的护送下有惊无险的停下...
日期:11-05
国家(上海)新型互联网交换中心试点正式获批落地临港_国家级互联网交换中心
  9 月 10 日消息 据上海临港官方消息, 近日,工业和信息化部向上海市通信管理局和临港新片区管委会下发批复,正式同意在上海开展新型互联网交换中心试点。   ▲ 图源:上海...
日期:12-12
ChatGPT逐鹿:谷歌“翻车”,微软抢跑,国内概念股狂飙
出品|虎嗅科技组作者|齐健编辑|陈伊凡头图|FlagStudio生成2023年开年才一个月,微软、谷歌两大巨头在AI战场就上演了“神仙打架”。1月里两家公司围绕OpenAI和ChatGPT发布的密集消...
日期:02-13
15万级纯电SUV卷王!广汽埃安Aion Y Plus上市:13.98万起_广汽新能源suv埃安lx
9月27日,AION Y Plus正式上市,共推出510km、610km两个续航版本共计6款车型,补贴后的官方指导价为13.98万元-17.98万元,10月即开始交付。作为15万级纯电SUV的首个10W+,AION Y产品...
日期:09-28
大学生下乡务农「10万95后回乡“务农”」
声明:本文来自于微信公众号 字母榜(ID:wujicaijing),作者:彦飞,授权转载发布。在创业失败、背上60多万元外债后,李诗宣决定回乡务农。李诗宣1996年生于山西吕梁文水县的刘胡兰镇,2...
日期:10-04
苹果15pro价格「iphone15 pro系列将在四个月内发布iphone15 pro系列」
将在四个月内发布,目前正在生产中。与iPhone14的配置类似,iPhone15和15Plus具有60Hz屏幕,而Pro和ProMAX具有120Hz高刷新率屏幕。所有型号都将采用“浮岛”设计,并改用c型设计。i...
日期:05-13
劳斯莱斯小金人一碰出刀「男子拦劳斯莱斯不给喜烟就掰车标!价值24万的“小金人”」
在民间,许多地方都有讨要喜烟喜糖的习俗,但总有一些人比较过分。iphone12在日本卖多少钱近日,关于江苏邳州一名男子拦婚车索要香烟,并用手握住一辆劳斯莱斯婚车的小金人”的新闻...
日期:04-10
第二代骁龙8地板价来了!moto X40今晚发布:全面对标小米13
随着高通第二代骁龙8的上市,越来越多的旗舰机型也都纷涌而至。今晚19:30,摩托罗拉将召开新品发布会,推出全新一代旗舰moto X40。值得注意的是,这次的新机与小米13系列之间似乎有...
日期:12-15
携号转网给运营商带来挑战与机遇(运营商携号转网发展方向分析)
  (原标题:携号转网给5G时代运营商带来挑战与机遇 )   携号转网在全国推行进入倒计时。工信部信息通信发展司司长闻库22日在国新办发布会上表示,目前,携号转网系统改造已...
日期:05-16
腾讯向股东派发9.58亿股美团股票,腾讯总裁刘炽平卸任美团董事_美团股东 腾讯
2022年11月16日消息,腾讯控股公告显示,将按合资格股东持有每10股股份获发1股美团B类普通股的基准,向于记录日期名列本公司股东名册上股东按彼等当时各自于本公司之持股比例,以实...
日期:11-18
陌陌网友:2021央视春晚有4位老熟人
  从1983年央视正式举办春晚开始,每一年的春晚是我们中国人集体的年夜饭,春晚中的节目也是我们中国人的美好记忆,反映了时代的主旋律和展现了社会的新风采。与此同时,能够登...
日期:07-16