您的位置:首页 > 互联网

ar自回归模型「苹果AIM自回归视觉模型验证性能与模型规模有关」

发布时间:2024-01-19 05:05:12  来源:互联网     背景:

要点:

1. 随着容量或预训练数据量的增加,模型性能不断提升。

2. 论文证实自回归训练对于图像模型学习表征能力具有扩展性。

3. 自回归目标足以满足视觉特征的训练要求,且没有饱和的迹象。

ar自回归模型

1月18日 消息:苹果公司的研究者通过自回归图像模型(AIM)验证了视觉模型“参数越多性能越强”的规律,进一步证明随着容量或预训练数据量的增加,模型能不断提升性能。AIM能有效利用大量未经整理的图像数据,训练方法和稳定性与最近的大型语言模型(LLM)类似。这一观察结果与之前关于扩展大型语言模型的研究结果是一致的。

虽然本文实验所使用的模型规模有限,还需进一步探索是否能在更大参数量级的模型上验证此规律。研究者使用的预训练目标遵循应用于图像 patch 序列的标准自回归模型,通过一系列实验和研究,验证了模型容量可以轻松扩展到数十亿个参数,同时对下游任务有很好的性能。

项目地址:https://top.aibase.com/tool/aim

此外,研究者对自回归目标训练 ViT 模型的多方面进行了探讨,并且重新审视了之前的工作。研究者的实验报告显示,在整个训练过程中,优化目标直接带来更好的下游性能,而随着模型容量的增加,损失值和下游任务的准确性都有所提高。这一观察结果与在 LLMs 中观察到的趋势一致,反映了优化目标会直接带来更好的下游性能。

在 AIM 的设计参数中,除了扩展宽度,研究者还特别采用了一种简单设计,使用多层感知机块,独立地对每个 patch 进行处理。研究者同时强调,研究的模型规模有限,对更大参数量级的模型上验证此规律还有待进一步探索。

ar回归模型试验

realme笔记本发布时间

论文的实验结果证明了视觉模型同样遵循参数越多性能越强的规律,自回归训练对图像模型具有很好的扩展性,并能够满足视觉特征的训练要求。对未来图像模型性能提升和优化提供了新的研究方向和思路。


返回网站首页

本文评论
iPhone QQ浏览器_手机QQ浏览器(iPhone)2.4发布:支持flash
  近日,手机QQ浏览器(iPhone) 2.4已经登陆App Store,新增加搜索历史记忆及版本特性介绍功能,同时网页加载速度提升50%!支持缩放和中转模式自由切换,轻松打开适合iPhone浏览的...
日期:07-24
视频通话也不可信了 男子遭遇AI换脸骗局 7秒被骗30万
以前总说照片可能是假的,而视频是不能P的现在随着AI技术的发展,视频也不能全信了。今年5月,济南一男子就遭遇了AI换脸”诈骗,视频通话7秒钟被骗30万!据男子称,他在刷某短视频时遇...
日期:07-12
猪肾移植最新的真实消息中国「猪肾移植人体后成功撑过1个月:经过基因编辑 目前未排异」
快科技8月18日消息,近日美国纽约大学兰贡医疗中心公告称实现了一项大突破:将猪的肾脏移植到一名受试者体内,已正常工作了32天,创造了基因编辑猪肾脏在人体内工作的新纪录。据研...
日期:08-18
ChatGPT、谷歌Bard、微软Bing谁才是AI竞赛的赢家?
6月27日 消息:六个月前 ChatGPT 的推出引发了 OpenAI、微软和谷歌之间的人工智能聊天机器人竞赛。到目前为止谁才是赢家呢?显然不是谷歌,不过人们对 ChatGPT 的兴趣正在减弱...
日期:06-27
家宽业务是什么「《家宽多业务并发体验分级白皮书 》解读」
通信世界网消息(CWW)近日,宽带发展联盟发布了《家宽多业务并发体验分级白皮书》旨在帮助用户建立对品质家宽多业务并发的正确认知,打造极致多业务并发体验。FTTR解决方案需统筹...
日期:09-26
手机选购中心「手机选机中心」
随着科技的不断发展,手机已经成为我们生活中不可或缺的一部分。在如此大量的手机品牌和型号中,选一个适合自己的手机常常让人头疼。幸运的是,有许多网站和应用程序可以为你提供...
日期:05-29
《心墙》将响彻世界杯决赛现场:阿根廷战法国你觉得谁能赢?「法国对阿根廷世界杯集锦」
卡塔尔世界杯决赛将于明日23点开打,比赛现场将播放中文歌曲。在国际足联组织的投票中,球迷需要在周杰伦的《蜗牛》和林俊杰的《心墙》中选出其一。投票的截止日期是今天17点,目...
日期:12-17
第二代骁龙8有光线追踪了!网易武侠手游《逆水寒》率先落地实装
11月16日消息,在今早举行的2022骁龙峰会上,高通全新旗舰移动平台第二代骁龙8(骁龙8 Gen2)正式发布。第二代骁龙8采用台积电4nm工艺,1+2+2+3架构,包括一个Cortex X3超大核,两个Corte...
日期:11-17
又一款名为"Lunar Shift"的Xbox Series X/S手柄已被泄露出来「xbox series x手柄和ones」
又一款新的Xbox X/S系列手柄设计似乎已经泄露,Twitter用户Espía de Ofertas在亚马逊上发现了"Lunar Shift"手柄,该手柄似乎自带银色效果,包装上将其描述为"超现实的光泽"。如...
日期:10-02
AI 语音诈骗日益猖獗:实现 95% 模拟人声、77% 接通者遭经济损失
IT之家 5 月 6 日消息,根据 McAfee 公布的最新报告,基于人工智能(AI)的语音诈骗日益猖獗,在接到诈骗电话的群体中,77% 的人会导致经济损失。报告中提及了两个真实案例,其中一个通过...
日期:05-07
腾讯与中国联通合作推微信资费套餐服务(中国联通和腾讯合作)
  9月16日消息,近日有消息称广东联通与腾讯旗下IM产品微信达成合作,推出微信“零流量”资费服务:即在广东联通现有“沃派”套餐上增加了“省内使用微信免流量费”服务,这也是...
日期:07-23
一图看懂联想拯救者Y9000P 2023:狂暴性能250W「联想拯救者y9000x 2022」
3月21日晚,联想拯救者Y9000P/Y7000P 2023款正式登场,尤其是Y9000P成为重中之重,还首次推出了至尊版。拯救者Y9000P 2023至尊版配备了顶级处理器酷睿i9-13900HX,24核心32线程,单核...
日期:03-24
同比增长2% 阿里第四财季实现营收2082亿元
5月18日晚消息,阿里巴巴集团公布2023财年第四季度(自然年2023年第一季度)及全年业绩。2023年1至3月,营收2082.0亿元人民币,同比增长2%,预估2091.9亿元人民币;调整后EBITDA为321.2亿...
日期:09-28
NUC是什么,创盈芯是谁?「创盈芯实业」
近日,英特尔公司确认不再继续投资NUC业务线,也不再设计、制造任何NUC产品。NUC全称(Next Unit of Compute),诞生于 2012 年, 是一种小型设备或计算元件,可提供全面的台式机体验、游...
日期:07-18
曝小米自研系统、芯片今明两年会全部亮相 期待值拉满
据数码博主爆料,小米将在未来两年内推出自研操作系统、汽车和芯片。博主还透露,小米自研操作系统属于全端自研系统,兼容AOSP(Android开放源代码项目)。此外,博主还爆料称,MI...
日期:09-01
retail华为「华为发布RedCap阶段性成果_大规模商用条件已成熟-」
来源:中关村在线华为与产业合作伙伴在2023年全球移动宽带论坛上发布了RedCap商用的阶段性成果,这标志着RedCap已经具备了大规模商用的条件。预计到2023年底,将会有超过50款行业...
日期:10-13
配件品类占据人气C位 京东618开门红百万价低好物销量同比增长超50%_京东618品牌排行
随着京东618开门红的到来,消费者持续多日的购物热情被彻底点燃,与此同时,京东配件品类销售也迎来全面爆发。在开门红28小时内,3C配件百万价低好物销量同比增长超50%,喜人的战绩充...
日期:06-02
华为每年投入研发费用占比「我国研发经费投入超3万亿!华为去年前三季度砸1100亿搞研发」
1月20日消息,今日,从国家统计局官网获悉,初步测算,2022年我国全社会研究与试验发展(RD)经费投入达到30870亿元,比上年增长10.4%。RD经费投入强度较快提升,跃上2.5%新高度。三星z fli...
日期:01-21
WATCH3正式发布 搭载自研蓝河操作系统 vivo
来源:中关村在线iphone15ultra将采用c口11月13日晚19:00,vivo X100新品发布会正式开始,vivo WATCH3也和大家见面了。全新vivo WATCH3采用创新可拆卸表耳设计,更换原装表带还会自...
日期:11-14
动视暴雪最大股东是谁「分析师谈微软收购动视暴雪:只会伤害索尼 不会影响玩家」
自从微软宣布将收购动视暴雪以来,索尼就常以垄断行业”、损伤玩家利益”等理由进行反对,在近一段时间更是愈演愈烈,甚至拒绝与微软签署与收购案相关的合作协议。近日,行业分析师...
日期:03-13