您的位置:首页 > 互联网

马毅团队新研究:微调多模态大模型会灾难性遗忘

发布时间:2023-09-28 21:27:15  来源:互联网     背景:

要点:

华为鸿蒙os3.0

1. 马毅团队提出了EMT框架,评估微调后的多模态大模型(MLLM)的灾难性遗忘。

2. 实验表明,微调MLLM在提升微调数据集性能的同时,也导致其他数据集性能下降。

3. 微调过程中,MLLM会产生与微调数据集相关的幻觉文本,忽略原始问题。

9月28日 消息:随着GPT-4的发布,多模态大模型(MLLM)成为热点。业界常将视觉编码器与语言模型集成构建MLLM。尽管微调后的MLLM在视觉语言任务上表现强劲,但仍面临灾难性遗忘的问题,即过拟合微调数据集后,在其他任务上的性能下降。

论文地址:https://arxiv.org/pdf/2309.10313.pdf

马毅团队提出了EMT框架,专门评估MLLM的灾难性遗忘。流程是:

1)输入图像;

iphone 12 pro max升级15

2)要求MLLM分类;

3)用另一个语言模型评估分类正确性。

结果显示,测试的MLLM大多无法保持与视觉编码器相近的分类性能。

研究还针对LLaVA做了微调实验。证实了适度微调有益,但过度微调会导致非微调任务遗忘。另外,微调后的MLLM会产生与微调数据集相关的幻觉文本,而非原始问题。

本研究首次系统评估了MLLM中的灾难性遗忘问题,为后续工作提供了框架和基准。遗忘问题的产生也启示我们,在追求单任务性能的同时,还需注意保持模型的泛化能力,防止过拟合。模型设计和训练技巧仍需进一步优化,以平衡不同能力之间的权衡。


返回网站首页

本文评论
iPhone 15配置定价曝光:最低5999元起「苹果15x」
分析师蒂姆·朗预测苹果即将推出的iPhone 15 Pro版型号很可能比当前型号更贵。这一消息来自亚洲供应链。研究报告显示,iPhone 15 Pro的价格将比上一代机型贵100美元,而iPhone...
日期:07-28
苹果怎么设置电话挂断快捷键「多年习惯突然要改!iOS 17电话挂断按钮“搬家”了」
对于不少iOS用户来说,手指下移到屏幕下方中间挂断电话,已经几乎是一种肌肉记忆”了。但在iOS17中,用户或许将必须克服自己的肌肉记忆,重新习惯新的界面。ofo变成了返钱快科技8月...
日期:08-09
外媒:相比德企工资低福利差,特斯拉柏林工厂招人困难「特斯拉工厂福利待遇」
12月6日消息,在埃隆·马斯克(Elon Musk)11月份在推特大规模裁员之时,特斯拉却面临着全球人手短缺的问题。自6月中旬以来,特斯拉职位空缺翻了一番,其柏林超级工厂至今依然未能招到...
日期:12-12
苹果15系统相机功能「iPhone 15 Pro相机凸起3.78毫米:约2枚1元硬币厚度」
快科技4月11日消息,随着时间的推进,苹果内部对于iPhone 15的打造已经基本定型,尤其是ID设计方面。近期供应链传出了不少关于新机的详细数据和图片,包括iPhone 15 Pro的CAD图纸。...
日期:04-11
华硕与谷歌合作,将推出信用卡大小的电脑
  11月13日消息 根据AnandTech的报道,华硕和谷歌联手开发了一款名为Tinker Board单板电脑,大小接近普通的信用卡,用于构建小型系统,运行人工智能推理应用程序。   首批推...
日期:04-14
消息称华为秋季新品发布会将于 9 月 12 日举行,预热即将开始
IT之家 8 月 21 日消息,近日多方消息称,华为秋季新品发布会将于 9 月 12 日举行,预计将于近期开启预热。据博主 @Jerrold_Tech 爆料,华为秋季新品发布会将于 9 月中旬举行,主打产...
日期:08-21
伦敦交通服务支持Apple Pay“快捷交通”模式:无需刷脸(英国公交可以用apple pay吗)
  目前通过Apple Pay搭乘公共交通工具有两种方法,第一种方式是在iPhone或者Apple Watch上开通「交通卡」,优点是能够在不唤醒iPhone或者不输入密码的情况下就能通过闸机或...
日期:02-21
旷视 开源_旷视正式宣布开源深度学习框架“天元”,降低AI开发门槛
  3月25日下午,旷视科技举办线上发布会,宣布开源新一代AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine)。   据了解,天元的前身是旷视内部自用的算法训练推理...
日期:12-14
职场人没有“午休自由”_上班很不自由
声明:本文来自于微信公众号 深燃(ID:shenrancaijing),作者:李秋涵 唐亚华 邹帅 王敏,授权转载发布。苹果13被黄牛加价常言道,“中午不睡,下午崩溃”。午休,一直被职场人当作工作日的加...
日期:11-13
api数据接口平台「用API接入更安全,OpenAI称不会用付费客户数据训练AI」
5月6日消息,OpenAI首席执行官萨姆·奥尔特曼(Sam Altman)周五表示,他们“已经有一段时间”没有使用付费客户的数据来训练其GPT等人工智能大语言模型。特斯拉降价了电动车降价...
日期:05-06
微软向Win10推送KB501831更新补丁(win10更新kb4601050)
  ITBEAR科技资讯4月26日消息,今天,微软正式向Win10推送KB5011831更新补丁,该补丁修复了一些现有的Bug,没有为系统增加新的功能。   更新后,一些用户在登录或注销系统时的...
日期:07-18
农商行数字化升级  缩减 App整合线上资源_农商行数字化转型六大误区怎么破
转自:中国经营网本报记者 郭建杭 北京报道农村金融机构在数字化转型上逐渐迈出了更新的一步。近期,农村金融机构逐渐出现关停具有单一功能的金融App,转向依托省农信联社官方App...
日期:06-04
世纪佳缘网或海外上市 将促婚恋网站市场净化_世纪佳缘网官方网站
  北京4月18日消息 据中国之声《新闻纵横》报道,伴随着国内相亲节目的持续火爆,婚恋交友网站最近也在人气攀升,红得有些发紫。占据着国内半壁婚恋市场的世纪佳缘网,放出风声...
日期:07-27
斗鱼第二季度营收18.3亿元 净利润2350万元报告_斗鱼第二季度营收18.3亿元 净利润2350万元
htc手机ISC 2021第九届互联网安全大会华为大数据开发 查看最新行情   讯 北京时间8月15日下午消息,斗鱼(Nasdaq:DOYU)今日发布了截至6月30日的2022年第二...
日期:08-16
父亲节教老爸重装电脑 让他“偷菜”更开心
前年父亲节,笔者给老爸买了一台电脑,从此他就学会了“聊天”、“偷菜”并且乐此不疲。但是笔者每次放假回家也就多了一项任务,帮老爸维修电脑。而今年的父亲节,笔者决定采用一...
日期:07-30
中兴光纤「建好网到用好网,中兴通讯深化千兆经营和光网发展」
通信世界网消息(CWW)6月4日,在第31届中国国际信息通信展览会的“未来城市千兆光网发展论坛”上,中兴通讯副总裁,有线产品MKT总经理胡俊劼以“建好网到用好网,深化千兆经营和光网发...
日期:06-06
网友将王嘉尔AI换脸成宋小宝 宋小宝:冒犯了「王嘉尔模仿宋小宝」
5月15日消息,一段王嘉尔AI换脸成宋小宝的视频引发热议,网友直呼毫无违和感”。随后,宋小宝喊话王嘉尔:实不相瞒,哥想进时尚圈很久了。弟弟,冒犯了”。随着人工智能的发展,AI换脸”...
日期:05-16
疯狂!淄博烧烤店主为劝退游客自己刷差评 犄角旮旯里的烧烤店都能被发现
近日,山东淄博,藏在犄角旮旯里的淄博烧烤店,被网友发现后,门口停满了车,老板再也不能躺平”了。网友看到这一幕后表示,老板以为是普通游客结果是侦察兵”。曝iphone15pro影像参数...
日期:05-01
小米总裁回应华为出售荣耀:对小米的策略没有任何影响「荣耀高管回击小米」
11月24日 消息:在今日的财报电话会议上,针对“华为出售荣耀对小米战略是否有影响”的提问,小米总裁王翔回应称,我们也是从媒体上看到关于华为出售荣耀这条新闻,不管怎么样,对小米...
日期:12-12
骁龙8 gen3跑分曝光:177万傲视群雄
预计将于10月24日发布的高通骁龙8 gen3迎来新的曝光信息,搭载这款处理器的工程机跑分曝光,安兔兔V10版本的跑分达到177万分,远超骁龙8gen2的132万分和天玑9200 的135万分。根据...
日期:06-13