您的位置:首页 > 互联网

GPT-4V都考不过?基于大学水平考试的多模态AI测试基准MMMUs发布_多模态目标检测

发布时间:2023-12-01 15:57:00  来源:互联网     背景:

要点:

华为手机加价1000

  • 最新基准数据集MMMUs针对大学水平多学科问题提供了全面的多模态AI测试,挑战了当前最强大的GPT-4V等模型,展现了其在深度和广度方面的性能。

  • MMMU包含六个学科的30个科目,涉及艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程等领域,共有1.15万个多模态问题,考察了感知、知识和推理等基本技能,为评估专家级AGI提供了全面而复杂的任务。

  • MMMU在问题设计上注重深度,包含专业领域知识和高级推理,通过涵盖多种图像格式和混合文本图像输入,要求AI模型在理解、记忆、推理等方面具备高级能力,挑战了当前多模态基准的局限性。

12月1日 消息:近日,一项基于大学水平考试的多模态AI测试基准MMMUs发布,旨在评估机器在广泛多样的任务上的专家级多模态理解和推理能力。这一基准对当前最先进的GPT-4V等模型提出挑战,通过涵盖艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程等六个学科的30个科目,共有1.15万个问题,考察了感知、知识和推理等基本技能。

论文地址:https://arxiv.org/abs/2311.16502

多模态分析

多模态分析是什么意思

多模态算法

苹果停产的产品列表

项目网站:https://mmmu-benchmark.github.io/

数据集:https://huggingface.co/datasets/MMMU/MMMU

桂城到九江公交路线

pico neo4 vr一体机最新消息

代码:https://github.com/MMMU-Benchmark/MMMU

MMMUs的问题涵盖了大学考试、测验和教科书,由50位来自不同学科的大学生收集,涉及了多种图像格式,从照片和绘画到图表和表格。这使得该基准不仅考察了常识和日常知识,还注重专业领域知识和高级推理。此外,MMMUs具有文本和图像混合的输入,要求AI模型在处理这种混合信息时展现深度学科知识和执行复杂推理的能力。

在实验评估中,MMMUs展现出极大的难度,即使是当前最先进的GPT-4V也仅在55.7%的问题上取得准确答案,表明AI技术在这一领域仍有巨大的改进空间。通过这一基准的构建和评估,研究团队为进一步推动人工智能系统的发展和深入研究提供了有力的工具和参考。

总体而言,MMMUs作为一项全面、具有挑战性的多模态AI测试基准,为评估专家级AGI的发展提供了新的视角和标准。这将有助于推动人工智能领域的发展,引领未来人工智能系统在多学科、多模态任务上取得更为卓越的成就。


返回网站首页

本文评论
魅族18系列四款机型,Flyme 10稳定版现已全量推送_魅族18深度体验
今天魅族官方正式宣布,魅族 18、魅族 18 Pro、魅族 18s、魅族 18s Pro 四款机型首个Flyme 10稳定版现已全量推送。Flyme 10采用全新设计Alive Design,简约优雅, 细腻流畅;备受好...
日期:06-01
京东商城与红孩子厮杀,一家一户迎来发展良机
泉城在线讯  京东商城目前已经宣布进军母婴类商品,这意味着京东将于红孩子等进行殊死搏杀,在数码领域春风得意的京东商城必然在百货领域志在必得,国内B2C市场的竞 争越来越...
日期:07-29
劳斯莱斯闪电价格「世界最贵电动车登场!劳斯莱斯闪灵上市:575万起售」
12月17日消息,劳斯莱斯旗下首款纯电动车闪灵正式上市,新车国内起售价为575万元,目前已经开始接受客户预订,将于明年第四季度末开启交付。华为全系列缺货闪灵基于劳斯莱斯全铝奢...
日期:12-17
第8次沙尘过程来袭!将波及15省区市 专家解释为何偏多_本次沙尘或将影响17个省
中央气象台4月10日18时继续发布沙尘暴蓝色预警。受冷空气大风影响,预计4月10日20时至11日20时,新疆南部、内蒙古大部、甘肃东部、宁夏、陕西中北部、山西、河北、北京、天津、...
日期:04-10
“苹果税”遭马斯克公开抨击-AppStore30%抽成过分_苹果税收
5月1日消息,今天,马斯克在推特公开表达了对苹果AppStore 30%高额抽成的不满。在上周,马斯克曾解释了在iPhone上付费订阅需要一段时间才能生效的原因,称这是由于所有的订阅都需要...
日期:09-30
苹果最早2025年量产iPhone」-SE 4手机 「郭明錤
4 月 14 日消息,分析师 Jeff Pu 昨日表示,苹果计划在 2025 年发布配备自研定制设计 5G 基带芯片的 iPhone SE。天风证券分析师郭明錤在最新推文中认可了这条消息,并分享了更多...
日期:09-18
ios14充满电显示还在充电「iPhone14Pro被曝充电时重启:在测试版上问题仍然存在」
9月28日消息:据9to5Mac报道,现在一些用户说表示他们的iPhone在通过MagSafe或Lightning充电时,会出现间歇性地重启现象。苹果新机四个摄像头在Reddit的帖子中,几位用户抱怨iPhon...
日期:09-30
电动车艾睿雅专享 东风日产推“官方补贴”:最高优惠3.26万元!
1月4日消息,快科技从东风日产官方获悉,其针对旗下首款纯电动车艾睿雅(Ariya)推出了专属的综合补贴促销活动,下定可享最高优惠3.26万元,优惠后售价为25.28-31.28万元(原价28.54-34.2...
日期:01-04
工信部:目标到 2021 年底移动网络 IPv6 流量占比超过 20%(ipv6总量)
  7 月 9 日消息 工信部、中央网信办联合印发《IPv6 流量提升三年专项行动计划(2021-2023 年)》,目标到 2021 年底,移动网络 IPv6 流量占比超过 20%,固定网络 IPv6 流量规模...
日期:09-27
iPhone 14 Plus在周五上市前首次出现预计交货日期延迟的情况_苹果13发货时间会比预期提前么
苹果公司的iPhone 14 Plus,其最新的6.7英寸非Pro版iPhone将于本周五(10月7日)正式发布,苹果公司网站目前显示所有型号和配置的发货延迟到下周。苹果公司的美国订单页面现在给出...
日期:10-06
HTC对赢得苹果专利侵权案充满信心_苹果为什么只起诉htc
  10月18日上午消息,全球第五大智能手机制造商HTC周二表示,尽管美国国际贸易委员会作出了不利于公司的初步裁决,但公司仍有信心在针对苹果的专利诉讼中胜诉。   HTC首席法...
日期:07-24
笔记本配置怎么看高低「笔记本配置怎么看」
笔记本电脑是我们日常生活、工作中必不可少的电子设备之一。而对于购买笔记本电脑时,配置是大家考虑的重点。那么如何看笔记本配置呢?下面就来详细讲解。1. 处理器iphone12pro...
日期:05-29
微软将为私有云推出服务器操作系统_微软将为私有云推出服务器操作系统英文
  软件供应商微软将正式推出一款名为Windows Server AppFabric的服务器系统,它是一款主要面向私有云计算的系统。   Windows Server AppFabric作为微软日后进军私有云市...
日期:07-29
余承东:HarmonyOS 4一个月升级用户超6000万_余承东p40
9月25日消息,华为秋季全场景新品发布会在深圳举行。发布会期间,华为常务董事、终端BG CEO、智能汽车解决方案BU董事长余承东分享了HarmonyOS的最新进展:HarmonyOS 4发布后,短短...
日期:09-25
快手电商新增《五金机电类目商品发布规范》 2013年1月3日生效
12月14日 消息:快手电商发布公告称,为规范商品发布秩序,提升平台内用户购物体验,现新增《五金机电类目商品发布规范》,本规则于2023年1月3日生效。本规范适用于【五金机电】类目...
日期:12-14
小米手机卡「小米手机卡在miui界面」
是小米公司推出的一款智能手机卡,旨在为用户提供更加便利、实惠、高品质的通信服务。以下是对的相关信息进行整理。游族网络年报时间一、产品介绍是一种虚拟SIM卡,用户可以通...
日期:05-28
阿迪达斯季度报告「阿迪达斯公布第三季度初步业绩数据」
DoNews10 月 21 日消息(邵忱)今年 8 月,阿迪达斯发布财报称,第二季度营业亏损3. 33 亿欧元,逊于预期,因疫情迫使其关闭了大部分门店。全球销售额下降35%,至35. 79 亿欧元,略好于预期...
日期:10-22
企业仍处于圈地阶段:无线应用收费模式调查
  随着第一个无线应用企业网秦天下在美上市,智能手机的用户日益增加,手机应用企业开始散发诱人的气息。   中国的智能手机用户到底有多少?目前业界对此并无定论,比较常见的...
日期:07-27
全球首个近耳声学技术标准发布!歌尔牵头制定_网易科技
(原标题:全球首个近耳声学技术标准发布!歌尔牵头制定) 近日,中国电子元件行业协会团体标准《近耳开放式音频设备第1部分:声学性能...
日期:09-19
OPPO Find N2 Flip领跑市场 新一代Find N3 Flip即将发布_oppo find3百科
【手机之家新闻】8月24日,Counterpoint最新发布的《白皮书:折叠屏智能手机未来可期》报告显示,2022年,中国市场在全球折叠屏手机发展中崭露头角,占据了全球出货量的26%。中国已成...
日期:08-25