您的位置:首页 > 互联网

GPT-4作弊被抓,吉娃娃or松饼打乱顺序就出错,LeCun:警惕在训练集上测试

发布时间:2023-11-14 16:42:00  来源:互联网     背景:

声明:本文来自微信公众号“量子位”(ID:QbitAI),作者:量子位,,授权转载发布。

GPT-4解决网络名梗“吉娃娃or蓝莓松饼”,一度惊艳无数人。

然鹅,现在它被指出“作弊”了!

全用原题中出现的图,只是打乱顺序和排列方式。

结果,最新版全模式合一的GPT-4不但数错图片数量,原来能正确识别的吉娃娃也识别出错了。

那么为什么GPT-4在原图上表现的这么好呢?

搞这项测试的UCSC助理教授Xin Eric Wang猜测,原图在互联网上太流行,以至于GPT-4在训练时多次见过原答案,还给背了下来。

图灵奖三巨头中的LeCun也关注此事,并表示:

警惕在训练集上测试。

泰迪和炸鸡也无法区分

iphone se 4.7英寸

原图究竟有多流行呢,不但是网络名梗,甚至在计算机视觉领域也成了经典问题,并多次出现在相关论文研究中。

那么抛开原图的影响,GPT-4能力究竟局限在哪个环节?许多网友都给出了自己的测试方案。

易聊科技有限公司

为了排除排列方式太复杂是否有影响,有人修改成简单3x3排列也认错很多。

有人把其中一些图拆出来单独发给GPT-4,得到了5/5的正确率。

但Xin Eric Wang认为,把这些容易混淆的图像放在一起正是这个挑战的重点。

终于,有人同时用上了让AI“深呼吸”和“一步一步地想”两大咒语,得到了正确结果。

但GPT-4在回答中的用词“这是视觉双关或著名梗图的一个例子”,也暴露了原图确实可能存在于训练数据里。

最后也有人测试了经常一起出现的“泰迪or炸鸡”测试,发现GPT-4也不能很好分辨。

但是这个“蓝莓or巧克力豆”就实在有点过分了……

视觉幻觉成热门方向

大模型“胡说八道”在学术界被称为幻觉问题,多模态大模型的视觉幻觉问题,已经成了最近研究的热门方向。

在EMNLP2023一篇研究中,构建了GVIL数据集,包含1600个数据点,系统性的评估视觉幻觉问题。

研究发现,规模更大的模型更容易受到错觉的影响,而且更接近人类感知。

另一篇刚出炉的研究则重点评估了两种幻觉类型:偏差和干扰。

  • 偏差指模型倾向于产生某些类型的响应,可能是由于训练数据的不平衡造成的。

  • 干扰则是可能因文本提示的措辞方式或输入图像的呈现方式造成去别的场景。

研究中指出GPT-4V一起解释多个图像时经常会困惑,单独发送图像时表现更好,符合“吉娃娃or松饼”测试中的观察结果。

流行的缓解措施,如自我纠正和思维链提示并不能有效解决这些问题,并测试了LLaVA和Bard等多模态模型存在相似的问题。

另外研究还发现,GPT-4V更擅长解释西方文化背景的图像或带有英文文字的图像。

比如GPT-4V能正确数出七个小矮人+白雪公主,却把七个葫芦娃数成了10个。

Pico Neo3 VR一体机

参考链接:

[1]https://twitter.com/xwang_lk/status/1723389615254774122

[2]https://arxiv.org/abs/2311.00047

[3]https://arxiv.org/abs/2311.03287


返回网站首页

本文评论
戴尔展示史上最容易修的笔记本!没有螺丝:完美拆解到无损还原只需1分钟
清灰、改散热、升级内存/SSD这些操作在台式机上很简单,可对于集成度极高的笔记本来说,通常不容易。即便是好不容易拆开了,无损还原可能会让人更痛苦。本周,戴尔发布了第二代模块...
日期:12-16
Moka发布首个AI原生HR SaaS产品 “Moka Eva” 布局AGI时代_moka招聘是什么
6月28日消息,Moka今天发布了首个AI原生HR SaaS整体解决方案以及面向AGI时代的AI HR 伙伴——Moka Eva,Moka也因此成为行业首家真正交付AI原生HR SaaS产品的公司。Moka CEO李国...
日期:06-28
5G带来10倍体验提升-华为获“最佳移动网络基础设施奖”_华为5g基站产品
在MWC2023巴塞罗那期间,华为MetaAAU系列产品荣获GSMA全球移动大奖(GLOMO奖)“最佳移动网络基础设施奖”,旨在表彰华为长期围绕Massive-MIMO极强性能、极致能效、极简部署等方向...
日期:09-19
B站UP主打Call华硕ProArt创作大赛,报名进入白热化阶段
  近日,由华硕主办的ProArt 2021创作大赛正在如火如荼的报名之中。大赛旨在发掘有创意、有想法的创作者,期待创作者用艺术的力量来描绘伟大的时代和梦想的未来,在业内吸引了...
日期:05-21
灵动按摩头+四区热敷 优惠价259元荣耀亲选温热多向颈部按摩器G6开售
  11月1日,荣耀亲选温热多向颈部按摩器G6正式迎来开售。该产品自发布以来,凭借可移动按摩头、四区包围式热敷、折叠式设计等功能优势,吸引了众多消费者的喜爱。尤其是每天长...
日期:06-11
确保网络数据安全 应对新一代人工智能治理挑战_人工智能时代,如何保障自己的有效网络信息安全?
通信世界网消息(CWW)ChatGPT 的爆火在全球社会引发了一场研发大规模语言模型的热潮。以生成式人工智能为代表的新一代人工智能不仅革命性地改变了人机交互的形式,提升了人机交...
日期:08-02
热搜!刘强东得子后立即回国工作,网友:事业还是放在首位 实控企业超300家
  讯 2月1日下午消息,近日,有网友爆料在首都机场看到刘强东。另据接近刘强东的人士表示,刘强东得子后就立即回国工作了。;  去年9月,有网友晒出在美国明尼阿波利斯市偶遇刘...
日期:02-01
苹果“虚标5G”了吗?
苹果“虚标5G”了吗? 通信产业网|2023-09-14 10:03:50作者:老解来源:通信产业网【通信产业网讯】(文/老解)在苹果秋季发布会前夕,有专家指责苹果手机在没有5G网络情况下“虚标5G”...
日期:09-21
抖音直播违规营销是什么意思「抖音直播严肃整治机构不良经营行为 违规二次将清退处理」
8月11日 消息:抖音直播发布《关于严肃整治机构不良经营行为的公告》称,自2023年6月起,抖音直播对存在侵害未成年人权益、色情导流、诈骗、涉黑产、诱导过度消费相关违法违规不...
日期:08-11
OPPO K11 将于 7 月 25 日发布 号称2000价位体验旗舰影像「oppo手机k11」
7月18日 消息:OPPO官方宣布,OPPO K11手机将于7月25日14:30正式发布。据曝光显示,OPPO K11通过国家3C认证,型号为PJC3,支持最高100W快充。OPPO K11预计采用6.7英寸FHD+AMOLED居中...
日期:07-18
ibm people manager「IBM承诺到2026年底将培训200万名AI人才」
通信世界网消息(CWW)近日,IBM发布声明称,为帮助缩小全球人工智能(AI)技能差距,承诺到2026年底将培训200万名AI人才,并重点关注代表性不足的群体。该公司预计,由于未来三年人工智能...
日期:09-19
3个月激增6100万中老年网民,互联网也懵了_中老年人互联网
谁会花心思去了解一位老人呢?在腾讯产品岗的面试题中,有一道经典题:“如何向60岁的老人推广无人机?”2020年以前,你大可以发挥想象力去作答,现实中也不会真有智能产品的推销员...
日期:12-12
一个人vlog_全民Vlog时代:被看到,就不孤独
  什么样的创作人才能在西瓜视频走红?拥有百万粉丝,单条视频下的评论超过千条,靠拍视频月收入过万,彻底改变人生?   问题的答案,与他们的手机质量,颜值,经历,都毫无关系——...
日期:10-11
kindle电子书可以手写吗「决定退出中国后 亚马逊发布新款电子书Kindle Scribe:配备手写笔」
亚马逊中国决定将于2023年6月关闭Kindle电子书商店,硬件的退货服务也已经开启,截至到今年10月底结束。尽管在中国市场结束运营,但Kindle在海外市场却活得不错。继前两天发布新...
日期:10-04
小米,汽车「打造人车家全生态 小米澎湃OS正式发布」
2023年10月26日,小米于北京召开主题为跨越时刻的小米澎湃OS 暨Xiaomi 14系列新品发布会,正式发布小米澎湃OS。它是小米历时7年打造的,以人为中心的人车家全生态操作系统。小米...
日期:10-27
美团 美股 港股「美团港股急跌超10% 腾讯回应出售美团股权传闻:不予置评」
  记者/张洋洋  美团股价午后持续走低,跌幅现扩大至10%。此前有市场消息称,腾讯计划出售美团的全部或大部分股权。对此,腾讯方面回应《科创板日报》记者称,不予置评。小狗吸...
日期:09-28
第三方支付应用特征从行业细分向行业整合过渡(第三方支付行业发展趋势)
  随着今年中国人民银行颁发支付业务许可证,第三方支付市场将迎来新的“井喷期”。第三方支付的管理趋于规范,行业朝着更加健康地方向发展。与此同时,第三方支付应用特征也...
日期:07-24
大陆侦破涉东盟及两岸的台湾籍人员电话诈骗案
  中国警方27日展开全国9省市统一抓捕行动,剑指“11·30”系列电信诈骗犯罪团伙。   警方查明,该团伙在中国大陆各省广设分支,其幕后组织者为台湾籍人员。此系列案件拨打...
日期:07-25
100寸幕布投影安装距离,3米距离选多大投影幕布?这张表看一下(120寸幕布投影距离与高度)
  很多朋友买回投影仪后遇到的第一个棘手的问题就是,投影幕布的选择尺寸、和安装距离,到底应该怎么处理解决问题,我们一起看下去。   常见投影仪投射比、适宜投射画面:...
日期:02-06
华为nova8京东什么时候有货「华为nova 11系列今日开售!京东手机小时购1小时就到手」
4 月 26 日,备受期待的华为nova11 系列正式首销,售价 2499 元起,搭载了系列史上最强影像配置,全系搭载昆仑玻璃,耐摔抗跌能力 10 倍提升,是近期的热门新机。想要入手这款新机的朋...
日期:04-26