您的位置:首页 > 互联网

OpenA CEO:巨型AI模型时代即将终结,想进步别再靠扩大规模

发布时间:2023-04-18 09:47:01  来源:互联网     背景:

4月18日消息,OpenAI的聊天机器人ChatGPT可谓是功能强大,引起了人们对人工智能的极大兴趣和投资。但该公司的CEO萨姆·奥尔特曼(Sam Altman)认为,现有研究策略已经失效,未来的AI进步需要新的思路。

近年来,OpenAI通过将现有的机器学习算法扩展到以前无法想象的规模,在处理语言方面取得了一系列令人印象深刻的进步。其最近开发的项目是GPT-4,据称已经使用数万亿字的文本和数千个强大的计算机芯片进行训练,耗资超过1亿美元。

但是,奥尔特曼表示,未来AI的进步不再依赖于将模型变得更大。在麻省理工学院的一次活动上,他说:“我认为,我们正处在一个时代的尽头。在(即将过去的)这个时代,模型变得越来越大。现在,我们会在其他方面让它们变得更好。”

奥尔特曼的表态意味着,开发和部署新AI算法的竞赛出现了出人意料的转折。自去年11月推出ChatGPT以来,微软就开始利用这一底层技术在其必应搜索引擎中添加了聊天机器人,谷歌也推出了名为Bard的竞争对手。许多人都迫不及待地尝试使用这种新型聊天机器人来帮助完成工作或个人任务。

与此同时,许多资金充足的初创公司,包括Anthropic、AI21、Cohere和Character.AI等,正在投入大量资源用于构建更大的算法,以努力赶上OpenAI的脚步。ChatGPT的初始版本是基于GPT-3构建的,但用户现在也可以访问功能更强大的GPT-4支持的版本。

奥尔特曼的陈述也暗示,采用将模型扩大并提供更多数据进行训练的策略后,GPT-4可能是OpenAI最后一项重大成果。不过,他没有透露任何可能替代当前方法的研究策略或技术。在描述GPT-4的论文中,OpenAI表示,其估计表明,扩大模型规模的回报正在减少。奥尔特曼说,该公司可以建立的数据中心数量以及建设这些中心的速度也都受到物理限制。

Cohere的联合创始人尼克·弗罗斯特(Nick Frosst)曾在谷歌从事人工智能研究,他表示,奥尔特曼所说的“不断扩大模型规模并不是无限制的有效解决方案”是正确的。他认为,针对GPT-4和其他transformers类型(编辑组:transformers直译为转换器,而GPT是Generative pre-trained transformers的简写,意思是基于转换器的生成式预训练模型)的机器学习模型,进展不再只是靠扩大规模。

弗罗斯特补充说:“有很多方法可以让transformers变得更好、更有用,而且很多方法都不涉及给模型增加参数。新的人工智能模型设计或架构,以及基于人类反馈的进一步调整,都是许多研究人员已经在探索的前进方向。”

在OpenAI的语言算法家族中,每个版本都由人工神经网络组成,这个软件的设计灵感来自于神经元之间相互作用的方式,经过训练后,它可以预测应该跟随在给定文本字符串后面的单词。

2019年,OpenAI发布了其第一个语言模型GPT-2。它最多涉及到15亿个参数,这一指标能够衡量神经元之间可调整的连接数量的大小。这个数字非常大,这在某种程度上要归功于OpenAI研究人员的发现,扩大规模使模型变得更加连贯。

unity 购买

2020年,OpenAI推出GPT-2的后继者GPT-3,该模型规模更大,参数高达1750亿个。GPT-3在生成诗歌、电子邮件和其他文本方面具备广泛能力,这令其他公司和研究机构相信,他们可以将自己的AI模型扩展到与GPT-3类似甚至更大的规模。

去年11月,ChatGPT首次亮相后,表情包制造者和科技专家猜测,当GPT-4问世时,它将是个拥有更多参数、更为复杂的模型。然而,当OpenAI最终宣布新的人工智能模型时,该公司没有透露它有多大,也许是因为规模不再是唯一重要的因素。在麻省理工学院的活动上,奥尔特曼被问及GPT-4的培训成本是否有1亿美元,他回答说:“不止如此。”

尽管OpenAI对GPT-4的规模和内部工作原理保密,但很可能它已经不再仅仅依赖于扩大规模来提高性能。有一种可能性是,该公司使用了名为“强化学习与人类反馈”的方法,用于增强ChatGPT的能力,包括让人类判断模型答案的质量,以引导它提供更有可能被判断为高质量的答案。

中国电视剧韩国收视率

GPT-4的非凡能力让许多专家感到震惊,并引发了关于AI改变经济潜力的辩论,以及其可能传播虚假信息和制造失业的担忧。许多企业家和AI专家最近签署了一封公开信,呼吁暂停开发比GPT-4更强大的模型6个月,其中包括特斯拉首席执行官埃隆·马斯克。

在麻省理工学院的活动中,奥尔特曼证实,他的公司目前没有开发GPT-5。他补充说:“这封公开信的早期版本声称OpenAI正在训练GPT-5。实际上我们并没有这样做,短期内也不会。”(小小)

雷军说小米不做4000元以上的手机


返回网站首页

本文评论
苹果iOS设备好评榜:6款iPhone手机上榜 第一无可争议「iOS设备好评率排行榜出炉:第一名并非iPhone,连续霸榜」
10月4日,知名跑分平台安兔兔发布了2022年9月iOS设备好评榜TOP10。此份榜单的数据来源自安兔兔评测;数据收集时间2022年9月1日至9月30日,仅限国内市场。根据这份榜单的信息,排名...
日期:10-06
微软正在研制个性化搜索引擎Emporia_微软公司推出的搜索引擎有哪些
5月30日消息,据国外媒体报道,微软希望其新的个性化搜索引擎Emporia将使人们能够访问迅速增多的大量的在线信息。 一个由五个微软科学家组成的小组一直在剑桥大学研究一个...
日期:07-28
外媒称Facebook即将完成交易与百度合作 进军中国市场_facebook进入中国市场
  据外媒最新报道称,Facebook即将完成交易进军中国市场。尽管2007年就曾出现过类似的传言,但最新的消息是来自数家可靠的媒体网站。   科技网站TechRice报道称,Facebook将...
日期:07-27
冰墩墩哪里有卖「冰墩墩线下今日停售  网店销售至12月31日」
9月30日 消息:据中国新闻网报道,包括冰墩墩公仔等在内的2022北京冬奥会各种特许商品线下零售店将于今日停止销售。下午14时左右,王府井工美大厦的旗舰店内,仍有不少顾客前来选...
日期:10-02
这届世界杯,战场不止足球场「举办过世界杯决赛的球场」
声明:本文来自于微信公众号 刺猬公社(ID:ciweigongshe),作者:弋曈,授权转载发布。12月14日凌晨,阿根廷与克罗地亚半决赛相遇,两大门神正面过招。首场半决赛落幕,一番精彩较量后,阿根...
日期:12-14
郑州黄河大桥堵车今天「致郑新黄河大桥200多辆车连撞!河南气象台回应郑州未发大雾预警」
12月28日7时46分左右,河南郑州市郑新黄河大桥双向发生多车相撞,当时现场救援人员初步统计涉及车辆200多辆。i7 9700 rtx2060有亲历者介绍,当时因大雾、团雾+结冰等多方面影响,导...
日期:12-29
苹果airpods pro拆机「iFixit 拆解显示苹果 AirPods Pro 2 与上代一样几乎无法修复」
9月29日消息:拆解维修网站iFixit今天分享了一段苹果第二代AirPods Pro的拆解视频,提供了对新耳塞和充电盒内部的近距离观察。拆解结果证实,AirPods Pro在很大程度上仍然无法维...
日期:09-29
狂飙播出时间「《狂飙》在短视频“狂飙”」
声明:本文来自于微信公众号卡思数据(ID:caasdata6),作者:潮关,授权转载发布。2023开年,《狂飙》就上演了一出“高开飙走”大戏。这部以扫黑除恶为主题的主旋律电视剧,在春节档激烈...
日期:02-10
2022年朋友圈刷屏!《二舅》获B站年度最佳作品
1月13日消息,在今晚举行的百大UP主盛典”上,哔哩哔哩官方(B站)公布了B站年度最佳作品。曾引发全网热议的视频《回村三天,二舅治好了我的精神内耗》获得年度最佳作品,《我不是药神...
日期:01-14
马斯克星舰最新「马斯克“下海”再掀巨浪!日本航运巨头宣布全船队部署星链!」
在试验取得成功后,日本邮船决定在其全部船队部署美国太空探索技术公司(SpaceX)的星链(Starlink)卫星互联网服务。继特斯拉汽车、星际飞船后,这一次马斯克又将“下海”,或将在航运业...
日期:03-13
天猫百亿品牌「在天猫获超1000万名会员数品牌已超40家」
10 月 8 日消息,距离今年天猫双 11 还有一个月。数据显示,在天猫获得超过 1000 万名会员的品牌已超过 40 家。据介绍,会员可以让品牌直接服务消费者,是品牌在天猫双 11 实现确定...
日期:10-11
理想回应无人陵园雷达显示全是人影 后续会加强优化_理想one无人驾驶视频
辽宁沈阳的一位男子驾车到陵园祭祖,却发现车上的雷达显示周围都是人,让他感到非常奇怪。这是一辆理想L9的汽车。他在视频里说,屏幕上全是人影,但是眼睛看不到一个人。对此,理想汽...
日期:03-29
虽然仅有4G 但这类手机华为再夺市场「华为手机现在都是4G」
中关村在线消息:近日,数据统计机构IDC公布了2022年第三季度中国市场折叠屏手机的市场份额数据。根据公布的信息来看:华为位列榜单首位,市场份额为44.9%;三星市场份额排名第二,占比2...
日期:11-29
荣耀新机X40 GT配置公布 骁龙888加持满帧战神
中关村在线消息:10月10日上午10点,荣耀手机官方微博再次预热了新机:荣耀X40 GT,该机将搭载骁龙888移动平台,官方称该机身负“满帧战神”之名,将为性能体验负责到底。该机将于10月1...
日期:10-22
2月中国电视市场出货量达241万台:小米第2 完胜索尼、三星「2021年电视出货量」
根据洛图科技(RUNTO)发布的《中国电视市场品牌出货月度快报》数据显示,2023年2月,中国电视市场品牌整机出货量达到241万台,同比增长26.8%,环比下降28.5%。吃葡萄干之前一定要洗吗?...
日期:03-13
Windows 10升级将控制面板系统小程序_windows10系统自带小程序
  据外媒报道,虽然微软在Windows 8和Windows 10中首次发布设置界面已经超过8年时间,而Windows 10仍拥有传统的控制面板功能。在Windows 8中,微软推出了一款带有基本选项的设...
日期:07-14
AMD R9 7950X 和英特尔 i9-13900K 跑分对比出炉,打的难舍难分「锐龙r9 3900x对比i9 9900k」
IT之家 8 月 31 日消息,AMD 昨日正式发布了锐龙 7000 系列桌面处理器,而英特尔 13 代酷睿预计也将在近期发布。根据最新曝光的跑分数据,AMD R9 7950X(16 核 32 线程)和英特尔 i9-...
日期:09-18
中移动加大网络覆盖 高铁飞机上可打电话
  今日“信息化与城市发展”主题论坛在宁波开幕。中国移动通信集团公司总裁王建宙在论坛上接受媒体采访时表示,中国移动将进一步解决网络覆盖问题,使用户在高速铁路、飞机...
日期:07-29
微信公众号禁售数字藏品(微信公众号禁售数字藏品是真的吗)
6月20日 消息:近日,微信《微信公众平台运营规范》新增了虚拟货币与数字藏品交易行为规范。规范明确,帐号涉及虛拟货币相关的发行、交易与融资等内容,例如提供交易入口、指引、...
日期:08-01
消息称货拉拉将推出同城门到门跑腿服务“货拉拉跑腿”「货拉拉同城业务」
2 月 8 日讯:据界面新闻报道,货拉拉即将推出同城门到门跑腿服务“货拉拉跑腿”。预计将于 3 月中旬全面开放骑手注册和用户人气征集活动,于 4 月正式开放服务和骑手接单。歌尔...
日期:02-10