您的位置:首页 > 互联网

最强大开源语言模型?FalconLM号称性能击败Meta的LLaMA「最新开发语言排行榜」

发布时间:2023-05-30 13:31:20  来源:互联网     背景:

5月30日 消息:当下,开源语言模型如雨后春笋般的冒出,其中有部分号称性能比Meta、谷歌等大科技公司开发的产品更优秀。

最近,一款名为FalconLM 开源语言模型就号称提供了比 Meta 的 LLaMA 更好的性能,也可以用于商业。但如果收入超过100万美元,则商业用途需要缴纳特许权使用费。

据了解,FalconLM 是由阿拉伯联合酋长国阿布扎比的技术创新研究所 (TII) 开发。该组织声称 FalconLM 是迄今为止最强大的开源语言模型。相比之下,FalconLM 最大的变体拥有400亿个参数,这明显小于Meta 的具有650亿个参数的 LLaMA。

在总结各种基准测试结果的Hugging Face OpenLLM 排行榜上,两个最大的 FalconLM 模型(其中一个已经用指令进行了改进)目前以显着优势占据前两名。

cpu处理器排名2022

开源模型百度百科

rtx30显卡和amd

FalconLM 比 GPT-3训练成本更低效果更好

根据开发团队的说法,FalconLM 竞争优势的一个重要方面是训练数据的选择。语言模型在训练期间对数据质量很敏感。

研究团队开发了一种从公共爬网数据集中提取高质量数据并删除重复数据的流程。在彻底清除重复数据后,仍保留了5万亿条文本(token)——足以训练强大的语言模型。

falcon 开源

FalconLM 接受了万亿token的训练。TII 还提到了针对性能和效率优化的架构,但没有提供详细信息。

据该团队称,优化的架构与高质量的数据集相结合,使得 FalconLM 在训练期间仅需要GPT-3的75% 的计算量,但明显优于旧的 OpenAI 模型。据说推理成本是 GPT-3的五分之一。

TII 的 FalconLM 用例包括文本生成、解决复杂问题、将模型用作个人聊天机器人,或用于客户服务或翻译等商业领域。

在商业应用中,TII 希望商业使用场景下,使用该语言模型获得100万美元收入后,将收取收入的10% 作为版税,而对于个人使用和研究,FalconLM 是免费的。

FalconLM 模型的所有版本均可从 Huggingface 免费下载,网址:https://huggingface.co/tiiuae。

applewatch s6和s7

除了这些模型,该团队还在Apache2.0许可下以开源形式发布了包含6000亿个文本token的“RefinedWeb”数据集的一部分。据说该数据集已准备好进行多模式扩展,因为示例已经包含图像的链接和替代文本。网址:https://huggingface.co/datasets/tiiuae/falcon-refinedweb


返回网站首页

本文评论
卢伟冰:Redmi K60系列没有对手
昨日,小米集团卢伟冰与网友互动中表示,Redmi K60系列没有对手。目前Redmi K60、K60 Pro已经开启预售,起售价分别是2499元和3299元。什么是投资赛道Redmi K60采用立体切割金属 D...
日期:12-29
联发科p60和天玑900「Redmi性能之王!K60 Ultra曝光:天玑9200 加持」
快科技5月12日消息,博主数码闲聊站暗示,Redmi K60 Ultra将在8月份前后发布,该机搭载联发科天玑9200 旗舰平台,这将是Redmi K60系列性能最强悍的旗舰手机。对比K60 Pro搭载的高通...
日期:05-12
端午赠客访友,除了送粽子你还可以选它!_端午节去拜访长辈,除了送粽子还送什么比较好
  眼看着眼看着端午节就快到了,想好给爸妈长辈们准备什么样的礼物了吗?这款360与华为强强联合推出的华为智选360扫地机器人X90,既能让送礼人倍有面子,又能让收礼人感到实用,...
日期:07-14
一加8pro升级coloros11「ColorOS13公测升级招募,一加 9 / 8 / 8Pro报名」
ColorOS13 一加 9RT、一加 9R、一加 8T、一加 8/8Pro 公测升级招募开启。报名方式:确保您的手机版本已经升级到对应基础版本后(详见社区帖),在手机上点击“设置>关于本机>顶部版...
日期:10-14
是电子书阅读器更是智能手机 海信阅读手机A5实力护眼_电子书阅读器与手机阅读
  普通智能手机不够护眼、电子书阅读器功能受限......长期以来,很多阅读爱好者都困惑于智能手机和电子书阅读器之间,虽说尺有所长寸有所短,但对于想要鱼与熊掌兼得的他们...
日期:03-27
三星neo qled 4k评测_从光源到画质的全面创新,三星Neo QLED这样打造高品质观影体验
  显示技术不断进步,研发人员始终通过探索显示科技打造理想的画质。三星Neo QLED的研发人员同样致力于探索更加出色的屏幕显示技术,并以超出想象的屏幕表现不断提升用户的...
日期:05-12
支持卫星通信 华为Mate50被国家博物馆收藏
中关村在线消息:近日,有网友拍到了华为Mate50竟然被国家博物馆收藏。redmi note8发布价格谷歌pixel手机升级安卓11后小米civi1s详细评测在官方资料里显示:“2022年9月6日正式发...
日期:10-19
自研“北斗高精”!百度地图宣布攻破“宇宙最难”8D重庆隧道导航
快科技5月1日消息,都说重庆是现实版8D魔幻城市,即将通车的解放碑地下环道更是堪称全国复杂程度第一,即使是本地老司机开车,也有不小的压力。今日,百度地图宣布,在百度自研北斗高精...
日期:05-01
马化腾刚讲完重视 视频号:将收取技术服务费
凤凰网科技讯 12月23日晚间消息,微信发布关于《视频号商家技术服务费管理规则》的公告,称视频号将于2023年1月1日起,面向商家收取技术服务费。凡在视频号签约开店的新商家,可在...
日期:12-23
迅雷:第二季度营收7830万美元 同比增长41.9%_迅雷公司市值
辛巴融资案edge浏览器新标签页搜索引擎 查看最新行情   讯8月16日晚间消息,今日,迅雷公布了截至2022年6月30日第二季度未经审计的财报。据财报显示,迅雷第...
日期:08-20
仿真结构+强大攀爬性能 智能积木越野四驱车上线众筹(四驱越野攀岩车)
  核心提示: 2019年5月31日,小米众筹上线了一款全新的产品智能积木越野四驱车。该产品与以往的众筹产品不同,作为小米众筹平台第一次上线玩具品类的产品,智能积木越野四驱车...
日期:08-03
北漂逃回老家县城的同学,比我更敢花钱_北漂后回家乡的人多吗
声明:本文来自于微信公众号 五环外(ID:wuhuanoutside),作者:镜子,授权转载发布。县城消费大翻身今年春节期间,#被家乡县城的发展震惊#这一话题在社交媒体引发热议,县城商业面貌的...
日期:02-09
Media Player 播放器将面向所有 Win10 用户推出_windows media player播放器下载
IT之家 1 月 13 日消息,早在 2021 年 11 月,微软就开始向 Windows 11 预览用户推出经过重新设计的新 Media Player 播放器。自那以后,微软一直在逐步更新,增加新的有趣和有用的...
日期:01-13
抖音首个破亿粉丝达人,带货被“打假”
声明:本文来自于微信公众号电商在线(ID:dianshangmj),文|沈嵩男,编辑|斯问,授权转载发布。人红是非多。搞笑短视频创作者“疯狂小杨哥”(以下简称“小杨哥”)在成为首位粉丝超1亿的抖...
日期:11-17
雅虎公司还在吗「雅虎拟年底前裁员20% 1600多名员工受影响」
2月10日消息,美国当地时间周四,雅虎宣布,因对广告部门进行重大重组,该公司决定在年底前裁员20%,1600多名员工将受到影响。其中,当天有1000名员工被裁。雅虎首席执行官吉姆·兰佐内...
日期:02-13
因违反消费者法,谷歌被罚款约2.88亿元(违反谷歌政策)
  来源:深圳商报   谷歌又被罚了!这次出手的是澳大利亚联邦法院。   近日,澳大利亚联邦法院发布的最新判决书显示,因违反消费者法,谷歌被处以6000万澳元的罚款,约合人民币2....
日期:08-16
马斯克将于10月6日-7日就收购案接受推特公司庭外质询_马斯克宣布重磅消息
  路透社9月27日消息,当地时间周二,一份法院文件显示,埃隆·马斯克将于10月6日-7日接受推特(Twitter)公司律师的宣誓质询,后者正在为10月17日马斯克终止收购案的开庭审理做准备...
日期:10-03
知名品牌,今年关店约700家!「近年来很多老字号品牌推出」
图 / @便利蜂  针对“便利蜂出现大幅关店潮”的传言,近日,便利蜂辟谣称,不实。  根据媒体报道,便利蜂江苏无锡、山东青岛多地门店关闭,上海、北京多家门店经常出现缺货情况。...
日期:09-05
京东小程序开放平台正式发布 零距离连接商家与消费者_小程序对接京东联盟
  京东服务覆盖10亿多用户和超过27万第三方商家。如何连接京东和商家生态体系,给C端消费者提供全链路一站式的优质服务体验,是京东高度关注的问题。因此京东小程序开放平台...
日期:07-24
00后自述:2022年创业,没那么可怕_00后有什么创业机会
声明:本文来自于微信公众号深燃(shenrancaijing),作者 | 苏琦,编辑 | 金玙璠,授权转载发布。“你是个假留学生吧?你说的创业应该也是骗人的。”Meggie已经记不清自己是第几次收到...
日期:12-13