您的位置:首页 > 互联网

CMU与Google DeepMind研究人员推出AlignProp:微调文本到图像扩散模型的创新方法

发布时间:2023-10-18 08:36:30  来源:互联网     背景:

10月17日 消息:卡内基梅隆大学(CMU)和Google DeepMind的研究人员引入了一种突破性的方法,称为"AlignProp"。该方法利用直接反向传播来微调文本到图像扩散模型,解决了将这些模型与所需的奖励功能对齐的挑战。AlignProp提供了一种更高效和有效的方式来优化文本到图像扩散模型,适用于图像生成等领域。

项目地址:https://align-prop.github.io/

概率扩散模型的崛起

cpu nvidia

概率扩散模型已经成为连续领域生成建模的标准。DALLE,一种文本到图像扩散模型,已经成为该领域的领导者。这些模型以其能够通过在广泛的网络规模数据集上训练来生成图像的能力而闻名。然而,它们的无监督或弱监督性质使得在下游任务中控制其行为,如优化图像质量、图像文本对齐或伦理图像生成成为一项具有挑战性的任务。

微调扩散模型的挑战

最近的尝试使用强化学习技术来微调扩散模型受制于梯度估算中的高方差。AlignProp通过在去噪过程中启用奖励梯度的端到端反向传播,从而对这一问题提供了创新性的解决方案,将扩散模型与所需的奖励功能对齐。

AlignProp的创新特点:

AlignProp引入了一些创新特点,以提高微调扩散模型的效率:

减轻高内存需求: AlignProp通过微调低秩适配器权重模块和实施梯度检查点来减轻通常与现代文本到图像模型的反向传播相关的高内存需求。

informs2021

性能评估: 研究论文评估了AlignProp在微调扩散模型以实现各种目标的性能,包括图像文本语义对齐、美学、图像可压缩性以及生成图像中对象数量的可控性等目标的性能。AlignProp在较少的训练步骤中实现了更高的奖励,胜过了其他方法。

微软嵌入chatgpt

概念上的简单性: AlignProp因其概念上的简单性而备受赞誉,使其成为基于可区分奖励函数的扩散模型优化的明智选择。

提高采样效率和计算有效性

AlignProp利用从奖励函数获得的梯度来微调扩散模型。这种方法提高了采样效率和计算有效性。实验一致表明,AlignProp在优化一系列奖励函数方面的有效性,甚至对于难以仅通过提示定义的任务也是如此。

未来的研究方向

未来,研究人员可以探索将AlignProp的原则扩展到基于扩散的语言模型,以增强其与人类反馈的一致性。


返回网站首页

本文评论
杰和智慧广告牌解决方案_伟杰智慧广告
  商业中心是现代人生活的重要场所之一,里面林林总总的门店为客户提供了各种功能的服务设施,以满足各个层次顾客的购物、娱乐、餐饮、休闲等消费需求。在这个大环境中,广告...
日期:11-10
1TB 3099元!Redmi K60全新16GB版发布_红米k605g
今日,全新Redmi K60发布,新增16GB大内存版本。该机提供16 256GB、16 512GB、16 1TB三种配置,到手价分别为2499元、2799元、3099元。除此之外,叠加京东活动后,16GB 256/512/1TB券...
日期:05-23
报告:iPhone 14系列网速比12系列快48% 网友:15网速不得起飞?「ios14.4网络怎么样」
快科技9月8日消息,日前,外媒Opensignal发布报告称,经过对比,iPhone 14系列的5G网速比12系列快48%。报告显示,iPhone 14系列在法国的下行速度为219.4Mbps,比iPhone 12系列的148.7 M...
日期:09-08
创维汽车发布大模型智能问答系统“小维GPT”「创维汽车智能有限公司」
7月20日 消息:7月19日,创维汽车正式发布了大模型智能问答系统小维GPT。哪些beats耳机含有h1芯片小维GPT基于AI大数据模型,拥有推理能力、自我学习能力、优化能力以及自我调整...
日期:07-20
洗地吸尘器测评|为了让你轻松实现光脚自由,戴森太“卷”了!
在这个时间比劳动力值钱的时代,各类高效率的清洁“神器”已纷纷走进寻常百姓家,让人们深刻体会到科技带来的便利。想要告别全屋灰尘毛发等清洁困扰,一款靠谱的吸尘器就够了;而...
日期:04-10
中国移动通信联合会执行会长倪健中:将成立元宇宙创新中心_中国移动倪建中
上证报中国证券网讯(王墨璞嘉 记者 罗茂林)8月18日,2022全球元宇宙大会在上海召开,全球元宇宙大会主席、中国移动通信联合会执行会长倪健中出席大会并致辞。   倪健中表示,当前...
日期:08-19
网易和暴雪什么时候到期「网易发布2022第三季度财报 称暴雪授权到期不会产生重大影响」
11月17日 消息:今日,网易发布第三季度财报称,第三季度净营收为244.268亿元,同比增长10.1%。归属于网易公司股东的净利润为66.994亿元,去年同期为31.818亿元。5g对智慧城市发展的...
日期:11-18
7月新能源零售预计62万辆- 渗透率约35.8% 乘联会_7月新能源车销售数据
【】7月26日消息,昨日晚间,乘联会官网披露了上半年汽车市场的总体表现,并对7月份的车市表现进行了预估。6月各厂商和经销商冲击半年度目标,积极开展各种促销营销活动,叠加部分地...
日期:09-19
AI前哨|微软再放大招:必应成ChatGPT默认搜索 补强实时信息能力
凤凰网科技讯 《AI前哨》北京时间5月24日消息,微软公司周二在Build开发者大会上宣布,将把旗下必应搜索整合到OpenAI旗下ChatGPT中,成为后者的默认搜索引擎。此举将进一步加深微...
日期:05-24
#微博十年# 从第一条微博看百态人生
  8月23日微博十周年系列活动掀起了“我的第一条微博” 回顾潮,你的第一条微博是什么?你还记得当年为什么发博吗?有人感叹岁月变迁,有人嘲笑过去的自己,还有人直言自己的第...
日期:08-03
Windows 8 Beta首张截图?微软展示全新Apps屏幕
  关于Windows 8的最新界面,大家关注最多的恐怕就是全新的Start Screen开始屏幕了。关于这个开始屏幕,大家的评论也是褒贬不一,微软在官方博客中也回答了不少众人关心的问题...
日期:07-23
淘宝商城:将投入18亿元扶植中小卖家发展(淘宝平台发展)
  10月17日电 针对近日爆发的“淘宝围城风波”,今天下午,淘宝商城在杭州召开新闻发布会,宣布将投入18亿元进一步扶植淘宝商城中小卖家发展,提升品质和服务,对假货、水货零容忍...
日期:07-24
未悬挂号牌会被拍照吗「男子未悬挂号牌 竟是嫌老婆选的“250”车牌太丢人」
4月10日7时,江苏南京,在高速公路栖霞收费站,一辆黑色小车未按规定悬挂机动车号牌,民警立即拦下该车,让驾车人马某出示临时号牌。来自南京交警消息,马某称其临时号牌早已过期半年,先...
日期:04-16
乐创能源CEO潘多昭:新能储能虽然爆火,但资产的可融资性一直是大问题
6月5日消息,2023中国能源产业发展年会“新型储能投融资研讨会”会上,乐创能源董事长CEO潘多昭表示,希望行业各界重视起储能安全性问题:“新型储能行业火爆的背后,有着一个大家没...
日期:06-06
华为盘古ai「华为辟谣“盘古 Chat”命名:不会有 也不对标」
6月6日 消息:此前,有报道称华为预计将在“华为开发者大会2023”上发布一款直接对标ChatGPT的多模态千亿级大模型产品盘古Chat。对此,6月5日,一位华为云高层人士就这一消息回应...
日期:06-06
谁在靠世界杯搞钱?「世界杯赚了几千万」
声明:本文来自于微信公众号深燃(shenrancaijing),作者 | 邹帅,编辑 | 唐亚华,授权转载发布。今年的世界杯频频爆冷,夺冠热门阿根廷一球之差输给沙特,日本二比一赢了“日耳曼战车”...
日期:11-26
社交电商持续火热 小绿券手握好牌竞跑赛道
  近年来,网购发展迅速,伴随着传统电商的饱和,社交电商正在崛起。作为京东联盟合作伙伴,小绿券是当下最火热的社交电商导购创业平台,凭借着花更少的钱,分享更多的好物占领社交...
日期:03-23
反对意见:AIGC很难颠覆原有商业模式
声明:本文来自于微信公众号见实(ID:jianshishijie),作者:见实,授权转载发布。对To B企业来说,有了AIGC加持后,会对原有商业模式进行颠覆吗?答案是:很难。尤其对于To B企业来说,AIGC...
日期:09-25
飞越山乡看巨变「建网,飞越大山与乡野」
2023/5/31 19:10 建网,飞越大山与乡野   这是一片充满希望的土地,在这里的很多人都这么觉得。 实现城乡教育公平、医疗公平的路还很漫长,乡村振兴从来不是一蹴而就的。但...
日期:05-31
三星手机阅读器哪个好「三星手机阅读器」
是一款专为三星手机用户设计的阅读器应用。在数字阅读市场中,凭借着其丰富的书籍资源、优秀的界面设计,受到了广大读者的喜爱。一、书籍资源丰富内置了海量优质书籍,覆盖了文学...
日期:05-28