您的位置:首页 > 互联网

文本生成图片app「训练成本降低16倍,极限压缩42倍!开源文本生成图片模型」

发布时间:2023-09-18 17:28:50  来源:互联网     背景:

声明:本文来自于微信公众号 AIGC开放社区(ID:AIGCOPEN),作者:AIGC开放社区,授权转载发布。

Stable Diffusion是目前最强开源文本生成图片的扩散模型之一,但对于那些没有A100、H100的中小企业、个人开发者来说有一个很大缺点,需要花费高昂的训练成本。

为了解决这一痛点,Wuerstchen开源模型采用了一种全新的技术架构,在保证图片质量的情况下实现了42倍极限压缩。以512x512尺寸的训练图片为例,Stable Diffusion1.4需要150,000小时的GPU训练时间,而Wuerstchen仅需要9,000小时,训练成本降低了16倍。

即便是图片分辨率高达1536,Wuerstchen也只需要24,602小时,训练成本仍然比Stable Diffusion便宜6倍。

所以,该开源产品有利于那些没有庞大算力的开发者去尝试扩散模型,同时可以在此基础之上探索更好的训练方法。

大选结果待定,美股大涨纳指飙升近4%

开源图片编辑

开源地址:https://huggingface.co/warp-ai/wuerstchen

Github:https://github.com/dome272/Wuerstchen

论文:https://arxiv.org/abs/2306.00637

Wuerstchen简单介绍

Wuerstchen扩散模型采用了一种,在图像的高度压缩的潜在空间中的工作方法。这也是其训练成本比Stable Diffusion低的原因之一。

压缩数据可以将训练和推理的成本减少几个数量级。例如,在1024×1024的图像上训练肯定要比32×32上训练贵得多。通常业内采用的压缩范围在4—8倍左右。

而Wuerstchen通过全新的技术架构将压缩发挥到极限,实现了42倍空间压缩,这是史无前例的技术突破!因为一旦超过16倍压缩,普通方法根本无法实现图片的重建。

Wuerstchen极限压缩原理

Wuerstchen的极限压缩方法分为A、B、C三个阶段:A阶段)进行初始训练,并采用向量量化生成对抗网络 (VQGAN) 来创建离散化潜在空间,将数据映射到一个预定义的、较小的集合中的点,这种紧凑的表示形式有助于模型学习和推理速度;

B阶段)进一步压缩,使用一个编码器将图像投影到一个更加紧凑的空间,和一个解码器试图从编码的图像中重建VQGAN的潜在表达。

并使用了基于Paella模型的标记预测器来完成这个任务。该模型是在编码图像的表示的条件下进行的,可以使用更少的采样步骤数量进行训练,这对于提升算力效率帮助巨大。

事实上,福特汽车在电动车开发领域拥有悠久的历史

科恩集成灶是一线品牌吗

C阶段)使用A、B的图像编码器将图像投射到紧凑的潜在空间,训练一个文本条件的潜在扩散模型,并显著减少空间维度。这个离散的潜在空间允许模型生成,更具有多样性和创新性的图像,同时还保留了图片的高质量特征。

Wuerstchen可以生成的图片尺寸

iphone 14首发官方溢价

Wuerstchen接受了1024x1024和1536x1536分辨率之间的图像训练数据,输出的图片质量非常稳定。即便是1024x2048这样的非对等图片,同样可以得到很好的效果。

开发者还发现,Wuerstchen对新分辨率图片的训练适应能力非常强,在2048x2048分辨率图片下进行数据微调,同样能极大降低成本。

Wuerstchen生成图片展示

根据Wuerstchen展示的案例,该模型对文本的理解能力非常好,生成的质量效果也能媲美Stable Diffusion等目前最强开源扩散模型。


返回网站首页

本文评论
墨西哥活体肢解「真是外星人?墨西哥国会揭晓两具非人类尸体化石:1000年历史」
当时时间9月12日,墨西哥城举行的国会听证会上,公开展示了两具所谓非人类”生物的尸体,再次引发了人们对外星人的遐想。听证会上,墨西哥UFO专家兼记者海梅莫桑(Jaime Maussan)发...
日期:09-14
美团旅游团购「美团发布国庆“即兴度假”报告 本地游周边游搜索量大涨440%」
  上证报中国证券网讯(记者 温婷)美团9月27日发布的最新数据显示,国庆假期前一周,“本地游、周边游”等关键词搜索量环比暴涨440%;北京、上海、南京、苏州、广州、成都、深圳、...
日期:10-01
微软讲解该如何让《使命召唤:战区》在任天堂 Switch 上运行
IT之家 3 月 9 日消息,众所周知,微软在去年 1 月宣布将斥资687 亿美元收购动视暴雪,但由于索尼等竞争对手的担忧,各大监管机构一直没有对此“放行”,哪怕微软已经给出了“十年协...
日期:03-09
共同战“疫”:企业微信整合三大生态能力,推出教育行业服务商激励政策
  2月20日,企业微信宣布联合微信支付、腾讯云、小程序,共同面向教育行业服务商推出专项渠道扶持政策,即日起将为教育行业输出更多在线教育能力和教学资源,帮助服务商为学校及...
日期:05-13
惠普12寸笔记本可以触控屏幕吗「惠普12寸笔记本」
惠普是众所周知的一家全球知名电脑品牌,其14寸和15寸的笔记本电脑广受欢迎。但是,现在他们推出了一款新的12寸笔记本电脑,让人们的注意力更多地集中在这一尺寸的电脑上。今天,我...
日期:05-29
全球首例!澳洲地方市长或就诽谤信息起诉ChatGPT
最近,ChatGPT大火之下受到很多行业和大佬的吹捧,但也有一些人坚决抵制。尤其是基于目前ChatGPT的状态,已经成了谣言聚集地。最新报道称,澳大利亚墨尔本西部赫本郡的市长布赖恩胡...
日期:04-07
京东在技术上的投入没有止境-京东零售CEO辛利军_京东零售集团ceo
【】8月17日消息,近日,京东零售CEO辛利军与小米集团合伙人、总裁卢伟冰,围绕智能终端的发展方向、对智能生活的趋势预测等话题共同开启了一场预见未来的谈话。在谈话中,辛利军表...
日期:09-17
Chrome已在两个大洲超越Firefox
  据国外媒体报道,Chrome浏览器已在7个大洲中的2个攫取第二大浏览器称号。   互联网数据统计公司StatCounter 数据显示,10月份的第一周,Chrome亚洲市场份额首次超越Firef...
日期:07-23
贾乃亮、傅首尔道歉,董宇辉拉黑,趣店到底为啥惹众怒?
记者/李彪   今日,明星贾乃亮、前《奇葩说》冠军辩手傅首尔通过微博回应了与趣店的合作,并发表道歉声明。此合作系上周举办的“趣店预制菜”抖音直播带货活动。 来源:个人微...
日期:07-31
金山在线杀毒 快速体验云安全之旅下载_金山在线杀毒 快速体验云安全之旅
“杀毒人人要,游戏人人爱”,但是传统的杀毒软件往往占用过多的系统资源,让电脑变慢、游戏变卡,有没有什么两全其美的办法?回答是肯定的。金山毒霸在线杀毒快速扫描系统仅需3分...
日期:07-30
宣亚国际:正在加速推进OrangeGPT研发进度「宣亚国际是做啥的」
6月13日 消息:宣亚国际在互动平台上称,公司技术团队正在加速推进OrangeGPT的研发进度,1.0版本将于近期启动内测。公司提醒广大投资者防范概念炒作。6月2日,传播机构宣亚国际宣...
日期:06-13
笔记本电脑散热底座「笔记本电脑散热底座是吸风还是吹风」
随着笔记本电脑的普及,人们对于笔记本电脑的要求也越来越高,其中散热是一个非常重要的因素。由于笔记本电脑的散热系统设计普遍不足,导致长时间使用电脑会出现过热的现象,不仅会...
日期:06-03
小米f码领取「小米f码领取通道」
小米F码是小米公司为了提高用户满意度而推出的一项福利,可以让用户通过分享或赠送获得一种专属的优惠码,通过使用这个F码,在小米官网或小米线下门店购买小米产品时可以享受额外...
日期:05-28
iPhone15Pro新增灰色 取代原本的金色
据外媒9to5Mac 披露,苹果将在今年的 iPhone15Pro 和 iPhone15Pro Max 两款机型上推出一种新的颜色,名为“泰坦灰”(Titan Gray),这种颜色将取代原有的金色选项。最新的报道还展示...
日期:08-25
腾势N7售价30.18万起,零百加速3.9s,充电15分钟可补能350km_腾势 新款
7月4日消息,近日比亚迪腾势N7正式上市。新车共推出后驱、四驱两种动力形式的六个版本车型,售价区间为30.18万元-37.98万元。腾势N7在设计上传承了腾势家族π-Motion势能美学设...
日期:07-04
蔚来完成7.4亿美元股权投资:中东资本持股7% 腾讯卖老股_蔚来大股东腾讯
2023各品牌电视销量雷递网 乐天 7月13日三星手机芯片exynos和高通划词翻译pdfiPhone 13全系配置及价格曝光,或将于9月20日发布蔚来集团(纽交所:NIO;港交所:9866;新交所:NIO)日前宣...
日期:07-13
获得c轮融资「梦想绽放获4亿元C轮融资」
1月17日消息,近日,北京梦想绽放科技有限公司正式更名为“青岛梦想绽放科技有限公司”,公司总部落户青岛西海岸新区,并宣布获得4亿元人民币C轮融资,该轮由青岛经控集团及真知资本...
日期:01-17
上海苏宁易购商管公司被强执412万 此前曾被申请破产「苏宁电器强制执行30亿」
凤凰网科技讯 2月8日消息,据天眼查App显示,近日,上海苏宁易购商业管理发展有限公司新增多则被执行人信息,执行标的412万余元,执行法院包括南京市鼓楼区人民法院以及上海市闵行区...
日期:02-09
首发2599元 联想小新台式机上架:12代10核U、1TB大存储
快科技5月23日消息,联想小新发布了一款台式机,具有16GB 1TB超大存储,首发2599元。据介绍,这款台式机具有7.4L超小体积机箱,节约空间,携带更加方便。像巫师三一样的大作处理器采用...
日期:05-24
iPhone 14车祸检测被过山车触发 苹果高管详解触发条件
今年,iPhone 14全系都增加了一项新功能车祸检测”,该功能可以识别出机主是否遭遇车祸,并拨打紧急电话,不过目前来看似乎算法还不够完善,日前我们就报道过,有用户因为坐过山车触发...
日期:10-12