您的位置:首页 > 互联网

我测了12个小时的RunwayGen3,发现这就是AI视频的No.1_runway app下载

发布时间:2024-07-01 16:33:03  来源:互联网     背景:

声明:本文来自于微信公众号 数字生命卡兹克(ID:Rockhazix),作者:数字生命卡兹克,授权转载发布。

昨天,众多AI视频创作者翘首以盼的Runway的Gen3,终于面向部分超级合作者开放了。

我的好基友@闲人一坤也是第一时间拿到了内测资格,我就直接把号要来了。

我从中午到凌晨,跑了12个小时,几百个Case。

发现我之前开的香槟,没开早。

先放几个我觉得还不错的case。

runway安卓下载官方

Runway Gen3,在模型质量上,还是能把Luma和可灵拉开一些差距,特别是审美上。虽然也就是70分跟60分的区别,但至少,在模型质量上,确实是我认为的当今No.1。

不过,现在只上了文生视频,图生和那些可控工具还没上。

给我急急急急急急急急急急急急急急急急死了。

在我跟坤哥瞎吉尔一顿跑了快100个case之后,我决定还是偏系统性的测一下,这个系统只是比瞎跑系统一点,肯定比不过南洋理工或者上海人工智能实验室那种专业级别的测试,所以别杠我,杠就是你对= =

测试的构筑方法上,其实我之前想了蛮久的,去年我其实规划过一版测试维度,大类上有语义理解、画面细节质量、运动质量、镜头移动质量、一致性、衰减性等等。

然后比如在运动幅度上,又可以拆为:人脸五官运动质量、人物肢体运动质量、动物运动质量、刚体运动质量、流体运动质量等等。。。

写完以后我就觉得太特么扯淡了,不是这个划分扯淡,是我的人力有点扯淡。真要这么跑一遍,那我就好几天啥事都不用干了。。。

所以现在,为了达到成本与效率最优解,我就非常简单粗浅的,按风格去划分,分为:

写实风格、动画风格、科幻风格、玄幻风格、抽象风格。

每个风格里面跑10~15个prompt,每个prompt roll三遍,虽然只有文生视频,但其实也基本能看出来模型整体质量和特征了。

而写prompt这活,当然是交给AI去干了。

毕竟有公式可以套:

Prompt = 镜头语言+光影+主体描述+主体运动+场景+氛围。

然后我就让GPT根据公式和规则,给我哐哐哐的写了几吨的prompt。

runwayrun

再把这些prompt,扔到gen3里面跑case。

runway软件下载

目前只能用文生视频,其他的功能都还没上。在最下面可以切换生成视频的片段长度,可选5s和10s两种。

生成速度非常的快,亲测10s的基本也就1分半就能跑出来,这个可比Luma好多了,那玩意动不动十几分钟。。。

所有的case,我也都放到飞书文档里,有兴趣想全看一遍的,对着我公众号关注后在后台私信"gen3"就能拿到链接了。

runway官方app

而文章碍于篇幅,我就每个风格,展示5个有代表性的case,让大家一睹为快。

(注:在gen3中生成视频我使用的都是英文,下面的是为了方便大家看所以所有prompt才都翻译成了中文)

一.写实风格

写实风格测试的东西很简单,主要就是看现实城市街景、自然风光、室内场景等,也看看人物的面部表情、光影效果、细节纹理等。

核心还是现实世界的写实。

1.特写镜头,温暖的晚霞,一位长发飘逸、面带温柔微笑的年轻女子,坐在咖啡馆的露台上,轻啜咖啡,背景中是模糊的城市景观和人群交通,氛围放松而舒适。

runway网站

这个可以看到杯子是变形的,手的位置也很奇怪。除了这两问题之外,其他都还挺稳。

2.中景镜头,刺眼的正午阳光,施工现场的工人们穿着安全装备操作起重机,背景中耸立着摩天大楼,氛围动态而繁忙。

runway 下载

这个问题就非常多了,肢体变形,人物消失,穿过了明明在远方的杆子,摩天大楼的细节也有问题。

3.低角度镜头,戏剧性的侧面光,一位专业厨师在繁忙的厨房里切菜,周围蒸汽弥漫,锅碗瓢盆悬挂,氛围紧张而专注。

runway官方app

地狱难度,涉及到切菜也就是人、刀、菜的三者交互,所以基本都跟魔法一样,不能看。

4.倾斜镜头,傍晚的街灯,一位音乐家在繁华的街角弹吉他,行人匆匆而过,商店门面上明亮的霓虹灯,氛围热闹而充满活力。

runway软件下载

算是很能夸的一个镜头了,人物主体是非常稳定的。但是背景过于复杂,很明显的BUG就是刚开始的车开过去的时候,有个粉衣服的人是跟车合为一体的。。。

5.极限特写镜头,自然光线,一位画家的手在调色板上混合颜色,背景是画布和画架,手指上沾有颜料,氛围专注而富有创造力。

runway官方app

很棒的一个镜头。是能明显的感受到有因果关系的,手和笔会影响颜料,还有粘连的效果。虽然肯定没法跟现实世界比,但是已经很不错了。

总结:写实风格整体看,还是人物特写和风景最稳,一旦涉及到全景或者中景,当人物没有足够的面积空间时,肢体变形就极为严重,但是如果不涉及到人物与物体的交互,那稳定性还是非常强的。

而Runway有一说一,在光影的审美上,是真的强。毕竟电影出身,审美是真舒服。

二.动画风格

主要就是看对各种风格的包容度以及审美,比如2D、3D、皮克斯、吉卜力等等。

1.特写镜头,柔和的晨光,一位粉色头发、大眼睛的年轻女孩,日式动漫风格,望着窗外,樱花在空中飘落,背景是传统的日本房屋,氛围宁静且怀旧。

runway app下载

风格倒是正常,樱花飘的也很好看,就是人物动态太少,跟写实比差太多了,基本没有任何表演可言。

2.中景镜头,夕阳余晖,一位未来派机器人和一个人类女孩,3D动画风格,走在霓虹灯闪烁的街道上,周围是全息标志和飞行汽车,城市景观中高耸的建筑,氛围鲜活且高科技。

runway网站

我真不是故意吓大家才把这个传上来的,是他真的BUG的有特点,因为我跑出来好多前后不分的视频,这个就是典型代表。。。

3.高角度镜头,明亮的正午阳光,一群充满活力的玩具复活,皮克斯风格,在一个孩子色彩缤纷的卧室里,玩具车和动作人物四处移动,氛围愉快且充满活力。

奇奇怪怪的镜头,风格也不是皮克斯的典型风格,物体也都是莫名其妙的出来,最后小熊突然变成积木飞了那一瞬间我是真没绷住。

4.跟踪镜头,柔和的黄昏光,一位勇敢的少女战士,手持发光的剑,幻想动漫风格,跑过一片迷人的森林,周围是神话生物和古老遗迹,氛围史诗且冒险。

除了手上那把剑不知道是个什么玩意,也没有神话生物和古老遗迹啥的,都挺好。

5.越肩镜头,昏暗的室内灯光,一位年轻的巫师手持魔法书,中世纪动漫风格,在宏伟的图书馆中施法,书架上摆满了古老的书籍和魔法神器,氛围神秘且魔幻。

最后的那一下特效帅炸了,就是人物的脸变形了,从一个异瞳萌妹不知道是个什么玩意,而且也不是越肩视角,不过越肩视角这个就不强求了,没几个能画出来的。

总结:动画风格整体化上,其实都挺差劲的,吉卜力、3D、美漫啥的效果表现都极差,整体审美、物理动态也比写实差很多,明显感受到了数据集的不足,runway整体还是非常的偏写实和电影的。

三.科幻风格

我自己最喜欢的风格,主要看模型的数据集和泛化能力,能不能把一些很科幻的场景表现出来。应该也是我跑得最多的case,好像文档里放了将近20个。

1.广角镜头,霓虹城市灯光反射在金属表面,一个巨型机甲从一个流线型车辆变形为高耸的机器人,齿轮和面板无缝转换,背景中有未来感的摩天大楼和飞行汽车,氛围紧张且高科技。

我是有多想不开才会让AI给我跑变形金刚。但是他居然变了出来,虽然整体都很奇怪,但是至少是变了,这个prompt理解是猛的。。。

2.中景镜头,鲜艳的蓝色和银色调,两台机甲陷入史诗般的战斗,迅速交换打击并发射能量武器,四周是烟雾和爆炸的破坏性城市战场,氛围充满动感和动作感。

真的,帅炸了,我爱惨了,这打架是正儿八经会打起来的啊,真的会爆炸啊!科幻还是得runway啊!

3.跟踪镜头,昏暗的走廊,一群太空海军陆战队小心翼翼地穿过废弃的飞船,灯光闪烁和诡异的声音,氛围紧张且悬疑。

整体都很稳,氛围和质感也无敌,就是有个人出BUG卡门里了。。。

4.广角镜头,旋转的五彩斑斓的漩涡,一个流线型的时间旅行飞船快速穿过隧道,周围是光线和能量轨迹,氛围令人兴奋且超凡脱俗。

这光影,这质感,想哭,我的新片子,想马上就要开始做了卧槽!!!

5.特写镜头,强烈对比的照明,一个宇航员在空间站外漂浮,背景中可见地球和月亮,星星在头盔面罩上反射,氛围寂静且孤立。

这种大特写,必然稳定的一笔,人物还有眼球表演,只能说,牛逼。

总结:没啥可说的,在科幻领域上,runway就是No.1,其他都得靠边站。我的新片子,已经开始准备了,有点兴奋的睡不着觉了。

四.玄幻风格

跟科幻一样,也偏想象,很吃数据集和泛化。主要就是看魔法、神话世界啥的。

1.特写镜头,柔和温暖的灯光,一位年轻的女巫师,眼睛发光,手持顶端有水晶的法杖,长袍上有复杂的符文,背景是迷人的森林,氛围魔法且宁静。

所有的一切都很稳,除了只有三根手指,否则就是完美的。

2.越肩镜头,昏暗的火炬光,一个盗贼在黑暗地牢里撬开一扇巨大的华丽门锁,周围是古老的符号和蜘蛛网,氛围紧张且秘密。

很有趣的一个是人走过火的时候,手上真的有东西被点着了。当然BUG问题很大,门最后变成了现代门。而且顶上出来了游戏的方位条,感觉是扒了刺客信条的数据集。

3.广角镜头,月光之夜,一个覆盖着发光符文的巨型石像从密林中出现,树木摇晃,脚下的地面开裂,背景是古老的遗迹,氛围神秘且不祥。

有一种憨批巨像的即视感,除了人物丑,没啥其他的问题。

4.倾斜镜头,月光之夜,一群精灵在神圣的树林中进行仪式,发光的符文和魔法能量在他们周围旋转,古老的树木和星空,氛围神秘且敬畏。

雕像造型上非常克苏鲁魔幻的一段,最后的光效非常华丽,runway不愧是电影出身,这小特效做得一个比一个顶。

5.广角镜头,梦幻般的灯光,一座古老的城堡坐落在悬崖上,周围环绕着旋转的雾气,天空中一条龙翱翔,中世纪幻想风格,氛围壮丽且神秘。

龙的画面面积太小了,所以还是那个问题,风控变形,其他都很准,也很理解语义。

总结:玄幻相比之下,没有runway的科幻那么长板,还是会弱一些,适合做西方玄幻,中国玄幻不好测,等出图生视频了再测,效果不一定有可灵强。

五.抽象风格

抽象风格其实就是测试抽象的几何图形、色彩斑斓的空间、不规则形状等等,主要关注形状、颜色、运动和情感,而不是具体的物体或场景。

1.特写镜头,明亮霓虹色与暗背景形成鲜明对比,分形图案有节奏地扩展和收缩,氛围强烈且令人着迷。

我是没想到gen3的分形艺术能做的这么稳这么好。。

2.低角度镜头,鲜明的黑白色调,锐利的角形图案不规则地移动,创造出混乱和迷失方向的感觉。

这就是艺术,没啥可说的,最后有点不稳了。

扎克伯格怼马斯克视频

3.摇摄镜头,明亮的彩色粒子旋转并汇聚成抽象的形态,营造出一种生动的运动和兴奋感。

想起了我以前用C4D做的粒子效果,妈的辛辛苦苦渲半天,还真不如这个。。。

4.跟踪镜头,流动的金属表面反射环境光,形状在移动中拉伸和弯曲,营造出一种未来主义的超现实感。

液体金属质感无敌,这以后谁尼玛还做特效啊= =

5.广角镜头,鲜艳颜色的渐变平滑融合,重叠的半透明几何图形缓慢旋转,营造出一种平静和流动的感觉。

无敌,这颜色渐变,再调调能追上苹果了。。。

总结:gen3的抽象艺术,是我完全没想到能做到这么好的程度,对AE包装这块的冲击可能会有点大,这种特效以后都不用做了,AI直出。。。

写在最后

上面的case,只是部分。

所有的其他case,我都放在了飞书文档里,想要看全部的,关注我公众号后,后台私信"gen3"就有了。

Runway这一波,还是展现了自己作为老牌公司的实力,整整六年时间的沉淀。

就像他们老板自己说的那样。

runway官方app

一夜成名,从不存在。

这背后是时间、精力、金钱的积累,是在低谷期在睡不着觉的时候的疯狂的煎熬。

所以,才有了今天的Runway。

谁没有过低谷,谁没有过煎熬呢,但是他们撑了过来,用这六年在电影工业和AI技术上的积累,做出了比同行高一等审美和技术力的大模型。

前方的路,还很漫长。

他们当然也有可能有无数的挑战。

但是,至少在今天。

他们就是我心中那实至名归的。

No.1。


返回网站首页

本文评论
nec笔记本「nec笔记本电脑怎么样」
随着越来越多人对电脑性能和设计的要求提高,Nec笔记本逐渐成为用户的首选。Nec是一家日本公司,专业生产电脑和电子产品的公司,其笔记本产品一直备受关注。本文将介绍Nec笔记本...
日期:06-03
iPhone 17 Pro将首发!曝台积电2nm/1.4nm工艺量产时间敲定_苹果台积电5nm
快科技4月11日消息,根据产业链消息,台积电的2纳米和1.4纳米工艺已经取得了新的进展。据了解,台积电的2纳米和1.4纳米芯片的量产时间已经确定。2纳米工艺的试产将于2024年下半年...
日期:04-11
极光大数据:早教app用户规模已过亿   其中36%为“奶爸”
  极光大数据(纳斯达克股票代码:JG)针对幼儿早教app行业推出了市场洞察分析文章。极光大数据的统计结果显示,幼儿早教app的行业渗透率在过去一年呈现上升趋势,整体用户规...
日期:08-18
商业观察家吴伯凡、联想集团阿木共话“数智化转型”破局关键_吴伯凡资料
【】人工智能浪潮下,如何厘清芜杂的时代背景、明确自身定位并抓住机遇提升竞争力,成为重要命题。日前,著名媒体人、商业观察家、新物种研究院院长吴伯凡的最新力作《新IT:从信息...
日期:09-17
iPhone 15最快6月量产:苹果备货近1亿台!安卓阵营还怎么卖?「苹果15大概什么时候出」
快科技5月17日消息,据最新消息,iPhone 15系列最快会在今年6月份开始量产,而所需的显示面板也会同期开产。Ross Young爆料称,iPhone15的显示屏面板排产从6月开始。根据往年的情况...
日期:05-17
电脑屏「电脑屏幕」
是电脑的核心部件之一,它是显示器的一部分,用于输出电脑的图像、视频和文本等数据。分为CRT(阴极射线管)和液晶显示器等不同类型,这里主要介绍液晶显示器。小鹏销售公司总经理液...
日期:05-29
28岁湖北女孩两次徒步去西藏:半年从小丫头变大妈_湖北小伙徒步西藏
快科技3月15日消息,今天话题#28岁湖北女孩两次徒步去西藏#引发网友围观。灵耀pro14首发价据报道,28岁湖北女孩夏夏”两次徒步去西藏。edge更新后为什么老版本的在她2021年11月...
日期:03-15
24层楼高!首艘国产大型邮轮“爱达·魔都号”开始首次试航_aida邮轮
7月17日消息,6月初,我国首艘国产大型邮轮爱达魔都”号出坞,邮轮总长323.6米,型宽37.2米,高度70米,差不多有24层楼高,总吨位达13.55万吨,拥有2826间舱室,可容纳6500多人。小米高保真智...
日期:07-17
paypal中国起诉「法官称存在“投机性”,PayPal旗下Venmo起诉苹果垄断遭法院拒绝」
 3 月 28 日消息,美国旧金山地方法官文斯・查比亚(Vince Chhabria)本周二裁决,驳回 PayPal 旗下 Venmo 针对苹果提出的反垄断诉讼,认为该拟议的集体诉讼存在“投机性”,并指出该...
日期:03-28
Redmi Note 11 Pro 6GB+128GB「Redmi Note 11T Pro新版本今天开始预约:8+256GB售价2099元」
9月28日消息,今天Redmi Note 11T Pro新版本:8+256GB的开始预约,售价2099元。这款手机搭载的是LCD屏幕,是目前为数不多的LCD屏,一直想买LCD屏手机的小伙伴可以预约,9月30日晚上8点...
日期:09-29
曝苹果 2023 新品 MacBook Air 15 英寸将于 4 月初发布_新款macbook air发布
IT之家 2 月 13 日消息,根据一份新的报告,苹果公司备受期待的大屏幕 MacBook Air 正接近上市。DSCC 分析师 Ross Young 今天报告说,15.5 英寸 MacBook Air 本月已经开始面板生...
日期:02-15
中国银行业协会刘峰:进入净值化时代后,银行理财呈现三个特点
封面新闻记者 欧阳宏宇“理财公司诞生于净值化时代,面临着公募基金、私募基金、券商等多方竞争,还面临低利率的市场环境挑战。”7月8日,中国银行业协会秘书长刘峰第九届青岛·...
日期:07-10
奢侈品电商第一股寺库人去楼空_奢侈品销售平台除了寺库还有什么
  来源:北京商报  寺库的危机正在不断浮出水面。8月16日,北京商报记者探访发现,曾经摆满了奢侈品的寺库大厦如今已空空如也,仅剩5层还有部分工作人员,大厦内还专门设立了消费...
日期:09-27
浙江网红面包黄牛加价上百元 消协提醒要理性购物「浙江面包厂」
宁波天一广场的一家热门烘焙店开张后,顾客络绎不绝,为了买到心仪的产品,有的人排队长达四五个小时。 正是因为如此,最近有市民反映,店外出现了“黄牛”党。“有的人为了尝尝网红...
日期:06-13
14.1寸iPad要来了?传苹果开发特别版iPadOS 17系统
凤凰网科技讯 北京时间4月27日消息,来自推特上的消息称,苹果公司正在开发特别版iPadOS 17系统,专为尚未发布的更大尺寸iPad设计。首款更大尺寸iPad将是14.1英寸,将于明年发布。...
日期:04-28
轻松拿捏4K高清图像理解!这个多模态大模型自动分析网页海报内容,打工人简直不要太方便
声明:本文来自于微信公众号 量子位(ID:QbitAI),作者:陈林,授权转载发布。现有ios更新可用,请从ios14一个可以自动分析PDF、网页、海报、Excel图表内容的大模型,对于打工人来说简...
日期:04-22
微信公众平台将开展违规营销内容专项治理「公众号过度营销违规4次」
4月25日 消息:微信公众平台运营中心发布公告称,近期国家市场监督管理总局发布《互联网广告管理办法》,于5月1日起实施,公众号运营者发布的营销内容需遵守相关规定。iphone13 pr...
日期:04-25
潍坊文旅局领导班子「潍坊文旅局长在淄博烧烤摊疯狂揽客 网友:这谁忍得住不心动」
最近,潍坊市文化和旅游局党组书记局长权文松在淄博的烧烤摊上向游客派发风筝和特产,并呼吁大家到潍坊旅游。据视频显示,他与顾客聊天时表示,“欢迎大家到潍坊去玩,潍坊有很多好吃...
日期:04-28
微软宣布Win11添加新功能:新增标签功能_win11增加了什么
  ITBEAR科技资讯4月6日消息:微软将没多久在Windows 11中的文件资源管理器中添加标签并更新设计,便于更易于快速访问文件夹或找出最需要的文件。上月,Windows 11测试版第一...
日期:08-27
山西省工业互联网协会秦瑾:工业互联网标识解析已经融入多个领域的各环节
通信世界网消息(CWW)新型工业化是我国高质量发展、构建中国式现代化的重要战略性举措,工业互联网作为数字经济与实体经济深度融合的关键底座,是新型工业化的战略性基础设施。工...
日期:12-28