花7小时创作AI科幻短片，播放量破百万！AI生成视频有哪些新玩法？（附教程）

声明:本文来自于微信公众号 头号AI玩家（ID:AIGCplayer），作者:卷毛 月山橘，授权转载发布。

最近，AI初创公司Runway宣布，AI视频生成产品Gen-1和Gen-2已全面开放，任何人都可以注册一个账号免费尝试。

Runway是一家2018年成立的人工智能公司，Gen-1和Gen-2是其发布的人工智能视频编辑工具。目前Gen-2官网展示了8个功能，包括——

文字生成视频（Text to Video）

文字+图像生成视频（Text + Image to Video）

图像生成视频（Image to Video）

转化成图像风格的视频（Stylization）

生成特定的模拟场景（Storyboard）

用文字修改视频部分内容（Mask）

生成渲染后的3D视频（Render）

自定义（Customization）

文字生成视频的功能可以基于提示词，从无到有生成4秒左右的视频，但被不少玩家吐槽画质太模糊、过渡不自然等。

这次Runway新推出的图像生成视频功能，可以在无提示词的模式下，直接让一张图像动起来，效果也比之前更好。

图源推特“Chikai”

于是很多网友探索出了用Midjourney生成图像，然后用Gen-2把图像转化为视频的玩法。

图源推特“Creative.Edge”

在此基础上，融合连贯的剧情和统一的艺术风格，再对视频画面进行一定编排，一个电影预告片就诞生了。

网友们究竟用Gen-2玩出了哪些新花样?这些视频又是如何制作的?我们在本文中进行了盘点和分析。

花7小时创作AI科幻短片，播放数破百万

不会制作视频的创作者有福了!现在只要有参考图或者文字描述，就能通过AI工具快速生成一则短片。

比如推特博主“Nicolas Neubert”就用Midjourney和Runway创作了一部名叫“创世纪（GENESIS）”的科幻电影预告片，目前播放数超112万。

在史诗般背景音乐的衬托下，人类与机器人的战争一触即发，举着枪的机器人与庞大的人群对峙，统一的沉重色调渲染着未来灾难的临近。

有网友评论称视频制作水平令人惊叹，“有《西部世界》的感觉了”，也有人好奇画面是如何达到高清流畅的。

Nicolas Neubert在之后的推文中详细介绍了自己的灵感来源和创作过程。他从配乐开始构思故事，先在Pixabay（免费使用）上找到一首符合的配乐，然后在剪辑时将视觉效果与音乐节拍进行匹配。

对于具体的故事情节，他想一步步增强紧张感，所以分为了3个部分:设置场景、引入威胁、故事高潮。

第一步是起草文案。他定下了主题“分享一切，承担后果，然后呼吁人类采取行动”，然后围绕这个主题来生成场景，他参考了大量的环境、军事科技、战斗主题相关的科幻剪辑。

第二步是用Midjourney生成一致的图像。为了最大限度地保持一致性，他拟了一个提示词模板，可以在预告片的每个镜头中重复使用。

____ ， star wars warfare， in the style of detailed crowd scenes， earthy naturalism， teal and yellow， frostpunk， interior scenes， cinestill50d --ar21:9—style raw

____ ，星球大战战争，风格为详细的人群场景、朴实的自然主义、青色和黄色、霜朋克、室内场景、cinestill50d --ar21:9—风格原始

第三步是用Runway生成动画。勾选“Upscaled”可以提升画质，但可能面部处理得不好，所以他通常使用标准质量，基本都是用图像直接生成一个个视频镜头。

第四步是在CapCut（免费软件）上进行后期剪辑。他将生成的镜头卡着音乐节奏拖入时间轴，慢慢拼凑出完整的故事。虽然生成的镜头有4秒，但可能场景变化很大，剪辑时要大胆裁剪，比如他一个片段剪辑的长度一般是0.5~2秒，加速1.5~3倍。

最终，他花费了大约7个小时完成这部预告片，其中在Midjourney输入了316个提示词，放大了128个图像，在Runway生成了310个视频片段，预告片使用了44个片段，相当于每分钟的制作成本是125美元。

还有其他创作者发布了类似的科幻主题短片。

比如推特博主“Max”这条3分钟的视频获得了19.6万次播放，内容讲述了2095年，由人工智能控制的Nexus轨道研究站围绕着神秘行星Zephyr Prime运行，一组科学家通过人机协同成功驾驶空间站远离流星雨的袭击。他使用了GPT-4辅助生成文本，Midjourney生成的图片作为Runway生成视频的提示，语音来自于ElevenLabs。

MCN机构蕃茄蛋联合创始人罗锴也用Midjourney、Runway和剪映制作了一段实验性的《坠入火星》AIGC电影预告。

AI翻拍芭比，热门IP二创有了新玩法

不久前，抖音曾刮起过一阵“韦斯·安德森”风潮。或许你不知道这个名字，但你一定听说过他执导的电影《布达佩斯大饭店》。对称的构图、缤纷的配色、慢动作和追踪镜头、荒诞感和童话感……是韦斯·安德森风格的精髓。一时间，抖音涌现了众多“韦斯·安德森传人”。

而自从Gen-2支持图生视频后，网友们已不再满足于仿拍艺术家的风格。一位名叫Curious Refuge的海外网友，将韦斯·安德森和昆汀·塔伦蒂诺的风格进行混搭，用Midjourney和Gen-2合成了一支《芭本海默》电影预告片。

“芭本海默”这个乍一听让人有些匪夷所思的名字，实际上是电影《奥本海默》和最近大火的《芭比》的梦幻联动。

一个是沉重严肃的灾难史诗片，一个是奇幻温和的女性主义故事片，两相碰撞，于是就有了以下极具梦幻感和反差感的画面:

一颗粉色的原子弹显得格外扎眼，随后镜头一转，一位金发女郎意味深长地俯视着建在沙漠里的粉色工厂，一架粉色飞机从她的头顶呼啸而过……

芭比头戴护目镜、手持电焊机:

粉色的原子弹蘑菇云冉冉升起:

整个预告片，从配色到构图、从运镜到编排，都显得十分专业和精良，谁能想到是由AI生成的呢?而且整个过程仅用了4天!让人不禁感慨，怪不得好莱坞大罢工，AI抢演员饭碗还真不是耸人听闻。

在创作者Curious Refuge的评论区，有网友表示愿意花钱看《芭本海默》的完整版，还有人呼吁用AI重拍《权力的游戏》最后一季。

无论是通过AI实现艺术风格的混搭，还是对热播剧进行改编、二创，都是一场想象力的盛宴。在《芭本海默》发布后，受到启发的网友用同样的方法生成了不少热门影视剧的预告片，比如《阿凡达》《美女与野兽》等等。

AI打破次元壁，让梗图动起来了

对于非专业创作者来说，用AI玩梗、制作娱乐向视频变得更方便了。

最近，有一位推特网友用Midjourney和Gen-2生成了一个电影短片，让美国知名政治人物、企业家齐上阵，出演由恶魔伪装的人类。

视频讲述了在一个充满秘密联盟的世界中，运转着一部庞大的政治机器，由恶魔假扮的人类政治家，恐吓着他们的人民。随着他们变得越来越贪婪，一股反抗的力量崛起了。

片中出现了多张熟悉的面孔:特朗普、拜登、希拉里、马斯克、扎克伯格……他们似乎在共同密谋着什么邪恶计划。

据该短片的创作者所说，制作这支56秒的短片，耗时6.5个小时，花费了83.04美元的GPU成本。

借助AI，人们可以发挥想象，创造出原本现实中不存在的人物动作和故事情节。比如还有网友用Midjourney生成蜘蛛侠的自拍照，然后用Gen-2让照片动起来。

虚化的现实世界背景、刺眼的阳光、蜘蛛侠调整镜头的动作，有种次元壁破了的恍惚感。

接下来这位日本网友更是重量级，直接用Midjourney和Gen-2生成了一个恐怖电影预告片，名为《第十三号实验楼》，并称“这是为了实景拍摄而进行的动画实验”。

阴暗的色调，肮脏破败的房间，忽明忽暗的灯，身穿白色实验服、行尸走肉般的女子……可以说是抓住了恐怖片的精髓。

虽然整体的视频画面较为粗糙，但这恰恰营造了一种模糊、失真的诡异氛围。比起完全由AI生成的鬼扯电影，利用Midjourney和Gen-2生成视频画面，再加上一定的人工编排，体现出了更多深度和更清晰的逻辑。

Runway Gen-2快速上手教程

新手玩家怎么使用Gen-2的图生视频功能?我们准备了零基础都可以快速上手的教程——

首先进入Runway官网（地址:https://runwayml.com/）。

第一步，点击“try now”，或者“try runway for free”，注册、登录账号，可以使用国内邮箱注册。

第二步，点击首页的“Image to Video”，进入图片生成视频的编辑页面。上传一张参考图，可以不输入提示词，比如我们上传了一张用Midjourney生成的蓝绿色水墨图。

第三步，点击“generate”生成，等待几分钟很快就可以看到结果，水墨向上移动，逐渐融合。点击视频右上角即可下载到本地。

另外，编辑时可以在设置页面输入种子值（Seed），可以选择更高的画质、去除水印，但后面这两个功能需要付费。

目前生成的视频长度只有4秒，每秒消耗5个积分，注册即送的免费额度可以生成20多个视频。积分用完后就需要付费使用，0.01美元/积分，也就是生成一个视频需要0.2美元。付费计划最低一个月12美元，一年144美元。

AIGC博主“歸藏”认为，现在“Midjourney+Runway”确实可以快速制作一些动作幅度不那么大的短片了，以前科幻类型的短片需要很大的工作量，现在通过AI生成的图片再生成视频，剪映处理一下，可能不到一下午就搞定了。

不过用Runway做视频暂时还不能一步到位，无法生成更长的片段，并且人物面部、动作变形等问题不太可控。如果要制作一个完整的电影，Nicolas Neubert表示根据自己做预告片所花费的时间，估计至少需要1000小时。

除了Runway，市面上还有一些支持文字生成视频、图片生成视频的工具，比如ZeroScope（replicate.com）、PikaLab(7cj3uzfnqqy.typeform.com)、Kaiber(kaiber.ai)。