《Trailer: Genesis》（《创世纪》）首部AI科幻电影预告片的创作过程

首部全由AI操刀完成的科幻电影预告片《Trailer: Genesis》（《创世纪》）在社交媒体上火了起来。该预告片时长不到一分钟，从图像视频合成、音乐到剪辑，所有一切都是由 AI 完成的。制作者 Nicolas Neubert讲述了他的创作过程。

（剧透：这将是一个很长的帖子。但是，它涵盖了我如何创建预告片的整个过程！

您对这个项目的支持非常出色！你们中的许多人都要求教程！正如所承诺的那样，这里有一篇详细的帖子，分解了我的流程、我如何使用这些工具、工具堆栈的一些细节以及如何开始。

在我们进入这个过程之前 - 反乌托邦主题的想法来自我上周分享的一系列三个电影。我已经有了很好的快速基础，并决定在此基础上建立一个故事！

原声带：

我怎么强调都不为过，从音乐开始是多么重要。它极大地影响了观众对视觉效果的感知方式，并激发了另一种让我们沉浸在内容中的感觉。因此，这是一个很好的起点，因为它设定了预告片本身的情绪。另一个关键点是编辑工作。我喜欢将视觉效果与音乐相匹配。在项目期间更改音乐可能会非常耗费时间。因此，在开始构建视频序列之前，请尝试获得最终配乐。

在过程方面，我要做的就是一遍又一遍地听这首歌，在脑海中想象不同的场景。我真的和我的狗一起散步，同时反复听曲目。这个练习帮助我组织我想在预告片中涵盖的想法和故事情节。

一旦我确定配乐，我就会将其拉入视频编辑器。我使用CapCut，因为它对每个人都是免费的。如果您更喜欢其他软件，也可以在 Adobe Premier 或 Final Cut Pro 中执行此操作。

打造一个世界和故事：

如果你问我，世界构建和讲故事是你作为创意人员应该学习的第一技能。借助允许每个人生成高质量内容的技术，魔术将通过那些知道如何将碎片拼接在一起的人来实现。

对于预告片的故事情节，我想一步一步地增加紧张感。我为预告片定义了 3 个阶段：

• 1️⃣ 设置场景
• 2️⃣ 引入CTA中的威胁
• 3️⃣ 故事高潮

第一步，我开始起草预告片的第一份文案。初稿已经包括“分享一切，承担后果，然后呼吁人类采取行动”。

在定义了整体语气和声音后，我开始围绕这些主题生成场景。我推出了大量的环境、militech、以战斗为主题的人类和科幻剪辑，然后我可以从中获取一个故事。

为了增加一些深度，我将孩子的三个镜头与发光的护身符包括在内，暗示了故事的更深层次。

在Midjourney中生成一致的图像：

让我们深入了解提示！在这种情况下，我已经从以前的帖子中获得了稳定的提示基础。我对其进行了优化，以创建一个模板，我可以在预告片的每个镜头中重复使用该模板。

_ , star wars warfare, in the style of detailed crowd scenes, earthy naturalism, teal and yellow, frostpunk, interior scenes, cinestill 50d --ar 21:9 —style raw

_________，星球大战战争，以详细的人群场景风格，朴实的自然主义，蓝绿色和黄色，霜朋克，室内场景，电影静止50d --AR 21：9 —风格原始

对于每个场景，我都会用我想要的场景来填补空白，确保其他令牌能够最大限度地提高保持主题、颜色和照明一致的可能性。

同样有帮助的是利用“强变化”（Strong Variations）功能。这使得创建各种场景变得容易，同时保留了先前变体的调色板。然后，女战士的场景可以转变为普通公民、网络黑客或战斗中的场景，而不会产生新的提示。

在Runway上对图像进行动画处理：

令人惊讶的是，这个过程是“最简单的”。至于设置，我总是尝试激活“升级”。不过，值得注意的是，放大模式经常与人脸作斗争。所以对于人物镜头，我通常使用标准质量。

我根本没有将文本提示与图像提示结合使用。我拖放了一张图片并重新滚动它，直到我得到我喜欢的结果。只有火灾的最后一个片段是在Runway上用文本提示完成的。

CapCut 中的译后编辑：

当Midjourney和Runway正在生成它们的输出时，我首先放置了我知道会发挥重要作用的关键场景。在《创世纪》的案例中，我知道外面的外景拍摄将是开场。

然后我开始计划文本。这在时间轴中没有任何剪辑的情况下是可能的，因为我根据音乐定向文本。我在不到一个小时的时间内编写了内容并沿着时间线进行了定位。这对生成图像有很大帮助，因为您有一个额外的夹具点来考虑仍然缺少的场景。

从那里开始，它就像一个益智游戏。生成剪辑 -> 将它们拉入 CapCut -> 将它们放置在时间线上，然后慢慢地拼凑故事。我用颜色匹配2-3个剪辑，使它们看起来像一个更大的电影场景。

CapCut 唯一真正的技巧是考虑对剪辑进行节拍同步。当音乐中有“BWAAA”时，我总是尝试连接剪辑中的动作和/或排列以下剪辑。总的来说，这将使您的整个序列感觉更加身临其境。

虽然CapCut具有可以帮助您解决此问题的功能，但我更喜欢手动执行此操作，因为我可以完全控制。有时我也想故意跳过一个节拍，因为场景必须播放更长时间。

添加动作：

我得到的第一个问题可能是，“你是如何在你的剪辑中得到这么多运动的？当然，虽然在Runway中存在AI随机性的变量，但我做了两个技巧来增加运动。

1️⃣ 思考人工智能如何解释图像。据我所知，Runway 拍摄了一张照片，然后根据其模型计算出哪些部分应该进行动画处理。我对这个想法进行了逆向工程，并试图在Midjourney中输出暗示运动的图像。这意味着试图让运动模糊到镜头中，或者捕捉一个移动的头部或人的静止图像。
2️⃣ 当您分析Runway上的视频时，您会发现在整个 4 秒剪辑中，场景经常发生很大变化。这非常方便，因为在预告片场景中，我只使用了两次完整的 4 秒剪辑。所有其他剪辑的长度均为 0.5 - 2 秒。我拿起剪辑并将它们的速度提高了 1.5 倍 - 3 倍。因为，作为观众，你只看到剪辑很短的时间，你会在场景中感知到更多的运动，因为它本质上是快进该部分。因此，机器人不再转向相机 4 秒钟，而是在看到您的那一刻瞬间捕捉过来。

工具堆栈 + 分析：

对于那些感兴趣的人，这里有一些关于工具堆栈、工作量和定价的数字和信息。

预告片花费我：

~7 小时
在Midjourney生成 316 个提示
128张图片在Midjourney中放大
在Runway上生成 310 个视频
1 个视频是用文本生成的
预告片中使用了44个视频

这些数字对这些工具的定价有直接影响。让我解释一下：

创造力需要探索的空间。

这些是新工具，我们仍处于学习它们如何工作的阶段。没有什么比在探索时达到学分限制更糟糕的了。Midjourney的快速时间很昂贵，而Runway中的积分更昂贵。

我建议以无限计划开始这样的项目。最昂贵的计划中，Runway积分可以在 15 分钟内燃烧 （!!）。

所以对于 Runway，是的 - 我使用的是 95 美元/月 的计划，这给了我无限的世代。这意味着我可以随心所欲地尝试和实验，而不必担心刷信用卡。

对于 Midjourney ，您有三种选择来获得无限的世代。我使用 30 美元/月，同时还有 60 美元/月和 120 美元/月的计划，具有隐身模式和更快速的时间。我在放松模式下生成90%的图像，并保证您不需要那些更昂贵的计划。

我使用的其他工具是Pixabay的音乐（免费使用）和CapCut编辑视频（免费使用）。如果您不想，您不必在音乐和编辑上花一分钱！
👍🏼 总而言之，我的“视频技术堆栈”目前花费我 125 美元/月，据我所知这是一大笔钱。作为创作者，我决定为“无限的创作自由”付出代价。

这大约涵盖了一切！它仍然是一个非常新的工具;这是我在Runway做的第一个项目。我将继续探索该工具，并在X上分享我的所有见解！

如果我错过了您的任何紧迫问题，请将它们放在下面！ 👇🏼

原文：https://twitter.com/iamneubert/status/1684262309340774407