Stability开源视频大模型Stable Video Diffusion

专注于开发人工智能（AI）产品的初创公司 Stability AI 发布了其最新的 AI 模型 ——Stable Video Diffusion。这款模型能够通过现有图片生成视频，是基于之前发布的 Stable Diffusion 文本转图片模型的延伸，也是目前为止市面上少有的能够生成视频的 AI 模型之一。

Stable Video Diffusion 目前处于 Stability AI 所谓的“研究预览”阶段。想要使用这款模型的人必须同意一些使用条款，其中规定了 Stable Video Diffusion 的预期应用场景（例如“教育或创意工具”、“设计和其他艺术过程”等）和非预期的场景（例如“对人或事件的事实或真实的表达”）。

Stable Video Diffusion 实际上是由两个模型组成的 ——SVD 和 SVD-XT。SVD 可以将静态图片转化为 14 帧的 576×1024 的视频。SVD-XT 使用相同的架构，但将帧数提高到 24。两者都能以每秒 3 到 30 帧的速度生成视频。

根据 Stability AI 随 Stable Video Diffusion 一起发布的一篇白皮书，SVD 和 SVD-XT 最初是在一个包含数百万视频的数据集上进行训练的，然后在一个规模较小的数据集上进行了“微调”，这个数据集只有几十万到一百万左右的视频片段。这些视频的来源并不十分清楚，白皮书暗示许多是来自公开的研究数据集，所以无法判断是否有任何版权问题。

SVD 和 SVD-XT 都能生成质量相当高的四秒钟的视频，Stability AI 博客上精心挑选的样本看起来可以与 Meta 最近的视频生成模型以及谷歌和 AI 初创公司 Runway 和 Pika Labs 的 AI 生成视频相媲美。

源码：https://github.com/Stability-AI/generative-models
介绍：https://stability.ai/news/stable-video-diffusion-open-ai-video-model