StoryDiffusion是由字节跳动和南开大学合作推出的一款AI工具,该项目不仅能生成一致性图像,还能预测视频中的运动,为用户提供了一个创造长视频的新方法。

17100316-2024-05-17T01:57:53.png

主要功能

  1. 魔法故事和视频展示:StoryDiffusion能够生成引人入胜的图像和视频故事;
  2. 漫画生成:它可以生成风格多样的漫画,同时确保角色风格和服装的一致性,支持连贯的故事叙述;
  3. 长视频生成: 通过图像语义运动预测器,StoryDiffusion能生成高质量的视频,无论是使用生成的图像还是用户输入的图像;
  4. 卡通角色生成:该工具能创建风格一致的卡通角色;
  5. 多角色生成:能够在图像序列中维持多个角色的身份一致性。

demo:https://huggingface.co/spaces/YupengZhou/StoryDiffusion
项目:https://storydiffusion.github.io/
论文:https://arxiv.org/abs/2405.01434
源码:https://github.com/HVision-NKU/StoryDiffusion