• 时间:
  • 分类: 大语言模型
  • 标签: None
  • 阅读(834)
  • 👍推荐(0)
  • 评论(0)

MotionAgent是一个能将用户创造的剧本生成视频的深度学习模型工具。用户通过我们提供的工具组合，进行剧本创作、剧照生成、图片/视频生成、背景音乐谱写等工作。
MotionAgent的模型由ModelScope开源模型社区提供支持。

功能特性

  • 剧本生成（Script Generation）

    • 用户指定故事主题和背景，即可生成剧本
    • 剧本生成模型基于LLM（如Qwen-7B-Chat），可生成多种风格的剧本

  • 剧照生成（Movie still Generation）

    • 通过输入一幕剧本，即可生成对应的剧照场景图片

  • 视频生成（Video Generation）

    • 图生视频
    • 支持高分辨率视频生成

  • 音乐生成（Music Generation）

    • 自定义风格的背景音乐

兼容性验证

已经验证过的环境：

  • python3.8
  • torch2.0.1
  • CUDA11.7
  • OS: Ubuntu 20.04
  • Nvidia-A100 40G

资源要求

  • GPU显存：36GB
  • 磁盘: 推荐预留50GB以上的存储空间

conda虚拟环境

使用conda虚拟环境，参考Anaconda来管理您的依赖，安装完成后，执行如下命令：

conda create -n motion_agent python=3.8
conda activate motion_agent

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/motionagent.git --depth 1
cd motionagent

# 安装依赖
pip3 install -r requirements.txt

# 运行应用
python3 app.py

# Note: MotionAgent目前支持单卡GPU，如果您的环境有多卡，请使用如下命令
# CUDA_VISIBLE_DEVICES=0 python3 app.py
# Note: 如果您使用了Modelscope社区的Notebook或者您的磁盘剩余内存小于100GB，
#       推荐使用如下命令打开清理内存开关，每次运行都会重新下载模型导致速度变慢很多，请耐心等待
# python3 app.py --clear_cache

# 最后点击log中生成的URL即可访问页面。

模型列表

[1] Qwen-7B-Chat： 模型 | 创空间
[2] SDXL 1.0：模型 | 创空间
[3] I2VGen-XL： 模型 | 创空间
[4] MusicGen： 模型 | 创空间

Github：https://github.com/modelscope/motionagent