ShortGPT是一个自动化视频制作工具,它能够自动采集素材、编辑视频、配音并生成字幕,全自动完成整个过程。它基于你提供的脚本自动从互联网上采集素材,并使用大型语言模型(LLM)的视频编辑语言来简化视频的创建过程。此外,ShortGPT还支持语音合成功能,可以将脚本转化为口头表达。最终,所有采集到的素材和语音会合成为一个完整的视频。另外,你还可以输入任意YouTube链接或上传mp4文件,ShortGPT不仅会翻译内容,还会自动为视频配音。

主要功能

  1. 自动化编辑框架:ShortGPT使用面向大型语言模型(LLM)的视频编辑语言,简化了视频创建过程。
  2. 脚本和提示:为各种LLM自动编辑过程提供了现成的脚本和提示。
  3. 语音合成/内容创建:ShortGPT支持多种语言,包括英语、西班牙语、阿拉伯语、法语、波兰语、德语、意大利语和葡萄牙语。
  4. 字幕生成:ShortGPT能够自动化生成视频字幕。
  5. 素材采集:从互联网上采集图片和视频素材,必要时连接网络和Pexels API。
  6. 内存和持久性:使用TinyDB确保自动编辑变量的长期持久性。

技术实现

ShortGPT使用以下技术来实现其功能:

  • Moviepy:用于视频编辑,使ShortGPT能够进行视频编辑和渲染。
  • OpenAI:用于自动化整个过程,包括生成脚本和LLM自动编辑过程的提示。
  • ElevenLabs:用于语音合成,支持多种语言的语音合成。
  • Pexels:用于采集背景素材,使ShortGPT能够连接网络并访问大量的图片和视频。
  • Bing Image:用于采集图片,为ShortGPT提供了全面的数据库以检索相关的视觉素材。

ShortGPT

整个工具目前可能还相对粗糙,但是其思路非常出色,对于自动化视频制作领域有着很大的优化空间。

项目链接