• 时间:
  • 分类: 大语言模型
  • 标签: None
  • 阅读(342)
  • 👍推荐(0)
  • 评论(0)

Meta 开源了一款生成式 AI 工具 AudioCraft，可帮助用户通过文本提示创作音乐和音频。

AudioCraft 包含了三个核心组件：

  • MusicGen：使用 Meta 拥有 / 特别授权的音乐进行训练，根据文本提示生成音乐。
  • AudioGen：使用公共音效进行训练生成音频或扩展现有音频，后续还可生成环境音效（如狗叫、汽车鸣笛、木地板上的脚步声）。
  • EnCodec（改进版）：基于神经网络的音频压缩解码器，可生成更高质量的音乐并减少人工痕迹，或对音频文件进行无损压缩。

该工具经过开源之后，相关研究人员和从业人员可以使用自己的数据集训练模型。

  • 音乐家可以使用AudioCraft来探索新的作曲风格和技巧，甚至可以使用它来制作整首曲子。
  • 游戏开发者可以使用AudioCraft来为他们的游戏生成音频，包括环境音效、角色的声音、动作的音效等。
  • 小企业主可以使用AudioCraft来为他们的广告和社交媒体帖子生成背景音乐。
  • 教育工作者可以使用AudioCraft来创建教育材料，比如为故事书添加配音或者为语言课程生成口音准确的例句。

轻松从文本到音频

文字提示：吹着风吹口哨

文本提示：警笛声和嗡嗡作响的发动机接近和通过

文本提示：流行舞曲，旋律朗朗上口，热带打击乐和欢快的节奏，非常适合海滩

文字提示：大地色调，环保意识，尤克里里注入，和声，轻快，随和，有机乐器，柔和的凹槽

官方宣称 AudioCraft 系列模型能够长期稳定地生成高质量音频，而且易于使用，能够为音乐家和声音设计师“提供灵感”，帮助他们快速集思广益，并“以新的方式迭代他们的作品”。

AudioCraft 项目地址：
https://github.com/facebookresearch/audiocraft