Mora：微软参与打造的多智能体Sora复刻版

在人工智能的前沿领域，Sora以其强大的文本到视频生成能力而闻名。现在，一个由理海大学微软研究院的华人团队打造的Sora复刻版——Mora，已经问世。Mora不仅继承了Sora的核心功能，还引入了多智能体框架，展现了其在视频生成和编辑方面的潜力。在这篇博客中，我们将一起了解Mora的特点和能力。

Mora拥有与Sora相似的功能，包括文本转视频、扩展视频、视频编辑、视频拼接以及模拟数字世界等。它甚至能够生成1024*576分辨率的12秒视频。这些功能使得Mora成为一个强大的多智能体AI工具，能够在多个任务中表现出色。

Mora的文本到视频生成能力让人印象深刻。例如，它可以根据文本提示“在广袤的沙漠中，一座金色的沙漠城市出现在地平线上，其建筑融合了古埃及和未来元素。”生成相应的视频内容。这种能力不仅展示了Mora在理解文本内容方面的高超技巧，也体现了其在视觉创作上的潜力。

Mora还支持视频编辑，如修改视频中的元素或为视频添加特效。虽然在视频编辑方面，Mora的效果还有提升空间，但它在视频拼接方面的表现却相当出色，能够无缝地将多个视频片段拼接在一起。

Mora的核心在于其多智能体框架，该框架由五个基本角色组成：Prompt选择和生成agent、文本到图像生成agent、图像到图像生成agent、图像到视频生成agent、视频到视频agent。每个agent负责处理特定的输入和输出，通过这种方式，Mora能够根据不同的任务需求，采用特定的agent组合来完成工作。

Mora的研究由理海大学的孙力超团队完成，他们之前还发表了一篇37页的论文，对Sora进行了逆向工程分析。这次，他们不仅复刻了Sora，还进一步提出了Mora这一多智能体框架，展示了其在AI领域的深厚实力和创新能力。

尽管Mora在多个任务中的表现已经接近Sora，但研究团队也指出了Mora的改进空间，包括对高质量视频数据集的需求、指令遵循能力的提升以及与人类视觉偏好的对齐等。这些改进将使Mora在未来的AI应用中发挥更大的作用。

Mora的出现，不仅是对Sora的一个成功复刻，更是多智能体AI框架在视频生成和编辑领域的一个重要进展。随着技术的不断发展，我们期待Mora能够在AI领域带来更多的创新和突破。对于对这一领域感兴趣的朋友，可以通过以下链接进一步了解Mora的研究成果和代码实现：

• Sora逆向工程分析 https://arxiv.org/abs/2402.17177
• 研究论文链接：https://arxiv.org/abs/2403.13248
• Mora项目GitHub链接：https://github.com/lichao-sun/Mora