Snap 近日联手卡内基梅隆大学共同发表论文,公布一款AI大模型 Text2Cinemagraph。

据悉,Text2Cinemagraph可以将图片转换成动画,还可以根据文本内容来调整动画的细节。论文表示,利用现有的自然图像和视频数据集,Text2Cinemagraph可以准确地分割现实图像,并根据语义信息预测合理地运动。

以梵高星之夜为参考,创作一个山前小溪流过的画面。
22173836-1.gif

梵高星之夜的小溪流向,动动嘴就能控制
22173851-2.gif

为现有绘画制作动画
由Albert Bierstadt创作的布面油画Minnehaha Falls。
22173904-3.gif

官网:https://text2cinemagraph.github.io/website/
代码:https://github.com/text2cinemagraph/text2cinemagraph
演示:https://text2cinemagraph.github.io/website/gallery.html