看见未来!Meta这项最新的AI技术,让我们离AI电影又近了一步

资讯 1年前
1.97K
看见未来!Meta这项最新的AI技术,让我们离AI电影又近了一步

《复仇者联盟》导演乔·罗素曾表示,他相信终有一天AI可以自己生成一部电影。

放在以前你可能觉得这是天方夜谭,因为一部影片的制作是一个上百人的团队共同合作的结果。一个小小的AI怎么可能代替上百人,真要那样的话大导演们都直接原地退休了!

但是经过这段时间AI技术的冲击,不少人已经被刷新了认知。AI能做的事,远远超过人们能想象的,包括制作一部电影。

社交巨头Meta最新发布的AI技术,让我们离AI电影又近了一步。

看见未来!Meta这项最新的AI技术,让我们离AI电影又近了一步

Emu Video和Emu Edit

OpenAI之前发布的全新DALL-E 3文生图引擎,已经让我们惊叹。更别说后来的文本转语音模型,以及能够实时语音对话的ChatGPT。

但是Meta最新发布的AI技术,颠覆了我们对AI生成内容的固有认知。

Meta发布的新AI技术涉及内容编辑和生成,并推出了两款全新的AI模型——Emu Video和Emu Edit。Emu Video 采用的是Meta之前发布的Emu模型,能够基于文本和图像输入生成视频剪辑。而Emu Edit则主要用于图像处理,用Meta自己的话来说,Emu Edit比之前的图像编辑更精确,更好用。

虽然目前两款模型仍在研究开发阶段,但是Meta对其有着充足的信心,他们认为这将对影视创作者、艺术家甚至是插画师都有巨大的应用潜力。

根据Meta官方描述,Emu Video 采用了“分解式”训练方法,将训练过程分为两步,使模型能够对不同输入做出响应。

AI模型将生成过程分成两步:首先根据文本提示生成图像,然后根据文本和生成的图像生成视频。这种“分解式”或分步的视频生成方法让模型能够高效地训练视频生成模型。

举例来说,给定一个标题(例如“一只狗跑过草地小丘”)、图像或照片以及描述,Emu Video 可以生成一个四秒的动画剪辑视频。别看只有四秒,但是它是一段拥有512×512像素,每秒16帧的高质量视频。

来源:Meta

Emu Edit专注于图像处理,用户可以用它来去除或添加图像背景、执行色彩和几何变换,以及对图像进行局部和全局编辑。Meta认为,模型的主要目标不应仅仅是产生一个“可信”的图像。相反,模型应专注于精确地改变与编辑请求相关的像素。

据了解,Meta使用了计算机视觉任务来训练Emu Edit。训练用的数据集包括 1000 万张合成图像,每张图像都有输入图像、任务描述以及目标输出图像。用他们的话说,这是迄今为止同类中最大的数据集。

而在此之前,Meta的CEO马克扎克伯格发布Emu模型时就谈到,用来训练该模型的数据高达11亿条,其中包括Facebook 和 Instagram 用户分享的照片和标题。

先进,但并不完美

不能否认,Emu Video和Emu Edit的出现,确实是行业的一大进步。但别看Meta把这两个模型吹得神乎其神,他们也不是完美的,一些匪夷所思的现象仍然存在。

在生成的一些视频里面,就有明显奇怪的物理现象(例如平行于地面移动的滑板)和怪异的附肢(脚趾卷曲在脚后和腿相互融合)。物体的出现和消失也常常没有太多逻辑,就像埃菲尔铁塔片段中头顶上的鸟儿一样。

来源:Meta

其次,剪辑中的主题并没有起多大的作用。据了解,这可能是模型基础架构的限制原因,导致了Emu Video 似乎对动作动词没有很强的把握。

例如,一只可爱的拟人化浣熊会拿着一把吉他,但它不会弹奏吉他 - 即使剪辑的标题包含“弹奏”一词。或者两只独角兽会“下”国际象棋,但它们只是好奇地坐在棋盘前但却不移动棋子。

来源:Meta

结语

说回漫威。AI生成视频引发最大争议的,是之前一部漫威的剧集——《秘密入侵》。这部剧集的片头一出来,给人一种很怪异的感觉。当时就有人称,这个片头使用AI生成的。随着传闻发酵,幕后工作室承认他们在制作时用到了文生图模型Midjourney。消息一经发布,立刻引起了业内人士和部分民众的强烈抗议。

看见未来!Meta这项最新的AI技术,让我们离AI电影又近了一步

来源:网络

就在这件事不久之后,好莱坞史上持续时间最长,规模最大的演员和编剧罢工潮开始。罢工的原因之一,就是生成式AI在影视工作中,威胁到了人类的地位。

来源:网络

目前,好莱坞已经同演员工会和编剧工会达成协议,罢工告一段落。但是照现在AI技术的速度,取代人工剪辑师,似乎并不是多么遥远的事。到时,业界又会做出何种反应?

如果一部电影,从剧本到制作,全都由AI来操作。你会选择去电影院看吗?

© 版权声明

相关文章