特效大神用真人视频一键生成动画,动画师要失业了?

2023-06-03 0 497

狂丸研究院,每晚涨点新科学知识

网民对AI聚合相片的各式各样试著,比想像中的更要暴烈。

以后把一般相片变为ACG画法的各式各样AI,我们多多少少都介绍过:

特效大神用真人视频一键生成动画,动画师要失业了?

又或是是让AI缔造两个真实世界的帅哥:

特效大神用真人视频一键生成动画,动画师要失业了?

但是那些都是动态的相片,很多人会在思索能无法让AI搞点儿影片上看。

上周国外著名音频特技项目组Corridor就整了两个狠体力活,AI在她们手里要音乐创作的无须是两幅画,而要要让镜头共同组成两个顺利完成的动画电影。比如上面那个短片,只但是是AI照著真人绘出的:

特效大神用真人视频一键生成动画,动画师要失业了?

动画电影中三位女王展开了了这场激烈的单挑,而方式竟然是「剪刀石头布」!虽然沙雕,但这镜头确实够热血的:

特效大神用真人视频一键生成动画,动画师要失业了?

看不出来是AI做的?可以对比一下布偶镜头,简直完美同步,无缝切换:

特效大神用真人视频一键生成动画,动画师要失业了?

镜头干净,表情生动,没有鬼畜,甚至画法还有点经典。就好像是有两个动画电影项目组用画笔照著现实中的人物绘出了两幅幅镜头。但只但是Corridor仅仅用到了四五个人,而且她们压根也都不会制作动画电影。

特效大神用真人视频一键生成动画,动画师要失业了?

可以想像一下,AI先是让你能从0基础变为画师,现在又有可能变为动画电影制作者,听起来音乐创作更加轻松自由,这就有点科幻了。

特效大神用真人视频一键生成动画,动画师要失业了?

所以,她们到底是怎么做的?

特效大神用真人视频一键生成动画,动画师要失业了?

整个步骤简单来说,是先让布偶演一下,然后让AI把布偶音频弄成动画电影版本。当然那个过程说起来容易,做起来复杂。

她们使用的工具是我们以后介绍过的Stable Diffusion,关键词给到AI,根据你添加的模板,它能帮忙聚合各式各样风格的镜头。

特效大神用真人视频一键生成动画,动画师要失业了?

而想做音频首先要解决的问题,是镜头的不稳定性。

因为每一帧的镜头不同,AI聚合的镜头也会有明显差异。比如以后网民制作的「塞尔达风格侏罗纪公园」,作品已经相当流畅,但依然可以看出人物本身都在飞速变化,发型不断改变。

特效大神用真人视频一键生成动画,动画师要失业了?

所以Corridor先试著在几帧内固定了镜头风格,以此来让镜头大体稳定住,不要变动得太离谱。

但此时人物风格依然在不断转变,比如每张图中,角色的眼睛大小、画法都会更换,甚至有时候戴眼镜有时候不戴。

特效大神用真人视频一键生成动画,动画师要失业了?

为介绍决那个问题,就要用到两个固定的模型,统一画法,让AI别想太多。

于是她们用《吸血鬼猎人D》的镜头对AI展开训练,使用的截图包括各式各样面部特写、肢体、身体等等:

特效大神用真人视频一键生成动画,动画师要失业了?

这样一来,聚合的镜头都是以这部动画电影为基础,眼睛也就不会忽大忽小了。

特效大神用真人视频一键生成动画,动画师要失业了?

同时更要解决两个问题,那是脸部的细节依然不稳定,而处理那个问题的方法,是同时训练两个演员自己的布偶模型。需要演员穿上戏服,然后多角度疯狂拍照,给AI制作素材。

特效大神用真人视频一键生成动画,动画师要失业了?

制作项目组不仅要给AI锁定了动画电影的风格,同时也要锁定演员的样貌,大幅度减少聚合的相片的随机性。

经过训练的AI也可以聚合演员的图像,只但是手指头偶尔还是残缺的。

特效大神用真人视频一键生成动画,动画师要失业了?

接着还需要继续训练,用演员的相片聚合动画电影形象,不断迭代,最终才有了比较满意且稳定的动画电影形象。

特效大神用真人视频一键生成动画,动画师要失业了?

在多重训练的加持下,动画电影的效果也就变得理想了一些,镜头的统一性基本稳定下来了:

特效大神用真人视频一键生成动画,动画师要失业了?

再用上音频特技技术减少闪烁,镜头由此变得更加惊艳,人物的情绪饱满,动作连贯而且流畅:

特效大神用真人视频一键生成动画,动画师要失业了?

再加一些漫画特技,你说这是某部动画电影里剪辑出来的短片都没问题。

特效大神用真人视频一键生成动画,动画师要失业了?

接下来她们要给自己的动画电影设计故事情节与背景:「国王死了,两个女王要用石头剪刀布争夺王位」,这剧情听着都像是AI写的。

特效大神用真人视频一键生成动画,动画师要失业了?

技术有了,故事脚本有了,接下来开始正式制作。比如开始配音,虽然没有镜头,但几位老哥还是吼到声嘶力竭。

特效大神用真人视频一键生成动画,动画师要失业了?

之后是从网上搞一下服装,两个主演穿上就去拍戏了。

特效大神用真人视频一键生成动画,动画师要失业了?

布偶音频拍好就交给AI处理镜头,同时加入各式各样细节对镜头展开调整。

特效大神用真人视频一键生成动画,动画师要失业了?

于是现实中的各式各样演出,就这样被AI一点点给动画电影化了。

特效大神用真人视频一键生成动画,动画师要失业了?

把绿幕抠掉,人物素材就基本顺利完成

特效大神用真人视频一键生成动画,动画师要失业了?

接着还需要制作背景。于是她们直接用虚幻引擎中的素材,从素材中寻找镜头相片:

特效大神用真人视频一键生成动画,动画师要失业了?

然后把图喂给AI,再聚合一大堆的背景图。

特效大神用真人视频一键生成动画,动画师要失业了?

接下来是对音频的整合与进一步处理,包括镜头、衣服、光线的变化等等。

特效大神用真人视频一键生成动画,动画师要失业了?

比如让背景平移,这样镜头看起来像是在旋转,动态感就有了:

特效大神用真人视频一键生成动画,动画师要失业了?

人物与背景相结合,最后输出成动画电影:

特效大神用真人视频一键生成动画,动画师要失业了?

在动画电影中,甚至一些微表情也能对照布偶展开还原,眼角的跳动,嘴角的抽搐,布偶怎么做,AI就怎么画:

特效大神用真人视频一键生成动画,动画师要失业了?

石头剪刀布搞得像是放出了杀招一样,看着又尬又好玩:

特效大神用真人视频一键生成动画,动画师要失业了?

这样的制作,已经完全脱离AI画图的感觉了。

特效大神用真人视频一键生成动画,动画师要失业了?

这部动画电影在推出后目前已经有了超过200万的播放量,并引发了激烈讨论。

大多数人的观点再次认为,AI将引发新一轮的革命,要失业者的感觉笼罩了不少网民。

特效大神用真人视频一键生成动画,动画师要失业了?

但也有人指出,AI的成本并不比画师的工作量小。

首先,Corridor是两个极为专业的特技项目组,每个人都能力出众。以前恶搞波士顿动力机器人反杀人类的音频就出自她们之手,当时很多人对此都真假难分。

特效大神用真人视频一键生成动画,动画师要失业了?

所以与其说是AI聚合得好,不如说她们本身就拍得好,花了两个月才有了动画电影的精彩演出,一般人想要这样操作还有点遥远。

同时画法也是锁死的,因为她们的动画电影是根据布偶来制作的,所以画法也贴近写实,如果画风再夸张一点效果可能又会变得不理想。

特效大神用真人视频一键生成动画,动画师要失业了?

最后争论的是版权问题,不少画师还是很抵触自己的作品被喂给AI的。

但想要完全脱离画师制作动画电影也不现实,像是这次的制作就还是使用了《吸血鬼猎人D》的镜头展开训练,想让AI完全自己绘出还是两个概念。

对此也有人指出,只要工具好用,动画电影公司会自己搞定版权,最后受伤的只有一般打工人。

特效大神用真人视频一键生成动画,动画师要失业了?

话说回来,我还是对AI的成长充满期待。

聚合一张相片,改变相片的风格,聚合布偶,又把布偶变为动画电影,AI的玩法明显越来越多。过几天说不定语音都不用布偶去录制,音频都无须用布偶去拍摄。

特效大神用真人视频一键生成动画,动画师要失业了?

按照那个进化趋势,以后把一部电视剧喂给AI,说不定也能轻松输出一部动画电影版本。一想到这里,这下不得不期待了。

特效大神用真人视频一键生成动画,动画师要失业了?

(文中

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务