AI生成高质量长视频:首尾帧与系列图提升可控性与一致性
就算AI具备一种相对颇为强大的生成视频的能力,然而实际上要是打算达成自身内心之中的想法,依旧存在一定程度的难度。
首先,AI生成视频,全然如同“抽盲盒”一般,没有人能够知晓,视频最终会呈现出怎样的模样。
如何能够让AI生成的视频“靠谱”呢?
王珏老师一直建议大家:
诚然,图生视频并非一定会与我们的心意相契合,如此一来便没有什么有效的办法了,唯有进行多次尝试罢了。
第二,AI生视频的时长太短,一般为5s或10s。
特别是针对于那种,存在多个角色,并且还需要多个场景的视频,按照上述“先生成图,再生成视频”的思路,那就得生成一系列的图,并且必须要维持角色以及场景的一致性 。
这件事同样无法让AI感到为难。就拿即梦AI来说,它具备得以“生成系列图片”的那种能力(豆包同样是能够做到的),并且仅仅只要在提示词当中提出这样的要求便可以达成。
比如,拿《小红帽》的故事举个例子作为说明,我们仅仅只需在那个即梦的“图片生成”页面之中输入语句,语句内容是“《小红帽》的故事,生成N张绘本图片,儿童画风格”,仅仅短短的几十秒时间进程期间;就能够实实在在地生成出一系列的图片,并且这些对于角色构建以及场景布置方面的一致性表现得是非常良好的:
接下来,我们会把其中一幅图象上传去大模型之内 ,并且对其动作予以描述就行 (就如同下方图片是即梦AI的功能界面那般) 。
第三,能否做到多个场景之间的自然衔接呢?
为了进一步提升动画场景的可操控性,以及达成多幕动画的毫无缝隙的连贯衔接,我们能够采用“首尾帧”模式来制作视频。
那就是,这样一种方式,针对于我们具备“系列图片”的情形而言,像之前我们制作出的系列绘本之中的图片那般模样,是极其适宜的!

在早前我们所进行的“图生视频”相关操作期间,我们仅仅上传了一张图片,这张图片被称谓是“首帧”,而“首帧”实际上便是视频的起始点,于首尾帧模式里,我们还得再次上传一张图片,此图片被称作是“尾帧”,“尾帧”也就是视频的终结点。
拿出刚才我们精心制作而成的《小红帽》系列图片当作例子,我们着手制作的第一个视频,应当把第1幅图作为起始的首帧,将第2幅图作为最后的尾帧,当然还需要详细描述其中存在着什么样的动作 。
即梦AI的“首尾帧”功能的效果非常惊艳!
顺着这样的方式类推下去,我们便能够获取到一组质量在高度上能够得到有效控制、连接呈现一种丝滑状态的视频。最终,我们仅仅需要借助视频编辑软件(就像剪映这类软件),把这一组视频进行合成操作就可以了。
然而,即梦AI当下并不支持于视频里“配音”,因而等同于“默片”。若要有声音,还得自行设法处理配音问题,接着借助视频编辑软件将声音与画面合成起来……
第四,有没有更简单的方法,让AI自行完成上述工作呢?
毕竟,前面的办法尽管能够比较不错地处理视频质量、视频时长方面的问题,然而操作繁杂琐碎、用时比较长久是难以避免的。
终究,将人的珍贵精力节省出来,进而降低人的那种高度重复且繁琐的工作量,这乃是AI的最大价值所在!
在9月份的时候,有个重大意义的更新发出来了,这个更来自即梦AI,它提供了Agent模式,Agent模式也就是代理,也能够翻译为智能体, 。
我们仅需输入简单的创作意图,比如这样子的内容,即为古诗《关雎》制作一段视频,凭借着无比唯美的中国古风氛围,来表述体现中国古人那份相对青涩的爱意 。
就算是梦境它也会自行去开展思考,接着制定计划,随后一步一步地去执行,在整个这样的过程当中呀完全不需要人为进行干预哟(像之下所呈现的图片这般):
接着,也就是梦会依据自身的理解,率先绘出一组图,随后自行打造出一系列的视频——实际上它运用的乃是“首尾帧”模式,只是压根无需人为参与,所有的一切都是它自动运转的:

且不说“自动运行”乃是好多“图生视频”的步骤,就说梦AI会自动把所有视频片段连接起来,进而形成一段“长视频” 。
可是呢,鉴于即梦AI的Agent模式呈现出全自动运作的态势,然而这也会存在欠佳之处,那就是比如它所生成的图片并不契合我们的需求。
以上述那篇名为《关雎》的内容为例,最后一幅图呈现的情景是,新郎以及新娘所穿着的竟然是当下的服装,:
倘若我们打算避开Agent模式期间出现的,图片质量没办法控制、没法加以干预的状况,提议大伙同样划分成两步:
在Agent模式中,也是支持上传系列图片的,如下图所示:
最后,说说代价。
Agent模式无疑是速度快且质量佳,然而,通过AI来制作视频,那可是极为耗费算力资源的 。
以上面所提及的《关雎》当作例子,不算那8张图片的生成情况,单单只是最后一步的视频生成,就消耗掉了84积分!
这个视频的总的时间长度是42秒,每一段视频时长为6秒,一共有7段这样的视频,折算下来1秒是2个积分,这是即梦AI所规定的标准定价 。
即是梦境每天都会送出88积分,这个积分需要每天登录才能够领取,所以要是不想花钱去购买积分的情形之下,采用这种做法,每日最多能够制作一个时长为44秒的视频。
再长的话,要么多分几天来制作,要么,就只能充值了……


欢迎 你 发表评论: