阿里达摩院推出寻光AI视频创作平台，一键实现目标分割与场景变换
鱼羊 发自 凹非寺
量子位 | 公众号
AIGC时代，视频创作这事儿真的不一样了。
如同这般，轻轻环绕一圈，选定所要达成的目标，紧接着瞬间转变成为单独的图层，之后又能丝滑顺畅地嵌入各异的背景视频之中，场景的变换简直是如此轻而易举~。
想要调整一下镜头角度，交给AI，同样能一键完成：
还能一键消除、修改目标：
后期再也不用加班加到手抽筋（doge）。
划重点！这里并非实验室里的那种单一技术演示项目。它是即将开启内测的平台，这个平台能让创作者们直接投入使用，是一站式的AI视频创作相关平台，名为“寻光”。
也即是说 ，以往 ，分散于不一样制作流程里的 ，剧本创作 ，分镜图设计 ，视频素材编辑等步骤 ，如今 ，都能够于AI给予助力的情况下 ，在同一个平台之上通畅地完成 。
这就是阿里达摩院在上海世界人工智能大会上带来的最新惊喜。
演示一出，现场的观众都坐不住了。
然而，达摩院的官方方面，也透露显示出了那人工智能化视频领域全新成果背后更为庞大的“野心”，：
跟Sora并非进行对标之举，以自我独特的方式前行，心怀期望能够更迅速地达成AI生产力与人类想象力相匹配的状态，。
“寻梦光影间”
所谓寻光，意指“寻梦光影间”：
即通过人工智能技术，提供全新的视频创作模式。
不同于Sora等，在今年受到高度关注的AI视频生成模型，寻光所留意到的， 是“Sora之后”，视频工作流的变革。
阿里巴巴达摩院持有这样的观点，Sora这类AI视频生成模型充分赋予了人们关于视频生产方式实现彻底变革的那种想象力，然而，在一个方面，AI视频内容的可控编辑，其中包含对复杂剧情的理解，以及生成对象的一致性等情况，依旧是当下算法所面临的一项重大挑战。
另一方面，业界还未存在统一的AI视频编辑平台，创作者们无法一站式体验AI加持的视频创作全流程 。
比如，有这样一些首创起始的成员，在最近这段时间里，也开始玩起了人工智能技术做成的视频，并且还弄出了一个人工智能版本的有关《傲慢与偏见》的东西。
制作这个短片时，他所运用的工具涵盖了、、Luma、、VEED……并且他自己还埋怨讲：
要说实在的，眼下这个工作流程着实特别混乱，工具跟工具相互之间存有大量的复制粘贴情况，仅仅是三个片段的简单小视频，就耗费了我差不多一个小时的时长呢。
此处面存有极大的契机，是何人于打造百分百的人工智能原生视频制作平台呢，是何人为此呢，是何种人在做这件事呢 ？
达摩院打造了寻光，其被定位成PUGC一站式AI视频创作平台，目标恰恰是针对上述那些需要解决的问题，借助AI能力去重新塑造传统视频制作的整个流程，。
详细来讲，寻光能够帮助用户去创作剧本，创作分镜图等，它支持针对生成以及上传的素材开展丰富的AI编辑，这其中涵盖人物控制，涵盖场景控制，涵盖运镜控制，涵盖目标的新增，涵盖目标的消除，涵盖目标的修改等10多种功能。
并且在交互方面，主打“让视频编辑像操作PPT一样简单”。
将其作为分镜设计环节的实例，上传至寻光的那些原始视频素材，会被算法划分成好多不同的分镜头 。
于创作空间当中，用户能够便利地瞅见每一个分镜头，借由简易的拖拽操作予以调整 。
寻光平台在新建的空白分镜里，除了能添加已有素材，还支持用户调用多种多模态生成模型去生产新的内容，其中，新建的空白分镜是特定的一种状态。
至若编辑功能这一方面，寻光所着重突出的乃是精细化的编辑以及控制，于 AI 予以加持的状况下，依照用户的意图，于语义的层面而非像素的层面达成编辑，与此同时，视频当中的人体、人脸、前景、背景等任意的局部目标，皆能够展开精细化的编辑以及修改。
身处现场，达摩院视觉技术实验室那位身为高级算法专家的陈威华，着重提及了基于视频图层的编辑能力。
以前景图层功能作为例子，用户凭借文本输入，能够生成契合描述的视频，该视频具有透明背景，而且通过一键操作，就能够把它融合到其他的背景视频当中。（句号也可视情况改为分号等其他标点，这里统一为句号方便理解）。
寻光同样有着支持图层拆解之举，用户于视频的第一帧之处挑选那想要予以提取的物体，算法便当即会作自动跟踪，将整段视频里与之对应的目标进行拆解，使其最终得已形成那一独立的、带有透明背景的视频图层。
飘动的头发也扣得很精细的那种：
另外，在针对视频全局元素进行编辑时，于风格迁移这一情况而言，寻光平台给出了20多种不一样的风格。
在运镜控制方面，能够支持左右方向的平移，能够支持上下方向的平移，能够支持推进以及拉远的操作，还能够支持左右环绕的动作 。
在视频局部元素编辑这块，除了目标消除外，寻光平台还能够达成人脸的精准操控，是这样的：
视频取自国风武侠动漫《少年白马醉春风》第三集
轻轻一拉实现运动控制：
就此看来，寻光能够讲是整合了市面上最为完备的AI编辑功能，将完整的一个视频制作工作流都予以AI化了。相较于在各类工具间来回跳转，于传统工作流里零散地嵌入AI能力，确实更加便利、高效了。
重塑视频创作工作流
探究更能领会物理世界规律的，生成时长更久的，生成效果更令人惊叹的，多模态的模型，这是当今工业界密切关注的方向，也是学术界密切关注的方向。
不过，当更为强大的人工智能问世之后，众人是不是能够以更快的速度去掌握这种新型的生产力，这同样是一个值得予以关注的话题。
在挑起话题之后，就有不少网友表示确实戳中痛点：
会破坏工作状态，是从一个工具转移到另一个工具造成的，说实话，这限制了这些工具对于效率的提升 。
AI视频创作需要统一的UI。
陈威华也在WAIC现场谈到：
今天呀，我们正身处于AI视频生成这般巨大的变革当中呢,“工欲善其事，必先利其器”，我们所求的寻光视频创作平台，是每一个人手上所握的利器呀，是每一个人的专属视频工作室呀。在这个平台之上，AI跟创作者二者之间能够更为紧密且高效地展开协作呢。
为了这个缘故，寻找光明平台背后的达摩院视觉技术实验室，做了数量众多的技术储备。
该实验室专注于多模态视觉信号的理解以及生成技术的研究，当下重点研究方向有，更精准的图像生成，更精准的视频生成，更精准的3D内容生成，更可控的图像编辑，更可控的视频编辑，更可控的3D内容编辑，更高效的生成框架，多模态的理解 - 生成框架等 。
AIGC在全球范围内引发热潮，关键所在是带来了生产力发生彻底变革的想象可能性，有着这样的一种想象空间，是引发热潮的核心原因 。
现在，解放生产力的第一步，已经开始落地实践，你期待吗？
欢迎 你 发表评论: