AI 视频创作虽易开始但仍繁琐，未来突破在于连贯流程
当下，AI生成技术，进步飞速，然而，视频创作，依旧属于，一件有着，“高门槛”特性，之事 。
虽说生成式AI带来了从未有过的创作能力，然而整个流程依旧琐碎，创作者得先撰写脚本，接着运用文生视频工具生成画面，随后还得处理配音、剪辑、字幕、节奏等等，每一步都依靠不同的软件；专业团队能够凭借流程衔接这些环节，可是对于普通创作者而言，这样的分工常常意味着更多的时间成本以及学习负担。
创作开始借助AI变得较为容易，然而创作的连贯性却并未因AI而更具衔接性。或许真正的突破并非在于规模更大的模型或者算力更强的设备，而是在于使AI能够真正领会创意并全面参与创作这个过程。只有当众多分散的环节得以重新连接起来，创意才能够顺畅自然地流动起来。
未来的AI视频创作没准是这样，不太会侧重于添加更多工具，而是要打造出一个统一的系统，这个系统要实现文字、图像以及声音能于同一个范畴之内进行协作，同时让构思、生成还有调整是在同一语境当中得以达成。
而现在，这种改变，正在被昆仑万维逐步实现。
01 全新 ：创作不再有缝隙
昆仑万维最近推出的全新产品，是在这种“重构创作方式”的思路情况下诞生的。它并非是一款单纯的生成工具，而是一套能够让创作再度回归到“统一与流动”状态的多模态系统。
全新情形之下，图片，视频， 音乐以及人声讲解等元素，皆于同一空间里予以理解和生成。创作者无需在不同平台间来回切换，反复进行导入导出，而是可于同一张画布上完成构思，进而生成并予以调整。创作过程由此变得更为顺畅，创意亦能够自然而然地延伸下去。
全新设计了，以去使得更多的，人能够进入，这种新的创作方式，而且这样做还准备了，三种方式：
它能够使熟悉 AI 的创作者直接生成图像，它能够使熟悉 AI 的创作者直接生成视频，它能够使熟悉 AI 的创作者直接生成音频，它能够使熟悉 AI 的创作者直接生成数字人，它还能助力希望获得更结构化帮助的用户，让其可以调用近三十个聚焦具体场景的 Agent，进而获得任务级协助。除此之外，对于初学者或效率导向的创作者而言，只需使用模板，输入文字，或者替换画面，便能够快速完成创作。
而这种种情况，均出现于一张不存在极限的画布之上。该画布致使不同模态的内容，借着拖拽的办法被加以组织以及组合，促使创意的界限伴随操作而自然而然地向外扩展。在全新的情形之下，创作并非是对模型的调度行为，而是一回对思维的可视化的向外延伸之举。
有更深层的变化是源自昆仑万维那儿的 。于这个系统当中 ，存在着一个 Super Agent 对整体创作方向进行统筹 ，差不多三十六个 Agent 展开分工合作 ，涵盖脚本 、镜头 、音效 、剪辑等各个不同环节 。创作者只需以自然语言来表达自身需求 ，或者上传素材以及提供链接 ，AI 便能够在多模态内容范围内完成理解 、生成以及优化 。
在理念的层面之上，全新的状态已然勾勒出了一种更为自然且更为连贯的创作途径，然而在实际的体验当中，此种重构可不是概念里的那种想象，而是切实能够被直接感受到的一种变化。
AI科技评论针对画布的功能，进行了一手实测，针对Agent系统的功能，也进行了一手实测，以更为直观的方式，将它们在实际创作过程里的表现还原了出来。
02 实测画布：当创作不再被切割
在画布之中加入一张静态图片，使静态图片动起来，由此生成的效果，超乎想象地生动。再者，画面里在主体落脚各处开始出现轻微下压之事，以及主体产生形变之事，另有之下主体脚下柔软垫子出现塌陷之感，这些全都被自然地捕捉到了。
除此之外，原本贴于画面之中的2D卡通贴纸，被转译为带有体积感的3D元素啊，并且与整体光影氛围交融在一起了呢。这种细节层面具有那真是感，使得生成的画面不再是那种“动起来的平面图像”呀，而是更像一段实实在在拍摄出来的影像片段呢。
与此同时，画布具备这样的特性，那就是支持把文字直接转化成语音。仅仅需要在界面里输入台词或者旁白，系统就能够自动生成声音，这种声音语气自然，情感流畅，可以为画面增添完整的叙事节奏。不管是品牌讲解，亦或是人物旁白，语音都能够和画面氛围维持统一，从而让静态的创意切实“说话”。
画布被我们用来生成过一段 ASMR 视频，视频的主题是“星辰摩擦所发出的声响”。生成的过程当中，模型精准地捕捉到了声波所具有的颗粒感以及空间分布情况，声音呈现出层次清晰的状态，节奏十分自然，有着类似切割肥皂时那种细碎的触感。视觉方面与音频方面在同一画布之内被同步进行渲染，整体所呈现出来的效果极为干净、细腻。
03 实测 Agent：当创意开始被承接
当你开启首页之际 ，除去了画布功能 ，会发觉这里存有诸多面向不同领域的专业 Agent ，它们涵盖市场营销 、电商内容 、创意故事 、虚拟形象等好些方向 ，用户能够径直选取所需场景 ，随即步入任务级创作 ，并不需要额外进行配置或者学习 。
我们首先借助 Agent 创作出了一段旁白故事视频，该视频讲述的是奥德修斯的冒险，从人物造型设定开始，接着进行脚本撰写，随后生成静态画面，再延展动态镜头，最后添加解说人声以及字幕，整个流程几乎不需要额外进行干预，句号。
你仅需给出一个想法，并且勾选期望呈现的元素，如此一来，系统便能够自动组合成一段结构完整的解说视频，而且这段解说视频的节奏是自然的。
除此之外，我们运用 Agent 做了一个护手霜广告视频实验，这个实验时长为 15 秒。在该实验中，仅上传了一张产品图，还输入了提示词，这个提示词是：“我要推广一款护手霜，目标受众是都市白领（该产品主打诉求适配此群体），风格轻快（整体广告风格偏向此类）。”。
一段时间里后，Agent产生了完整的广告脚本，紧接着生发出有关广告的画面方案。手部特写画面开始出现，镜头由此缓慢向前推进，推进到产品包装那里，以那样面貌呈现着，背后场景是干净的办公环境，自然光线交织其中，呈现出一种氛围，镜头这种推进的节奏是轻盈的，背景音乐也干净明快些。
整个视频并未进行过度的渲染啊，然而却精准地拿捏住了品牌感到氛围感的平衡呢。从先是一张静态得平面的图片一路走来，直至成为完整的成片，系统仅仅用了相对不算长几分钟时的时间哟，并且还能够让你明晰地感受到呀，这已然不单单只是简单的 “生成内容” 的范畴啦，而是深入到了 “理解创意” 的境地之中呢。
04 实测数字人：当生成内容开始有情绪
那当进入到数字人板块的时候，官方所展示出来的 Demo 效果同样在人的脑海里留下很强的印象，该人物的表情方面呈现出的细节、眼神之间的相互互动以及说话时候显现的节奏各个方面都特别接近于真实的活生生的人。如此呈现出来的完成度使得我们针对数字人板块唤起了好奇的心理情绪，与此同时心里也萌生出想要瞧瞧在实打实的使用场景状态之下，其展现出来的表现是不是依旧能够保持自然流畅的想法。
在测试期间，我们首先上传了一张关于老马以及老黄的具有经典意义的场面图片，随后为其添加上了对应的台词。最终于生成出的视频当中，两位角色的语气处于自然且流畅的状态，他们的表情以及身体的细微动作精确地匹配着语音的节奏。不管是说话之际的轻微点头动作，还是视线的转移情况，又或者是停顿以及呼吸的节奏，均展现出趋近于真人表演的真实感觉。
于相同对话内容当中，我们另外生成了一个仅由奥特曼独自演绎的数字人视频。其整体呈现仍旧流畅，语音跟表情同步得相当自然，人物于说话之际的停顿以及呼吸节奏也得以较好地还原。单人场景在情绪表达方面越发集中，更易于显现出模型对语音细枝末节的捕捉能力。
需要特别指出的是，全新的这个数字人模型，在业内属于首个，它支持单镜头多人多轮对话。它可以精准地把控每个角色的发声时机，以及语气节奏，使得多角色之间的互动能够自然且连贯，进而呈现出具有非常强烈“真实对话感”的生成效果。
除此之外，我们还测试了一下全新 的其他功能。
举例来讲，于风格化测试期间，我们着手去把一段蜘蛛侠的视频，转变成为乐高风格。最终所生成结果的转译极为干净，动作所具备的逻辑完整无缺，光影呈现出的层次被保留下来，人物在变成积木结构过后，依旧拥有动感以及体积感。
而全新的它，在视频延长测试里，有着相当可以的表现，我们首先做的是，上传了一段视频，这段视频当中只有一张主角的正脸，接着给出提示词，提示词是，“画面为固定镜头，采用过肩视角，要透过男人的背影，看到女人带着含羞的神情露出笑容，之后女人再开口说话。”。
最后的视频生成出来是令人赞叹不已的哟，镜头进行反转后呀，原片中只是当作背景的身为女性的角色被很完整地生成啦，她的表情从稍微低着头的状态转换到抬起眼睛啦，又出现了轻轻发笑的情形啦，再到开始张嘴说话的那些细微的变化呀，统统被自然而然地捕捉到了呢，情绪的层次是清晰明了的哟。
整件延续的片段，不但持续了原本画面的光影跟色调，并且于情感方面达成了顺利的衔接，致使延伸的效果近乎毫无缝隙的衔接。
全程测试结束，全新的展现出的实用性比预先设想的还要高。它所具备的功能涵盖了创意工作人员较为常用的创作阶段，不管是电商营销类视频，还是自媒体方面的内容，亦或是广告、设计以及影视创意等诸多场景，均能够在短短几分钟内达成从最初构思直至最终成片的整个流程。
和 Agent 协作之际，系统会主动去确认每一个创作方面的细节，用户能够在任何时候表达自身想法并且对其进行修改，整个过程如同一次自然而然的创意对话，。
值得一提的是，它已正式上线移动端，在手机上这个点，它完整保留了Web端的核心创作功能，使得让用户可随时去捕捉那种灵感，还能够快速生成内容，即便是即便没有没到达到拥有着那样专那些具有明显区别特色和针对性的制作水平设备了呢，但仅仅凭借一部简简单单就有的普通大众类手机就已然这样了，也能够轻轻松松地创作出呈现出具备专门那种特定高规格化且水准相对普遍较高的视频成果了 。
05 技术之下，是统一的多模态思维
超优秀的实测结果的背后，存在着全新所奠基并依赖的统一多模态学习框架。
不管是针对图片、音频或者视频的生成任务而言，全部模型都共同拥有同一个Multi-modal In-预训练基础，接着借助任务级精调来实施差异化优化。这样的设计使得模型能够于不同模态之间构建起稳定的语义联系，达成跨模态的一致性以及泛化能力。
处于那图片驱动的视频生成这一范畴之中，全新版本着重处理了“多主体一致性”以及“背景连贯性”这些个问题。模型借助跨帧配对策略以及图像编辑模型的联合预处理方式，精确地分离主体与背景，并且于生成进程里开展语义级别的重组，并非单纯的图像拼接。再联合图像 - 视频混合训练以及多分辨率联合优化机制，致使模型在主体保持、动作延展以及指令响应方面同时获得提升 , 。
通过这一改进，它在参考图一致性方面，超越了主流闭源模型，在视觉质量指标方面，同样超越了主流闭源模型。
与此同时，于音频参考之生成方面，全新的基于 -A3 框架经行了全然的设计。借由引入区域路由机制，模型能够于单镜头当中识别出多个角色，并且分别生成与之对应的嘴型，达成自然的多轮对话。
另外，系统对相机运动参数予以监督学习的支持，能够于同一时刻组合多种运镜动作，也能够在不同的时间达成平滑切换效果，关键帧插帧范式加入其中后，它可以在分钟级别的时长范围之内维持高质量的嘴部对齐状态以及动作一致性表现，在官方评测里，模型于包括嘴部同步、视频质量（IQA 4.58）以及角色一致性（ID 0.78）等各项指标方面都达到了闭源SOTA水平。
并非仅仅于此，V3在视频参考的任务当中，达成了三类生成内容的统一，这三类分别是延长，编辑以及风格化。
它借助设计不同任务的空间位置编码以及专属嵌入，使得模型得以理解参考视频跟生成视频之间的关系，进而在同一结构当中完成多种任务。与此同时，它结合 token 与的优势，在大幅减少计算量的情况之下保持高质量输出。
模型延长借助语义级预测，对 Cut-In、Cut-Out、Shot 等多种切镜衔接方式予以支持，风格化模型凭借自建的自动化风格数据生成与筛选系统，构建了高质量风格配对数据集，达成稳定又可控的艺术化生成 。
整体而言，从架构方面来看，到训练环节为止，全新的核心竞争力所在之处是对“统一性”做到完全的切实达成。
它借助多模态联合训练，使得模型在不同输入的时候，能够形成共享语义空间，凭借跨任务的结构设计，让延展、还有对话、以及编辑、包括风格化，都拥有同样的理解逻辑，最终在一致性、还有画面质量、再加上生成可控性这几方面同时得到提升，进而成为当下少数能够在图片、音频、视频任务里，全都达到闭源水准的多模态生成模型。
但是，这并非单纯只是模型层面的那种升级，实际上，它更是创作逻辑的一回重构。全新达成的“统一”，不只是将多模态能力融合到一块儿，更意味着AI理解世界方式的一次跨越，它不再把图像、声音和文字看作是彼此孤立的信号，而是以语义作为底层语言去思考、生成以及表达。
等到技术切实存有这种语义层面的连贯性之际，创作随即断掉了“调用模型”那般进程走向，反而如同一段思维的天然流淌趋向。这恰恰属于新奇异巧的意义所在于情况——使得AI本身蕴含那种力量，重返回创意以内情形。
//
欢迎 你 发表评论: