无需剪辑，仅凭文字描述即可生成高质量长颈鹿视频
鱼羊 发自 凹非寺
量子位 报道 | 公众号
实现镜头从这一画面到另一画面的自然转换，把握好节奏时而急骤时而缓和，去创作具有这般高质量水准的视频，所需的是怎样一种专业的剪辑方面技法呢？
答案是，不用剪，会写就行。
比如要剪辑一个有关长颈鹿的片段，你只需要告诉AI：
长颈鹿是世界上最高的动物，以其长腿和长脖子闻名于世。
它的脖子上有棕色的鬃毛，头上长了两只毛茸茸的角。
AI就能自动剪辑完成这样的画面：
首先将长颈鹿群的整体面貌予以展示，并且呢，随后把镜头切换至一只处于奔跑状态之下的长颈鹿，去将它那长长的腿部以及长长的脖子进行展示，然后呢，依据指示，重新对它的鬃毛以及鹿角给予突出的特写呈现，如此便完成了！
是的，不再需要费劲挑选素材，一帧一帧地来回倒腾：
剪辑真是体力活
仅把你脑袋里的创意转变成简短的文字，这个称作Write-A-Video的AI便能领会你的心思，从挑选素材到进行剪辑，一站式达成创作。
最新的AI神器，是由北京航空航天大学、清华大学、美国哈佛大学以及以色列赫兹利亚跨学科研究中心的科学家们携手打造的，它只要有主题脚本，就能够生成视频。
用文字创作视频
当下，把素材准备妥当之后，我们一块儿来瞧瞧，Write-A-Video究竟是以何种方式“创作”出一个视频的呢。
整个过程分为三步。
首先第一步，用户会以文本这种形式来提供输入，然后Write - A - Video会从中挑选出句子里的关键词 。
接着的第二步，Write - A - Video会凭借关键词，将素材库里和其相匹配的候选片段挑选出来。
第一步为关键字匹配，第二步是视觉语义嵌入，这两者共同构成了文本和镜头之间的视觉语义匹配 。
最先，AI会依照脚本，于素材库里搜寻全部带有关键字标签的视频镜头 。
所有处于素材库之中的视频，全被划分成了快照，以此方便语义进行匹配，并且在紧接着的下一步正式开展视频剪辑之际，能让用户借助电影术语去引导AI进行创作。
北京航空航天大学的汪淼老师，Write-A-Video的作者介绍称，Write-A-Video准许用户于输入文本里运用电影术语，来探寻每个场景不一样的视觉风格，犹如调整电影的节奏，画面的调动等等 。
另外，运用基于直方图的分割算法，要是帧与帧二者同在HSV色域里的直方图相差超出80%，而且追踪的SURF关键点80%以上存在不匹配情况，那么算法就会以这两帧作为界限，进行镜头的切分 。
太长（>30s）或太短（
自此呢，有一种视觉语义嵌入技术，它会针对每一个检索得来的镜头，去计算匹配分数，根据这般计算得出的结果，那些排名处于最高位置的镜头，便会被挑选出来，被当作候选镜头 。
这里所采用的办法是VSE++ ，论文地址在文末可以看到 。这种办法能够把跨模型的内容编码到联合特征空间当中 ，举例来说 ，恰似能将文本跟镜头关联起来 。
处于嵌入空间里头，于镜头当中每隔十帧选取抽出一帧，针对其与文本之间计算出余弦相似度，最终求取平均值，此平均值就是判定镜头能不能入选的最终得分。
第三步，就是将这些镜头组合在一起，完成视频的剪辑。
这一步，实际上是Write-A-Video针对镜头所进行的混合优化，并且呐，它具备自身的审美标准啦。
首先，画面应该是明亮而生动的。
其次，镜头不能晃动得太厉害。
最后，要防止不相接续的跳接，也就是jump cut，并且要避免相反的相机运动。，。
值得一提的是，Write-A-Video对用户非常友好。
加上新的文本，对应素材就自动续上了
搜寻与之对应的镜头，实施剪切操作，重新做出排列，通通能够借助增添、删去文本以及挪动句子等这般的文本编辑的形式予以达成，并不需要去掌握剪辑方面的技巧，更加不需要会去敲打代码。
不止如此，于下面当下的这个视频里头，你就会发觉，敲进去的那些文字能够转变成配音旁白，以此来渲染影片的气氛。
并且，旁白跟视频是全然同步的，对应起来相当自然。在提及白金汉宫之际，镜头顺理成章地转向了白金汉宫的门前处。而当提到皇家护卫队之时，画面随即给到了正在进行表演的皇家护卫队那儿。
研究团队宣称，相较于商用的按逐个帧来处理的视频编辑器而言，使用Write-A-Video进行创作，运作速度要快出许多。
有了Write - A - Video，哪怕是新手，也能够以快出许多的速度，也就是13分钟对比7小时的速度，去完成视频剪辑任务，这种完成的视频剪辑任务在质量方面与职业剪辑师的差距较小 。
剪辑师用Pr，新手用Write-A-Video
刚刚结束的 Asia 2019会议里，研究团队报告了 Write-A-Video 这一成果，还展示了它，进而得到了国际同行的广泛认可 。
北航清华团队出品
Write - A - Video 的首要作者，名为汪淼 的那位博士，当下是北京航空航天大学虚拟现实技术与系统国家重点实验室处于助理研究员职位者，同时还是硕士生导师 。
汪淼
西安电子科技大学是其本科毕业院校，于2016年时期，，他得到了清华大学的博士学位经由，其导师亦即论文通讯作者，乃是清华大学计算机系的胡事民教授 。
该项目参与之时，身为本科生的杨国炜系论文作者之一，如今其正在清华大学计算机系展开博士学位的攻读之中 。
另有两位作者，一位是荣获菲尔兹奖的、身为哈佛大学教授的美籍华人数学家丘成桐，另一位是担任以色列赫兹利亚跨学科研究中心院长的艾里尔·沙米尔（Ariel ）。。
传送门
视频链接：
欢迎 你 发表评论: