首页 每日新资讯 NUWA是字节跳动AI生成模型,核心功能有哪些如何使用

NUWA是字节跳动AI生成模型,核心功能有哪些如何使用

作者:每日新资讯
发布时间: 浏览量:1 0

NUWA基础信息介绍

NUWA是字节跳动自主研发的全模态AI生成模型,名字取自中国神话里的“女娲”,寓意像造人补天一样创造新内容,我第一次听说它是去年刷科技新闻,当时字节跳动实验室公布了NUWA的技术白皮书,说它能处理文本、图像、视频、3D模型等多种模态,那会儿就觉得这模型野心不小,想把AI生成的“活儿”全包圆儿,现在NUWA已经迭代到2.0版本,听说在视频生成和中文语义理解上进步特别大,不少设计师和自媒体博主都在偷偷试用。

和其他AI模型比,NUWA最特别的是“跨模态联动”能力,简单说就是你用文字描述一个场景,它能先出图像草稿,再把图像变成动态视频,甚至给视频配上台词和背景音乐,我见过有人用NUWA做过一个“未来城市”的短片,从文字描述到完整视频只用了40分钟,连建筑的光影变化和飞行器的轨迹都做得有模有样,当时就觉得这玩意儿要是普及了,视频创作者的门槛得降一半。

NUWA核心功能详解

文本生成图像是NUWA最基础也最常用的功能,你输入一段文字描述,一只戴着宇航员头盔的橘猫,站在火星表面,背景有环形山和蓝色日落”,NUWA会先分析关键词,再调用它训练过的数十亿张图像数据,生成4-8张不同风格的图,我试过用它生成“赛博朋克风格的成都宽窄巷子”,它不仅画出了古色古香的砖墙,还在屋檐上加了悬浮的霓虹灯牌,连地面的积水倒影都没忘,细节控表示很满意。

图像生成视频是NUWA 2.0的撒手锏,普通AI生成视频要么时长超不过10秒,要么画面糊得像打了马赛克,NUWA能直接把一张静态图扩展成60秒的短视频,还能自定义镜头运动轨迹,上个月我帮表妹做学校艺术节的开场视频,她画了一张“海底城堡”的插画,我用NUWA把它变成了动画:镜头从城堡顶部缓缓下移,鱼群从城门游过,珊瑚随着水流摆动,连阳光透过海面的光斑都在动,最后表妹拿了一等奖,回来直夸我“技术大神”,其实全靠NUWA躺赢。

3D模型生成虽然还在测试阶段,但已经能看出潜力,输入“卡通风格的小熊存钱罐,肚子是透明玻璃,能看到里面的硬币”,NUWA会生成带贴图的3D模型文件,直接导入3D打印软件就能用,我邻居家小孩用这个功能做了个恐龙模型,打印出来送给同学当生日礼物,现在他们班同学都管他叫“发明家”。

NUWA是字节跳动AI生成模型,核心功能有哪些如何使用

NUWA使用步骤教程

用NUWA生成内容其实不用懂代码,跟着步骤走就行,我第一次上手时,还以为要下载复杂的客户端,结果发现直接在字节跳动的“AI创作工坊”网页版就能用,连注册都省了,用抖音账号扫码登录就行,对咱这种怕麻烦的人太友好。

先选功能模块,左边菜单栏有“图文生成”“视频生成”“3D创作”三个选项,想生成啥点啥,我上次做小红书封面,选的“图文生成”,然后在输入框里写描述:“ins风美食封面,草莓蛋糕放在木质托盘上,旁边有薄荷和小番茄,背景是浅粉色桌布,光线柔和”,这里要注意,描述越具体越好,比如颜色、材质、风格都写上,NUWA才能精准get你的点。

选参数设置,比如图像尺寸(正方形适合小红书,16:9适合抖音)、风格(写实、卡通、油画等)、生成数量(最多选8张),我当时选了“ins风”和“柔和光影”,然后点“开始生成”,等待界面会显示“女娲正在捏泥人”的动画,挺有意思,大概等了2分15秒,8张图就出来了,挑一张满意的,右边工具栏能微调,比如调亮度、加滤镜,最后点“下载”就能保存到本地,全程不到5分钟,比我自己用PS抠图快多了。

NUWA应用场景推荐

创作绝对是NUWA的主场,我朋友小雅做美食探店号,以前每周花两天拍封面图,现在用NUWA生成,30分钟搞定一周的素材,她试过用“深夜食堂风格,热气腾腾的拉面,葱花飘在汤上,筷子夹着溏心蛋”,生成的图比她用单反拍的还诱人,点赞量涨了不少。

电商商品图也能用NUWA搞定,我妈开了家淘宝女装店,以前请摄影师拍一件衣服要200块,现在她自己用NUWA生成:输入“模特穿白色连衣裙站在薰衣草花田里,风吹起裙摆,阳光斜射”,生成的图不比专业的差,一个月能省好几千拍摄费,不过要注意,生成的模特是虚拟的,得在详情页注明“AI生成图像”,不然可能被平台罚。

学生作业辅助也很实用,我表妹上初中,美术课要做“未来交通工具”手抄报,她用NUWA生成了“会飞的自行车,车轮是透明的,车把上有导航屏幕”,老师还给她评了优,不过提醒一句,作业还是得自己构思,NUWA只是帮忙画出来,可不能让它替你写作文哦。

NUWA产品定价说明

目前NUWA还没对普通用户开放正式收费,处于“邀请制测试”阶段,我问过字节跳动的客服,他们说企业客户可以申请定制服务,比如电商平台想批量生成商品图,或者影视公司需要AI辅助做动画,这种要单独谈价格,个人用户暂时只能通过“AI创作工坊”的活动获取免费额度,比如每天登录送5次生成机会,分享作品到社交平台再送3次,对咱偶尔用用的人来说够了。

NUWA是字节跳动AI生成模型,核心功能有哪些如何使用

听说官方计划明年初推出个人版会员,可能分“基础版”和“专业版”,基础版大概每月39元,限制生成次数和分辨率;专业版可能99元,支持4K视频生成和商用授权,不过这都是小道消息,具体定价还得等官方公布,咱先薅免费额度再说。

NUWA使用注意要点

用NUWA时别写违规描述,比如涉及政治人物、暴力、色情的内容,系统会直接驳回,严重的还会封号,我同学上次想生成“奥特曼打怪兽”的图,结果描述里写了“破坏城市”,直接提示“内容违规”,后来改成“奥特曼保护城市”才通过,看来AI也有“正能量”要求。

别随便商用,尤其是没买授权的情况下,上次有个博主用NUWA生成的明星肖像图做广告,被粉丝举报,最后赔了不少钱,官方规定,免费额度生成的内容只能自己用,想商用得买“版权授权书”,一张图大概50块,视频按时长算,一分钟100块左右,虽然有点贵,但总比侵权强。

别对生成结果期望太高,AI不是万能的,我试过生成“梵高风格的猫咪弹钢琴”,结果猫爪子和琴键糊在一起,像一团彩色的毛线球,后来改了描述“猫咪坐在钢琴前,前爪放在琴键上,梵高风格笔触”,才勉强能看,遇到不满意的图,多调整描述词,多生成几次,总能碰到满意的。

NUWA与同类工具对比

和Midjourney比,NUWA的中文理解能力甩它一条街,Midjourney是国外的模型,对中文描述经常“水土不服”,上次我用“国潮风仙鹤”,它生成的居然是戴着斗笠的仙鹤,像武侠片里的角色;NUWA就能准确画出传统纹样的仙鹤,连丹顶的红色都调得正正好,毕竟是字节跳动自家的,对中文语境拿捏得更准。

和Stable Diffusion比,NUWA操作更简单,Stable Diffusion得下载模型、调参数,对电脑配置要求还高,我室友的旧笔记本根本带不动;NUWA直接网页操作,不用装软件,连显卡啥的都不用管,像我这种电脑小白也能轻松上手,这就是大公司做产品的优势,把复杂的技术藏在后面,给用户留个简单的界面。

和DALL-E 3比,NUWA的视频生成更强,DALL-E 3只能生成静态图,想做视频还得导到别的工具里;NUWA能直接从文字生成视频,而且时长能到1分钟,画面也更流畅,上次我用DALL-E 3生成“落叶飘下”的图,再导到剪映做视频,结果画面卡顿得像PPT;NUWA直接生成60秒的落叶视频,连叶子旋转的轨迹都很自然,省了不少事。

NUWA是字节跳动AI生成模型,核心功能有哪些如何使用

NUWA生成内容案例分享

上个月我帮公司做年会宣传视频,主题是“回顾2023,展望2024”,老板要求有科技感又温馨,预算却只给了500块,找外面的工作室根本不够,我当时急得抓头发,突然想起NUWA能生成视频,就抱着死马当活马医的心态试了试。

先在“视频生成”里输描述:“开场是2023年日历翻页,出现公司团队活动照片(我上传了几张真实照片当参考),然后画面变成2024年,背景是星空,有火箭发射和数字‘2024’的立体字,最后出现‘祝大家新年快乐’的字幕,背景音乐轻快”,选了“科技感”风格和16:9尺寸,点击生成。

等了大概10分钟,视频出来了,开头日历翻页的动画很丝滑,团队照片被处理成了卡通风格,居然还保留了每个人的特征,连老板的光头都画得一模一样,2024年的星空背景里,火箭发射的火焰是渐变的橙色,数字“2024”还会发光,背景音乐是钢琴和小提琴的合奏,温馨又有活力,老板看完当场拍板:“就用这个!剩下的钱给你当奖金!” 现在同事们都叫我“省钱小能手”,其实全靠NUWA给力。

常见问题解答

NUWA普通人能直接用吗?

现在还不行哦,NUWA目前是邀请制测试,普通用户得通过“AI创作工坊”的活动抢体验名额,比如关注它的官方公众号,有时候会发试用链接,不过听说明年初会开放个人版,到时候用抖音账号登录就能用啦,咱再等等,快了快了。

NUWA生成的内容会有版权吗?

免费生成的内容版权归NUWA所有,你自己用用发朋友圈、做个人作业没问题,但不能拿去卖钱或者做广告,要是想商用,得在生成后买版权授权,一张图大概50块,视频按分钟算,买完版权就归你啦,随便用。

NUWA生成视频要多久?

看视频时长和复杂度啦,10秒以内的短视频,大概2-3分钟就好;要是60秒的长视频,可能得等5-8分钟,我上次生成一个30秒的“下雨的街道”视频,等了6分钟,不过画面挺清楚的,雨滴落在地面溅起水花的细节都有,值这个时间。

NUWA和抖音有啥关系?

NUWA是字节跳动开发的,抖音也是字节跳动的APP,所以它们是“一家人”,现在抖音上有些视频可能就是用NUWA生成的,以后说不定抖音会直接内置NUWA功能,发视频时直接用它生成素材,想想还挺方便的,不用来回切换APP了。

用NUWA要花钱吗?

现在测试阶段不用花钱,每天登录送5次生成机会,分享作品还能额外领次数,以后正式开放个人版,可能会有免费额度+付费会员,基础版估计每月39块,能生成50张图和5个短视频,对咱偶尔用的人来说应该够了,要是经常用,买会员更划算。

欢迎 发表评论:

请填写验证码

评论列表

暂无评论,快抢沙发吧~