基于当前AI技术生成PBR材质贴图的可行性分析与未来展望
如今，AI 绘图的发展态势犹如烈火烹油般热烈汹涌，并逐渐从最初人们口中的“AI 绘画也就仅仅是图一图让人乐呵乐呵罢了”，持续演进至当下这般质量日益提升、效果愈发趋于稳定的状态，而且各类独具特性的模型、辅助插件更是如雨后春笋般不断涌现，其进展速率简直能用日新月异一词来精准描述。在这样一个特定的时间节点之上，倘若开展任何与 AI 相关的调研工作，只怕都必不可免地会遭遇在短短三五个月之后便全然过气的最终命运。基于上述这样的前提条件之下，本文依据当前 AI 的实际发展情形展开论述，竭尽所能地去概述当下运用 AI 生成 PBR 材质贴图的可行程度，以及针对未来发展所抱有的展望。
目前，PBR材质贴图虽已有不少或收费或免费的库，供美术购买及使用。然而，其数量终究有限，且检索起来颇为困难。就算找到了效果相近却不完全适配的贴图，若不是提供了源文件的程序化生成贴图，要对现有效果做轻微的变体修改也极为不易。所以，要是能借助AI模型辅助，从文字描述里生成所需的PBR无缝贴图，还能生成多种变体，就可以给美术提供更多的选择了。可是，当下特别火的那几个AI绘图模型主要是用于生成带有颜色的图片，要是想获取PBR贴图，那就得借助别的工具进一步去处理。当然啦，也存在有人把这两件事结合到一块儿，制作出了能够在一条流水作业线上开展ai制作PBR贴图的工具。这篇文章会一个一个地针对它们进行说明。
一. Ai生成无缝颜色贴图
第一步，由AI生成的颜色贴图，是后续PBR贴图生成的参考，一张高质量且可用的颜色贴图，应该具备以下特征：
照片呈现出极其逼真的效果。此文中所阐述的单张贴图生成PBR贴图的AI模型，多数情况下是以真实或者近乎真实的贴图当作训练样本的。尽管具备手绘风格的颜色图片偶尔能够获取颇为不错的PBR贴图成果，然而其并不稳定。
• 无缝贴图。无缝贴图的适用性更广。
• 无透视。理想是无透视视角下的俯视特写图。
针对Base Color贴图里若仍存有影子之类的信息，这会致使错误的渲染最终状况，有光影不行，没光影也不行，没光影后期没法从图中获取法线粗糙度等信息啊，虽说能借后期处置把这些光影给消除掉，可当前这一处置能力是有局限的，过度处置会破坏本身基础的颜色，少光影，Base Color贴图中如有影子类信息会致错误渲染结果，虽可后期处理除光影但处理能力有限过度处理会破坏基础颜色，而完全无光影也不行后期无法得法线粗糙度等信息 。
从模型这个角度来讲，当下流行的、名为Dall-E的AI绘图模型，能够去生成跟base color贴图相类似的那种效果，就如同图1所展示的那样。
从左边开始朝着右边的那个图1 ，依次呈现的是、Dall-E以及 - v1.5的生成结果 。从上面开始向下的三排所生成的分别是：树皮 ，覆盖着苔藓的鹅卵石 ，羊毛纺织物 。
仅从图片质量以及稳定性这两方面来讲，和Dall-E的性能最优，然而它们二者较易出现诸如背景虚化、镜头眩光这类的后处理效果，还有镜头畸变。的—tile指令以及-的选项，都存在显式的直接生成无缝贴图的选择，不过当前Dall-E需要借助涂抹等方式才可生成无缝贴图，相对而言颇为繁琐。
然而，上述的那三个模型本身并非是为了去生成贴图才进行训练的，所以，会以一定概率出现视角不够平铺的情况、带有不期望出现的拼贴、或者结果较为模糊等问题，这样的状况，也促使催生出专门是为生产无缝贴图而设计的AI模型。
AI绘图所生成的结果常常会受到训练数据的作用，所以有人特意把PBR材质的贴图当作训练样本针对模型展开训练，像 。
凭借Sable - v2开展训练，训练所采用的数据源自Poly Haven 。
278张cc0的贴图，其生成的贴图基本上不容易出现不平铺或者存在缝隙的现象，而且拥有很少的光影信息，相较于照片而言更近似PBR中的 base color 贴图。不过颜色过于平淡则有可能致使无法运用它在接下来生成具备诸多细节的法线贴图。另外所依据的V2，为了避开版权问题，替换了公共的数据来开展训练，整体效果实际上比不上V1.5，所以Dream生成的整体图片质量也稍微差一些。
该模型是专门为生成无缝贴图而训练的，它是v1.4的分支，其部分输出结果与v1.4生成无缝贴图的结果极为相近，然而在相同关键词和随机数的情况下，它生成的图片对比度和清晰度更高，不容易出现奇怪的拼接现象，作为贴图质量更佳 。
以部分关键词为例，不同模型生成的效果如图 2所示。
从左至右的图2，依次呈现的是 - v1.5、以及另外一个的生成得到的结果，自上往下的关键词分别是：干裂状态的泥地，树皮，纺织而成的物品。
从整体上来进行观察，针对于一般材质的生成而言，其效果呈现为，大于，负一点五，大于 。
具有根据关键词在短时间当中生成诸多不一样效果的优势存在的AI生成贴图，针对木材、地表以及石头、纺织物这般常见的材质而言，能够借由几个关键字迅速生成大致效果，并且达成无缝、平铺以及光照均匀等条件；除了常见的自然材质以外，借助关键词引导AI绘制出有着堆砌细节与复杂结构的具有AI特色的人造材质也能够做到，就如同图3所展示的那样。针对存在参考图的情况，然而参考图自身并非无缝的，或者有着轻微水印，这种情形下，同样能够借助AI图生图的方式，迅速地将其处理成可以使用的无缝贴图，并且生成诸多变体，以供美术人员使用，就如同图4所展示的那样。
图3 以SD为例生成的大量贴图结果
图4，在存在参考图的情形下，借助v1.5去生成数量众多的变体无缝贴图，图呈现的是有青苔的悬崖岩壁参考，处于上方部分，以及AI生成的无缝贴图，处于下方部分。
AI生成贴图存在局限性，其生成不稳定，并非每张生成的图都能用，生成结果在细节处可能不符现实逻辑，或者有概率生成有奇怪拼贴的素材，因而不适合用作颜色贴图，另外，AI能生成的结果和其所用训练数据密切相关，对复合性材质或具设计感的图像，仅用关键字时AI不一定能生成 。举例来说，那种纳米合金与塑料相嵌合的太空舱门板，上面布满了划痕以及喷绘，又或者是一部分生着铜锈、一部分涂满了红漆的铜板，其上面装饰有中式圆形门钉这样子的情况，所获得的结果有可能不符合设计师内心里理想的需求。就如同图5-1所展示的那样。当然了，这或许和所使用的关键词存在关联，一般来讲使用以图片当作参考来进行生成会更佳，甚至能够注入自己训练的具备特殊风格与倾向的lora来作为辅助，在此处可能需要更多的尝试。另外，对于一些要求规整的效果，像是地砖、蜂巢等效果，AI所生成的贴图，可能会出现不符合预期的形状畸变，如图5-2所示 。
图5-1 AI生成结果不佳的示意
有这样一个结果，它是以六边形砖块地板作为主要的关键词而得到的，呈现于图5 - 2，这个结果是由AI生成的，然而，这样得到的结果容易出现一种状况，那就是部分地砖会发生变形的情况。
二. 根据单张贴图生成PBR贴图
现在，我们已然借助AI为我们产出了适宜的颜色贴图，鉴于AI生成图当下存在的限制，暂且不太便利生成同样材质处于多灯光状况下的可信结果，这是因为要依据单张颜色图来生成PBR贴图。依据单张贴图生成PBR贴图，需要工具拥有这样的功能：消除输入图片的光照，把消除光照后的图片作为依据，据此生成其他PBR贴图，还要对生成的贴图展开无缝处理。本文会介绍两个能够满足上述需求的工具，以及Adobe 。
这是一个独立工具，专门用于从图像里创建能够应用于游戏的材质。它能够输入单张图像来开展生成操作，还能够对已存在的纹理实行二次修改处理。进而从中生成1和2里大部分的环境贴图。
图6 界面
把AI生出的图像导入到这款软件里头，就会出现一种默认生成的效果，不过这种效果不见得符合美术所需，所以给出了大量丰富的参数，借助这些参数能动用人力对这个效果予以调整和修改。故而这是一个可进行特别自由调控的软件，正因这样促使该软件入门得花一定学习成本，调节也得依靠一定人力 。
Adobe
有同样能把单张真实世界的图片转换成3D材质的功能，不过更具自动化，借助AI生成的默认情况常常就有着不错的效果。有一定参数可用于二次修正生成PBR贴图，然而与其他相比颇为有限。
图7 Adobe 界面
的默认营造的效果会显得更为出色，那么基本上全都得依靠手动去进行调适。其营造的效果相较而言呈现出更强的态势，而且能够借助调节的方式来生成金属度贴图；在其自动生成的范畴当中是不存在金属度贴图这一项目的。两款软件于处理无缝贴图方面所采用的手法并非完全一致，诸如此类。概括来讲，从最终推导得出的结果去审视，二者之间并不存在显著的好坏之分，就如同图8所映现的那样，只是生产效率会显得更高一些。
图8 和生成PBR贴图对比
借助这一工具，以及上一步由AI生成的无缝贴图，能够生成PBR材质贴图。本文于UE4引擎里展示了它们生成材质后的渲染结果。
视频1 和生成PBR材质渲染对比
自动使其材质生成过程、表现质量稳定的关键，是当中背后所存在具备先进性的机器学习技术。简单知晓其算法，能够让我们更加清晰怎样去利用好这一工具 。
该AI模型旨在从单张照片还原室外PBR材质，其目的是这样，与其他算法不同，它输入的训练数据是闪光灯下捕获的图片，该模型所使用输入图片的渲染灯光环境是HDR贴图营造的环境光照，这是为了模拟室外不同时刻由天空和太阳构成的自然光，所以自然光下生成结果更好，在使用时输入自然光照下的图片生成效果更佳，对于AI生成的图片可增加“室外自然光”的关键词 。那些全然不存在光影的图片，在这一步没办法预估得出法线，还有其他的PBR贴图。
不是所有的PBR贴图，都是依靠神经网络预测生成的。往其中输入一张图片，也就是真实照片，这个神经网络模型，实际上预测得出的，是一张没有光影信息的图，以及一张法线图。其他PBR贴图通过这两张贴图算出，其中，高度图乃是由法线图算出。AO是经HBAO（基于图像空间）算法算出的。粗糙度贴图依据法线图近似模拟，此处运用的是TA常采用的一个trick，也就是断定在局部结构方面，突出的部分具备更小的粗糙度，而AO的部分，也就是凹陷的部分粗糙度相对较大。这一办法能够得到粗糙度所对应的灰度图，然而却没办法知晓粗糙度的具体范围，所以算法会让这一粗糙度贴图朝着中性灰的附近靠拢，并且给用户开放一个能够调节粗糙度范围的参数。所以，该自动生成的粗糙度贴图，通常需要用户针对整体粗糙度展开二次调整。
图 8 算法预测的贴图和 truth对比
这一算法于最初设计之际，就未曾将金属度贴图的生成纳入考量范畴。所以，其不会自行生成金属度贴图。虽说软件里存在增加金属度的功能，但是该功能主要以预设作为主导，并非依据输入图像来生成，未必能够获取期望的结果。那么，要是想要生成某些金属材质的贴图，金属度贴图要麼选取纯色，要麼能够一键发送至同样属于Adobe全家桶的，接着借助些许Trick进行手工处理后获取。
该算法具备的去除阴影的能力存在着限度。虽说能够借由对参数加以调节来把控去除阴影的程度，然而所获取的结果常常并不能令人满意。故而要尽可能避免输入带有很强阴影的图，因为生成的图极有可能不符合标准。
图9具备的去除图片光影信息的那种能力是存在限度的情形。左边的图属于输入的图像，右边的图是生成出来的图，图里的蓝色阴影是不应当呈现出现象的。
更多的生成PBR渲染结果如下。
视频2 更多生成PBR材质的渲染结果，颜色贴图由 生成。
三、合二为一的工具流
先前所讲述的内容之中，已然对这一流程可能具备的性质进行了描绘，要是能够把这两个步骤予以归并处理进而化为一个工具，那么照理说必然会大幅度地提升生产方面所拥有的效率。
3.1 Poly
成千上万的免费高清PBR ，多边形：人工智能 ()。
图 10 Poly网站页面
这存在着一个能够以一步达成AI材质生成之为的网站，与此同时，在网站之上有着诸多由AI已然生成好的材质是能够免费予以下载的。当下，该网站的基础功能是免费的，而进阶功能则是需要开通会员的。
从AI生成材质的质量来论，对于普通材质有着比较好的生成效果，从AI生成材质的多样性来讲，其覆盖的范围比较广。因为整个功能并非开源，创作者也未提及诸多关于这个产品制作的思路，所以只能大概知晓其使用的也是扩散模型，除此之外的信息便很少了。就个人使用感而言要有比稳定一点的情况 。
图11，在Poly网站之上，生成树皮的颜色贴图，生成土壤的颜色贴图，生成纺织物的颜色贴图，生成山岩的颜色贴图 。
针对规则的物体，虽说其网站上存在比较不错的生成效果示例，可是当自己去进行生成操作的时候，依然会以一定概率得到不规则的图案。
以六边形砖块地板作为主要强调的关键用语所获取到的结果，如图示的12。即便结果相比于某些AI模型而言更为具备稳定性，然而同样还是会时不时有部分形状出现变形或者变得模糊不清的状况发生。
生成PBR贴图时比较稳定，不会出现所生成的PBR贴图与材质全然不匹配的状况。，然而网站上没办法针对生成的PBR贴图开展二次调整，像修改法线强度或者粗糙度这类操作，得下载下来后再借助工具去修改；同样没办法生成带有灰度的金属度贴图，金属度贴图只能是纯黑或者纯白这两种颜色。把Poly网站上生成的颜色贴图导入所生成的PBR贴图中，同Poly上生成的PBR贴图相比，材质渲染结果在视觉效果方面没有太显著的差别。Poly默认生成出来的法线，而由此生成的粗糙度，有可能会显得更加平坦，并且AO灰部也会更多一些，不过最终在整体的表现方面，两者之间的差别并不是很大。
图 13 Poly和生成PBR贴图的区别
大体上来讲，这是个相当不错的产品，网站的样式极大地削减了用户的运用难度，除此之外，一键式生成的样式还节省了一部分人力，网站之上提供了许多已然生成的PBR材质，能够当作关键词参照或者直接进行下载，关于AI材质的生成，该网站的生成成果算得上较为稳定，质量处于中上水准，除了生成AI材质之外，网站自身带有一些AI提升分辨率、创建无缝贴图等功能 。不足之处在于，因AI并非开源状态，从而没办法在其之上运用自身所训练的数据来辅助生成特定的图像，此外，当下网站上能够进行调整的部分相对较少。
3.2 DT2DB
DT2DB是一个基于开发之举的免费插件，其所具主要作用在于充当一座桥梁，这座桥梁联通了同样身为插件的事物，它还是一个于其中运用AI模型以进行绘画的插件，它能够选取多种AI模型来实施绘制，诸如通常所用的，上文提及的专门为生成贴图而设的Dream ，以及大量由社区予以提供的AI模型。它呢，是一个插件，这个插件是基于机器学习，能从照片里重建法线，其训练数据包括真实世界照片还有程序材质渲染，少数情形下，对手绘贴图也能有较好的法线生成表现，它所使用的网络架构和上文说的一样，是U-Net。DT2DB能够联动这两个插件的功能，进而实现在其中一键生成PBR材质，并且在其中可以预览渲染结果的功能。
图 14 DT2DB 工作界面
DT2DB 的优点在于，设计尤为人性化，一键生成的操作，本身便节省了诸多时间，在关键词层面，还设计了联想词功能，利于用户更精准地处去描述想要达成的效果。其设计了 Tag，能够把一些常用的美化关键词放置于该队列中，当输入关键词时，便可自动附带这个 Tag 里的全部关键词，无需进行二次编辑。并且联动意味着能够选择不同的 AI 模型加入到这个流程当中以尝试结果，自由程度较高。
缺点在于，这个PBR贴图生成，实际仅仅有法线，对于base color而言，不存在没有的功能，粗糙度以及金属度，是借助color ramp来达成的，这种方式而言那可是蛮粗暴的。而且呢，当然也能够在界面里，通过节点编辑，拿参考里那现有的实现方式，凭借着对法线去实施二次运算，进而得到粗糙度跟AO此类元素。然而就目前来看，这个工具的完成水准，仍旧有着改进提升的必要。
总结
当下，AI生成PBR贴图已然能够见到较为良好的效果，能够初步投入至设计乃至生产里，然而依旧存在诸多具备提升空间的方面。比如说，设计操作要更为人性化，编辑功能要更为灵活的生成工具，致使其在能够一键生成PBR贴图之际，还能够提供细节的修改：举例来讲，已经生成了符合我需求的地表材质之后，是否可以在这个基础之上再增添落叶等元素，并且不改变已有的结果。对于针对材质贴图开展训练的AI而言，其应当扩充用于学习的数据库，如此一来亦能够覆盖更多的材质需求，类似材质里通常会用到的做旧、磨损、抛光等概念，同样也应该被加入到这种专门的AI训练集中，以此方便美术操作 。对于PBR贴图生长，当下AI模型多数皆仅对非金属表现出色，对材质金属度还原则颇为空白，另外对于一些特殊材质，像次表面散射、各向异性、自发光等材质，怎样借由单张图像或者少量AI生成图预估其散射相关参数、各向异性参数或者生成自发光贴图，也全都是后续能够期望的方向。
你提供的内容似乎不完整且存在格式问题，不太明确准确需求，难以进行有效改写 。请补充完整清晰的句子以便我能更好地操作。
欢迎 你 发表评论: