Stable Diffusion Model是什么AI模型怎么本地部署使用
Stable Diffusion Model基础信息
Stable Diffusion Model是2022年由 Stability AI 主导开发的文本到图像生成AI模型，它基于扩散模型原理，简单说就是让计算机从一堆随机噪声开始，像侦探破案一样慢慢排除干扰，最终还原出符合文字描述的图像，我第一次听说它是在去年的AI绘画论坛上，当时有人用它生成了一张“穿着汉服的猫坐在月亮上”，那飘逸的衣袂和猫咪爪子上的绒毛细节，让我以为是插画师画了一整天的作品。
它和其他AI模型最大的不同是开源,代码和基础模型都能在GitHub上找到，这意味着不管是程序员还是普通爱好者，都能拿到“工具箱”自己折腾，发布一年多来，全球开发者给它开发了上百种插件，从调整画风到修复手部瑕疵，功能像滚雪球一样越变越多。
Stable Diffusion Model核心功能特性
它最核心的本事是“文生图”，你输入“夕阳下的海边城堡，浪花拍打着礁石，海鸥在橙红色天空飞翔”，它就能把这段文字变成一幅画，我试过用“赛博朋克风格的猫咪黑客，戴着VR眼镜，键盘上全是二进制代码”，生成的图里猫咪眼睛闪着蓝光，VR镜片反射着代码雨，连胡须上的金属挂坠都刻着0和1。
还有“图生图”功能，上传一张自己拍的风景照，输入“把草地变成粉色花海，天空加彩虹”，它会在原图基础上修改，保留构图但换掉元素，上个月我把老家院子的照片改成了“宫崎骏动画风格”，奶奶看到后说“这画里的老槐树跟咱家的一模一样，就是花咋开得跟棉花糖似的”。
最让我觉得厉害的是“模型微调”，你可以用自己的照片训练专属模型，之后输入“穿婚纱的我”，生成的图像就会带着你的五官特征，朋友用她宠物狗的10张照片训练后，生成了“狗狗穿西装打领带”的图，发到朋友圈被问是不是请了宠物摄影师。
Stable Diffusion Model硬件配置要求
想在本地跑Stable Diffusion Model，电脑配置得跟上，显卡是关键，最少得有4GB显存，不过我用4GB显存的MX550试过，生成一张512x512的图要等3分钟，中间还可能卡住，后来换了RTX 3060（12GB显存），同样参数10秒就出图，显存就像厨房的操作台，地方大了干活才利索。
内存建议16GB以上,我8GB内存时经常出现“内存不足”弹窗，加了根内存条后，同时开两个模型切换都不卡，存储方面，基础模型文件就有4GB多，加上各种插件和生成的图片，至少留20GB空间，我专门分了个100GB的硬盘分区给它，现在塞满了各种风格的“废稿”和“得意作”。
系统方面,Windows和Linux都能用，Mac稍微麻烦点但也能跑，我用的Windows 10，安装时没遇到兼容性问题，就是第一次启动要装各种依赖包，像给电脑配不齐零件的玩具，得一个个找齐才行。
Stable Diffusion Model适用创作场景
设计师做初稿特别合适,以前画产品概念图要改十几次草稿，现在输入“未来感蓝牙耳机，半透明外壳，蓝色呼吸灯”，生成10张图给客户挑，客户选好再用PS细化，省了半天时间，我认识的一个UI设计师，现在提案必带Stable Diffusion生成的参考图，客户说“看到图比听描述清楚多了”。
自媒体博主也离不开它,做美食账号的朋友每周让我帮生成封面，她想要“复古风蛋糕配木质餐桌”，我选了“vintage”风格模型，生成的图里奶油流心在暖光下泛着光泽，文字标题往旁边一放，阅读量比平时高两成，还有读书博主用它生成“书里走出来的角色”封面，小王子》的封面，她要“狐狸坐在星球上看书，背景是旋转的星系”，效果比用素材拼接的自然多了。
学生做作业插图也好用,我表妹画生物课的“细胞结构图”，手绘画不好细胞器形状，用Stable Diffusion输入“彩色手绘风格动物细胞，标注细胞核、线粒体、核糖体”，生成的图被老师当作范例贴在教室后面，她现在逢人就说“AI是我的美术课救星”。
Stable Diffusion Model使用常见问题
生成图片模糊是最常见的问题,刚开始我总遇到，后来发现是“采样步数”设太低，默认20步像没画完的草稿，调到50步后，花瓣上的露珠都能看到反光，还有分辨率，512x512是基础，想高清就用“高清修复”功能，把图放大到1024x1024，细节会更清楚，就像把照片从手机屏放到电脑屏看，大了才够味。
模型加载失败也头疼,有次下载了个“二次元动漫”模型，放进文件夹后启动提示“无法找到模型”，后来发现是文件名太长带了特殊符号，改短名字后一下就加载成功了，还有模型损坏的情况，下载时网络中断会导致文件不全，建议用迅雷之类的工具下载，带校验功能的那种。
运行时闪退十有八九是显存不够,尤其同时开着浏览器和PS的时候，显存被占光了Stable Diffusion就会“罢工”，我现在养成习惯，生成图前把其他软件都关掉，就留它自己“独享”显卡，闪退问题再没出现过。
Stable Diffusion Model和同类AI绘画工具对比
跟Midjourney比,Midjourney得用Discord机器人，全程在云端跑，生成速度快，5分钟能出4张图，但得付费订阅，基础版每月10美元，而且想微调细节很难，把裙子颜色从红改蓝”得重新生成，Stable Diffusion是本地部署，免费开源，想改颜色用ControlNet插件直接在图上刷，就像用美图秀秀涂鸦笔改色一样方便。
和DALL-E比，DALL-E得有OpenAI账号，风格偏写实，生成人物肖像很自然，但自定义模型麻烦，想生成“自己风格的插画”基本不可能，Stable Diffusion支持各种第三方模型，从“二次元”到“油画风”，从“像素画”到“3D渲染”，网上有上万个免费模型可以下载，就像去超市挑零食，总有一款合口味。
NovelAI专攻二次元,生成动漫人物确实好看，但功能单一，只能文生图和图生图，Stable Diffusion插件多到数不清，ControlNet能控制人物姿势，Lora能微调细节，还有“修复手部”插件解决AI画手经常畸形的问题，就像给手机装APP，想用什么功能就加什么插件。
Stable Diffusion Model本地部署详细步骤
第一步是准备工具,先下载Python（3.10.6版本最稳定，别下太高版本），安装时记得勾选“Add Python to PATH”，再下载Git，安装时默认选项就行，这两个就像做菜前的锅和铲，缺一不可。
第二步克隆WebUI仓库,打开命令提示符，输入“git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git”，按回车后会自动下载代码，等进度条跑完，文件夹里会多出一个“stable-diffusion-webui”文件夹，这就是运行程序的“大本营”。
第三步下载模型,去Civitai或Hugging Face网站找基础模型，v1-5-pruned-emaonly.safetensors”，下载后放进“stable-diffusion-webui/models/Stable-diffusion”文件夹，模型就像颜料，没有颜料再好的画笔也画不出东西。
第四步启动程序,双击“stable-diffusion-webui”文件夹里的“webui-user.bat”，会弹出黑色命令窗口，第一次启动会下载各种依赖包，等出现“Running on local URL: http://127.0.0.1:7860”，复制这个地址到浏览器打开，就能看到Stable Diffusion的操作界面了，我第一次启动等了10分钟，看着命令窗口里的文字滚来滚去，像在看机器给自己搭积木。
第五步调整参数,在界面上方输入文字描述，选模型，设置分辨率和采样步数，点“Generate”按钮就开始生成了，我第一次生成的是“一只戴着帽子的猫”，虽然帽子歪到了耳朵上，但看到文字变成图像的那一刻，感觉像自己学会了魔法。
常见问题解答
Stable Diffusion Model需要付费吗
Stable Diffusion Model本身是开源免费的，基础模型和官方代码都能在网上免费下载，不过有些第三方优化的高级模型或插件可能需要付费购买，比如专门画写实人像的精细模型，或者带独家功能的插件，但日常用基础功能完全不用花钱，我用了半年一分钱没花，生成了几百张图，就是电费和电脑损耗算下来也比订阅其他AI工具便宜多啦。
Stable Diffusion Model手机能运行吗
手机能跑但体验一般，安卓手机可以用Termux或专门的APP（Stable Diffusion Mobile”），但需要很高的配置，至少8GB内存和旗舰级芯片，生成一张图要等十几分钟，还可能发烫严重，苹果手机更麻烦，得用特殊方法部署，而且iOS系统限制多，生成速度慢，我试过用骁龙888的手机跑，生成一张512x512的图等了15分钟，还没电脑快，手机更适合用来预览生成好的图，真正创作还是得靠电脑。
Stable Diffusion Model怎么生成高清图
Stable Diffusion Model怎么生成高清图
生成高清图有两个办法，一是用“高清修复”功能，先生成512x512的低清图，然后在“Extras”标签页上传这张图，设置放大倍数（比如2倍），选“R-ESRGAN 4x+”放大算法，点“Generate”就能得到高清图，二是直接设置高分辨率，比如1024x1024，但需要显卡显存够大（至少8GB），还要把“采样步数”调到50以上，“CFG Scale”设8-12，这样细节才不会糊，我现在生成壁纸都用1920x1080分辨率，放大后连窗帘的褶皱纹理都看得清清楚楚。
Stable Diffusion Model和Photoshop有啥区别
Stable Diffusion Model是“从无到有”生成图像，输入文字就能出图，适合创作初稿、插画、概念图，Photoshop是“从有到优”编辑图像，比如修图、调色、合成，适合对已有图像精细化处理，打个比方，Stable Diffusion像厨师根据菜单做菜，Photoshop像摆盘师傅把做好的菜装饰得更好看，我平时先用Stable Diffusion生成草图，再用Photoshop调整颜色和细节，两个工具配合着用，效率比只用PS画快十倍。
Stable Diffusion Model能生成3D模型吗
直接生成3D模型不行，但能生成3D模型的参考图或纹理图，它主要是2D图像生成工具，不过可以配合其他软件用，比如生成“3D角色正面、侧面、背面视图”，然后导入Blender等3D软件做参考建模；或者生成“木纹纹理”“金属质感”图片，作为3D模型的材质贴图，我帮学3D建模的同学生成过“赛博朋克枪械”的参考图，他说有了多角度的图，建模时不用凭空想象，省了不少时间，就是生成的图是2D的，不能直接变成可旋转的3D模型。
Stable Diffusion Model是什么AI模型怎么本地部署使用
Stable Diffusion Model基础信息
Stable Diffusion Model是2022年由Stability AI主导开发的文本到图像生成AI模型，它基于扩散模型原理，通过逐步去噪过程将随机噪声转化为符合文字描述的图像，我第一次接触它是在去年的AI绘画论坛上，当时有人用它生成了一张“穿着汉服的猫坐在月亮上”，那飘逸的衣袂和猫咪爪子上的绒毛细节，让我以为是插画师画了一整天的作品。
作为开源项目,它的代码和基础模型文件都能在GitHub等平台免费获取，全球开发者可以基于此进行二次开发，发布至今，已经衍生出上百种风格各异的微调模型，从写实到二次元，从油画到像素画，覆盖了几乎所有常见的图像创作需求。
Stable Diffusion Model核心功能特性
核心功能之一是“文生图”，输入文字描述就能生成对应图像，我试过输入“赛博朋克风格的猫咪黑客，戴着VR眼镜，键盘上全是二进制代码”，生成的图里猫咪眼睛闪着蓝光，VR镜片反射着代码雨，连胡须上的金属挂坠都刻着0和1。
“图生图”功能也很实用，上传一张照片，它能在保留原图构图的基础上，根据新的文字描述修改内容，上个月我把老家院子的照片改成“宫崎骏动画风格”，奶奶看到后说“这画里的老槐树跟咱家的一模一样，就是花咋开得跟棉花糖似的”。
最让我惊喜的是“模型微调”，用自己的照片或作品训练后，生成的图像会带上专属特征，朋友用她宠物狗的10张照片训练模型，之后输入“狗狗穿西装打领带”，生成的图发到朋友圈被问是不是请了宠物摄影师。
Stable Diffusion Model硬件配置要求
本地部署时显卡是关键,最少需要4GB显存，但4GB显存生成一张512x512的图要等3分钟，中间还可能卡住，我用4GB显存的MX550试过三次，两次都在生成到70%时闪退，第三次勉强成功，图里的人脸模糊得像打了马赛克。
换成RTX 3060（12GB显存）后，同样参数10秒就出图，细节也清晰很多，显存就像厨房的操作台，地方大了干活才利索，内存建议16GB以上，8GB内存时经常出现“内存不足”弹窗，加了根内存条后，同时开两个模型切换都不卡。
存储方面,基础模型文件4GB多，加上插件和生成的图片，至少留20GB空间，我专门分了个100GB的硬盘分区给它，现在塞满了各种风格的“废稿”和“得意作”，光是“猫咪穿不同朝代服饰”的系列就占了15GB。
Stable Diffusion Model适用创作场景
设计师用它做初稿特别合适,可以快速将想法可视化，以前画产品概念图要改十几次草稿，现在输入“未来感蓝牙耳机，半透明外壳，蓝色呼吸灯”，生成10张图给客户挑，客户选好再用PS细化，省了半天时间。
自媒体博主也离不开它,生成封面图效率很高，上周帮做美食账号的朋友生成封面，她想要“复古风蛋糕配木质餐桌”，输入描述后选了“vintage”风格模型，3张图里她就挑中了那张奶油流心在暖光下泛着光泽的，当天阅读量比平时高了两成。
学生做作业插图也很方便,表妹画生物课“细胞结构图”，手绘画不好细胞器形状，用Stable Diffusion生成“彩色手绘风格
欢迎 你 发表评论: