sd 的介绍 Stable Diffusion 深度介绍
SD 一般指 Stable Diffusion,是开源的文生图扩散模型,属于人工智能图像生成技术,它可以根据用户输入的文字提示词,生成对应的图片,也支持图生图 局部重绘 控制姿态 高清放大等功能,因为模型开源,用户可以本地部署在自己电脑上,不用全程依赖在线网页平台,这也是 SD 和很多闭源 AI 绘图工具最大的区别,很多新手刚接触 SD,只知道它可以 AI 画图,不清楚它底层是潜空间扩散原理,训练的时候模型学习大量图文配对数据,通过逐步加噪再反向去噪的方式生成图像,SD 对硬件有一定要求,核心依赖显卡显存,显存大小直接决定可以生成的图片分辨率,同时 SD 生态非常丰富,有大量第三方插件 模型大模型 LoRA 控制网,能够适配插画 设计 产品效果图 二次元 写实摄影等多种创作场景,不同领域的创作者都可以通过自定义模型,做出风格统一的作品。
核心基础原理
SD 全称 Stable Diffusion,采用潜扩散架构,不是直接在原始像素上做加噪去噪,而是先把图片压缩到潜空间,这样可以大幅降低计算量,相比早期扩散模型,普通消费级显卡也能跑起来
1 正向加噪阶段,训练时给干净图片不断增加高斯噪声,直到图片变成纯噪声
2 反向去噪阶段,模型学习从噪声里面一步步还原图像,生成图片的时候,就是从随机噪声开始,按照文字提示词引导,逐步去除噪声,最终得到成品图
3 文本编码器负责理解提示词里面的文字语义,把文字转换成模型可以识别的向量,再引导去噪过程
主要功能模块
| 功能名称 | 功能说明 |
|---|---|
| 文生图 | 输入文字提示词,从零生成全新图片 |
| 图生图 | 上传参考图,根据提示词修改原图风格内容 |
| 局部重绘 | 只修改图片指定区域,其余部分保持不变 |
| ControlNet | 控制人物姿势 线稿 深度 边缘,精准控制构图 |
| LoRA | 小型微调模型,训练特定人物 画风 物体,体积小加载快 |
| 高清修复 | 生成低分辨率草图之后,二次放大细化,提升细节 |
部署与硬件要求
本地运行 SD 主流使用 WebUI 界面,比如 A1111 WebUI 还有 ComfyUI 节点式界面
1 最低要求,显卡显存 4G,可以开启低显存优化,适合简单出图,大分辨率容易爆显存
2 推荐配置,显存 8G 及以上,可以流畅跑 512 768 分辨率,加载 ControlNet 和 LoRA
3 高性能配置,显存 12G 以上,支持更大分辨率,批量出图,训练 LoRA
4 除了显卡,还需要安装 Python 环境 CUDA 驱动,新手也可以使用一键整合包,省去复杂环境安装步骤
生态与模型分类
SD 生态里面模型种类很多,新手很容易混淆
1 底模也就是大模型,是基础生成模型,决定整体大风格,比如写实类 二次元类底模
2 VAE,负责潜空间和像素空间转换,影响图片色彩明暗
3 LoRA,轻量微调模型,专门训练固定元素
4 Embedding 也就是文本反转,用来强化负面提示词或者特定风格
5 插件,拓展 WebUI 功能,比如批量处理 抠图 动画生成
优缺点补充
SD 优势是开源免费 可本地部署 高度自定义,不会强制上传作品到云端,适合专业创作者深度定制
SD 短板是学习门槛偏高,提示词 采样器 参数 模型选择都需要学习,出图容易出现手部畸形 物体错乱,需要反复调参,同时训练数据集版权问题一直存在争议
【常见问题】
问题 1 SD 本地部署是不是必须独立显卡
回答 1 SD 本地部署优先推荐独立显卡,CPU 也可以跑 SD 但是速度非常慢,不适合日常创作,CUDA 加速是 SD 本地运行提速的核心
问题 2 SD 里面 LoRA 和底模有什么区别
回答 1 SD 底模是基础大模型,决定整体生成风格,SD 里面 LoRA 是小型微调模型,叠加在底模之上,专门增加特定人物或者画风元素
问题 3 SD 的 ControlNet 主要作用是什么
回答 1 SD 的 ControlNet 用来精准约束构图,可以锁定线稿 人物姿态 深度信息,解决 SD 自由生成构图不受控的问题
问题 4 SD 和在线 AI 绘图相比最大特点是什么
回答 1 SD 属于开源模型,支持本地部署,用户可以自由修改模型和插件,在线 AI 绘图大多是闭源,SD 自定义程度远高于普通在线绘图平台
【免责申明】
本内容为 SD 也就是 Stable Diffusion 技术科普参考,模型版本和界面会持续更新,相关版权使用请遵守相关法律法规,使用 SD 生成内容不得用于违法违规用途,本内容不作为官方技术文档。
相关阅读
-
上海电子信息职业技术学院是公办全日制普通高等职业院校(大专),也就是你问的 “工办” 正确说法是公办,...浏览全文>>
-
笔记本 HDMI 接口核心作用就是一根线同时传输高清视频和数字音频信号,可以把笔记本画面输出到显示器 电视...浏览全文>>
-
广西理工职业技术学院主校区位于广西壮族自治区崇左市江州区壶兴路 339 号,学校还有相关办学点位,报考和到...浏览全文>>
-
彼得潘的作者是苏格兰作家詹姆斯马修巴里,英文原名 James Matthew Barrie,大家一般简称他为 J M 巴...浏览全文>>
-
汽车变速箱同步器的核心工作原理,就是在手动变速箱换挡的时候,利用摩擦作用,让即将啮合的齿轮和结合套两侧...浏览全文>>
-
比喻是语文阅读和写作当中最基础也是高频考查的修辞手法,它的核心作用和好处,就是把抽象陌生的事物,借助大...浏览全文>>
-
刺激战场职业选手训练方法 竞技综合能力打磨方案 刺激战场时期职业选手整套训练,不是单纯长时间打排位,而是...浏览全文>>
-
比亚迪秦 100 属于第一代秦插混的长续航版本,正式上市之后主要分为两个配置型号,也就是标准版和高配版,秦...浏览全文>>
-
职业素质就是一个人在岗位上稳定表现出来的综合素养,不单单指专业技术,还包含思想观念、行为习惯、心理状态...浏览全文>>
-
比熊幼犬毛不卷大多是还处在胎毛阶段,比熊出生后的胎毛质地偏软偏直,和成年之后那种浓密卷曲的双层被毛不一...浏览全文>>
- 汽车变速箱同步器工作原理 换挡啮合机制详解
- 比熊幼犬毛怎么不卷 胎毛更换期解析
- 整天想着做生意 心态深度解析
- 比较仙气冷艳的名 古风雅致取名参考
- 广东轻工职业技术学院怎么样 头部公办职教院校介绍
- 藏在农村不起眼的暴利小生意 项目深度解析
- 崩坏学园 2 幻海 k1 怎么过 通关配装与打法指南
- 哪些生意适合五行属木的人 木属性行业参考
- 山西经贸职业学院怎么样 公办高职综合评价
- 本草纲目是谁的作品 明代医药巨著作者详解
- 奔腾 g4560 相当于 i5 几代 性能对标
- 奔驰 amggtc 是敞篷的吗 版本区分详解
- 被誉为世界水利文化的鼻祖的工程 都江堰
- 猎魂觉醒职业都有哪些
- 职业技能培训有哪些 分类与项目汇总
- 北影是几本 北京电影学院录取批次说明
- 简单的贸易公司名字 起名参考清单
- 个人工作总结怎么写 述职材料撰写实操指南
- 什么是单职业传奇 游戏玩法详细解读
- 纽扣磁铁工作原理 磁吸附结构详解
