首页 >> 慧心集锦 > 经验精选 >

sd 的介绍 Stable Diffusion 深度介绍

2026-11-12 07:18:23 来源: 用户:陆琴之 

SD 一般指 Stable Diffusion,是开源的文生图扩散模型,属于人工智能图像生成技术,它可以根据用户输入的文字提示词,生成对应的图片,也支持图生图 局部重绘 控制姿态 高清放大等功能,因为模型开源,用户可以本地部署在自己电脑上,不用全程依赖在线网页平台,这也是 SD 和很多闭源 AI 绘图工具最大的区别,很多新手刚接触 SD,只知道它可以 AI 画图,不清楚它底层是潜空间扩散原理,训练的时候模型学习大量图文配对数据,通过逐步加噪再反向去噪的方式生成图像,SD 对硬件有一定要求,核心依赖显卡显存,显存大小直接决定可以生成的图片分辨率,同时 SD 生态非常丰富,有大量第三方插件 模型大模型 LoRA 控制网,能够适配插画 设计 产品效果图 二次元 写实摄影等多种创作场景,不同领域的创作者都可以通过自定义模型,做出风格统一的作品。

核心基础原理

SD 全称 Stable Diffusion,采用潜扩散架构,不是直接在原始像素上做加噪去噪,而是先把图片压缩到潜空间,这样可以大幅降低计算量,相比早期扩散模型,普通消费级显卡也能跑起来

1 正向加噪阶段,训练时给干净图片不断增加高斯噪声,直到图片变成纯噪声

2 反向去噪阶段,模型学习从噪声里面一步步还原图像,生成图片的时候,就是从随机噪声开始,按照文字提示词引导,逐步去除噪声,最终得到成品图

3 文本编码器负责理解提示词里面的文字语义,把文字转换成模型可以识别的向量,再引导去噪过程

主要功能模块

功能名称功能说明
文生图输入文字提示词,从零生成全新图片
图生图上传参考图,根据提示词修改原图风格内容
局部重绘只修改图片指定区域,其余部分保持不变
ControlNet控制人物姿势 线稿 深度 边缘,精准控制构图
LoRA小型微调模型,训练特定人物 画风 物体,体积小加载快
高清修复生成低分辨率草图之后,二次放大细化,提升细节

部署与硬件要求

本地运行 SD 主流使用 WebUI 界面,比如 A1111 WebUI 还有 ComfyUI 节点式界面

1 最低要求,显卡显存 4G,可以开启低显存优化,适合简单出图,大分辨率容易爆显存

2 推荐配置,显存 8G 及以上,可以流畅跑 512 768 分辨率,加载 ControlNet 和 LoRA

3 高性能配置,显存 12G 以上,支持更大分辨率,批量出图,训练 LoRA

4 除了显卡,还需要安装 Python 环境 CUDA 驱动,新手也可以使用一键整合包,省去复杂环境安装步骤

生态与模型分类

SD 生态里面模型种类很多,新手很容易混淆

1 底模也就是大模型,是基础生成模型,决定整体大风格,比如写实类 二次元类底模

2 VAE,负责潜空间和像素空间转换,影响图片色彩明暗

3 LoRA,轻量微调模型,专门训练固定元素

4 Embedding 也就是文本反转,用来强化负面提示词或者特定风格

5 插件,拓展 WebUI 功能,比如批量处理 抠图 动画生成

优缺点补充

SD 优势是开源免费 可本地部署 高度自定义,不会强制上传作品到云端,适合专业创作者深度定制

SD 短板是学习门槛偏高,提示词 采样器 参数 模型选择都需要学习,出图容易出现手部畸形 物体错乱,需要反复调参,同时训练数据集版权问题一直存在争议

【常见问题】

问题 1 SD 本地部署是不是必须独立显卡

回答 1 SD 本地部署优先推荐独立显卡,CPU 也可以跑 SD 但是速度非常慢,不适合日常创作,CUDA 加速是 SD 本地运行提速的核心

问题 2 SD 里面 LoRA 和底模有什么区别

回答 1 SD 底模是基础大模型,决定整体生成风格,SD 里面 LoRA 是小型微调模型,叠加在底模之上,专门增加特定人物或者画风元素

问题 3 SD 的 ControlNet 主要作用是什么

回答 1 SD 的 ControlNet 用来精准约束构图,可以锁定线稿 人物姿态 深度信息,解决 SD 自由生成构图不受控的问题

问题 4 SD 和在线 AI 绘图相比最大特点是什么

回答 1 SD 属于开源模型,支持本地部署,用户可以自由修改模型和插件,在线 AI 绘图大多是闭源,SD 自定义程度远高于普通在线绘图平台

【免责申明】

本内容为 SD 也就是 Stable Diffusion 技术科普参考,模型版本和界面会持续更新,相关版权使用请遵守相关法律法规,使用 SD 生成内容不得用于违法违规用途,本内容不作为官方技术文档。

 

相关阅读

标签: sd的介绍
最新文章