可扩散模型（Diffusion Models）详解：从原理到应用

使用MINIST实现的扩散模型可见diffusion_minist:基于扩散模型的MNIST手写数字生成项目 - AtomGit | GitCode可扩散模型是近年来生成式 AI 领域的热门领域。与 GAN、VAE 等传统生成模型相比它通过 “逐步加噪 - 逐步去噪” 的独特思路实现了对复杂数据分布的精准建模。本文将从直观理解到数学原理逐步解析可扩散模型的工作机制。一、核心思想从 “加噪” 到 “去噪” 的逆转游戏可扩散模型的核心灵感来自物理学中的 “扩散过程”—— 就像一滴墨在水中逐渐扩散直至均匀混合模型通过模拟 “数据→噪声” 的扩散过程再学习逆转这个过程“噪声→数据”最终实现从随机噪声生成逼真数据的目标。简单来说它分为两个互补的过程前向扩散Forward Diffusion人为地、逐步地向清晰数据如一张图片中添加高斯噪声直到数据完全变成随机噪声类似 “墨水滴入水中” 的过程。反向扩散Reverse Diffusion训练一个神经网络学习 “去噪” 能力从纯噪声出发逐步移除噪声最终恢复出清晰的数据类似 “从浑浊水中还原墨水” 的逆过程。二、前向扩散如何让数据 “变成” 噪声前向扩散是一个确定性的过程我们按照预设的 “噪声调度表”分 T 步向数据中添加噪声最终让数据 x₀如原始图片变成近似标准正态分布的噪声 x_T。1. 数学定义设原始数据为 x₀服从真实数据分布 p_data前向扩散的每一步 t从 1 到 T都按如下规则添加噪声其中εₜ₋₁ 是服从标准正态分布的噪声ε ~ (0, I)αₜ 是一个预设的 “保持系数”通常在 0.995~1 之间控制每一步保留的原始信息比例为简化计算定义累积系数 ᾱₜ α₁・α₂・…・αₜᾱ₀1ᾱ_T≈0。2. 直观理解初始时t0x₀是清晰的原始数据如一张猫的图片随着 t 增大xₜ中噪声比例逐渐增加√(1-αₜ) 增大原始信息比例逐渐减少√αₜ减小当 tT 时ᾱ_T≈0x_T ≈ ε几乎是纯噪声肉眼无法分辨原始内容。这种设计的巧妙之处在于任意 xₜ都可以直接由 x₀和噪声表示无需逐步计算前序步骤。通过数学推导可得其中 ε 是某一固定噪声这一性质极大简化了后续的反向扩散过程。三、反向扩散如何从噪声 “还原” 数据反向扩散是需要学习的过程我们需要训练一个模型从纯噪声 x_T 出发逐步预测并移除噪声经过 T 步后还原出清晰数据 x₀。1. 核心挑战反向扩散的每一步 t需要从 xₜ推断出 xₜ₋₁。由于前向过程是确定的理论上 xₜ₋₁的分布 p (xₜ₋₁|xₜ) 可由贝叶斯公式推导但实际计算复杂。因此可扩散模型通过近似建模解决这一问题。2. 模型设计预测噪声而非直接预测数据可扩散模型的关键技巧是不直接预测 xₜ₋₁而是预测前向过程中添加的噪声 ε。具体来说训练一个神经网络 ε_θ(xₜ, t)θ 是模型参数t 是当前步骤的 “时间编码”输入是带噪声的数据 xₜ和步骤 t输出是对前向过程中添加的噪声 ε 的预测。为什么预测噪声因为从 xₜ和预测的噪声 ε_θ可以通过前向公式的逆运算反推出 xₜ₋₁其中 ϵt​ 是随机噪声用于保留生成多样性σₜ是预设的标准差由 αₜ和ᾱₜ计算。3. 网络结构U-Net 是主流选择用于预测噪声的 ε_θ 通常采用U-Net 架构如 Stable Diffusion并结合以下关键设计时间编码Time Embedding将步骤 t 转换为高维向量输入网络以区分不同去噪阶段注意力机制在网络中间层加入自注意力或交叉注意力如 Stable Diffusion 的文本引导生成捕捉长距离依赖残差连接帮助深层网络训练缓解梯度消失问题。四、训练如何让模型学会 “去噪”可扩散模型的训练过程异常简单核心是最小化预测噪声与真实噪声的差异。1. 训练目标损失函数随机采样原始数据 x₀ ~ p_data步骤 t ~ Uniform (1, T)噪声 ε ~ (0, I)。根据前向公式生成 xₜ √ᾱₜ・x₀ √(1-ᾱₜ)・ε然后让模型 ε_θ(xₜ, t) 预测 ε损失函数为L [x₀, t, ε] [ || ε - ε_θ(xₜ, t) ||² ]即预测噪声与真实噪声的均方误差MSE。这种简单的损失函数是可扩散模型训练稳定的重要原因无需像 GAN 那样进行对抗训练。2. 训练过程初始化网络 ε_θ如 U-Net和噪声调度表α₁, α₂, ..., α_T迭代采样 x₀、t、ε生成 xₜ计算模型预测的 ε_θ(xₜ, t) 与真实 ε 的 MSE 损失通过梯度下降更新网络参数 θ重复步骤 2-4 直至收敛。五、采样从噪声生成数据的过程训练完成后即可通过反向扩散过程生成新数据步骤如下从标准正态分布采样初始噪声x_T ~ (0, I)对 t 从 T 到 1 逐步迭代用模型 ε_θ(xₜ, t) 预测噪声根据 xₜ和预测噪声通过逆公式计算 xₜ₋₁当 t0 时x₀即为生成的最终数据。为加速采样原始 T 通常取 1000较慢可采用 DDIMDenoising Diffusion Implicit Models等改进算法将采样步数减少到 20-50 步同时保持生成质量。六、优势与应用优势生成质量高能生成细节丰富、逼真度高的数据如图像、视频训练稳定基于 MSE 损失无需对抗训练不易崩溃易于控制可通过条件输入如文本、边缘图引导生成方向如 Stable Diffusion 的文本到图像。应用场景图像生成文生图DALL・E 2、图生图Stable Diffusion、图像修复 / 超分视频生成如 Sora通过时空扩散模型生成逼真视频3D 建模从文本生成 3D 模型其他领域语音合成、分子结构生成等。七、代码示例import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pyplot as plt import numpy as np # 1. 配置参数 device torch.device(cuda if torch.cuda.is_available() else cpu) image_size 28 # MNIST图像大小 channels 1 # 灰度图像通道数为1 batch_size 128 epochs 10 # 训练轮次 T 1000 # 扩散步数 lr 2e-4 # 2. 定义噪声调度前向扩散的β参数 # β从较小值线性增加到较大值控制每步加噪强度 betas torch.linspace(0.0001, 0.02, T).to(device) alphas 1.0 - betas alphas_cumprod torch.cumprod(alphas, dim0) # 累积乘积α₁α₂...αₜ alphas_cumprod_prev torch.cat([torch.tensor([1.0]).to(device), alphas_cumprod[:-1]]) # 3. 前向扩散过程给图像添加噪声 def forward_diffusion(x0, t, noiseNone): x0: 原始图像 (batch_size, channels, H, W) t: 时间步 (batch_size,) 返回t步加噪后的图像和添加的噪声 if noise is None: noise torch.randn_like(x0) # 生成标准正态噪声 # 从累积乘积中获取当前时间步的α值 sqrt_alphas_cumprod_t torch.sqrt(alphas_cumprod[t])[:, None, None, None] sqrt_one_minus_alphas_cumprod_t torch.sqrt(1.0 - alphas_cumprod[t])[:, None, None, None] # 前向扩散公式xₜ √ᾱₜ x₀ √(1-ᾱₜ) ε xt sqrt_alphas_cumprod_t * x0 sqrt_one_minus_alphas_cumprod_t * noise return xt, noise # 4. 定义噪声预测网络U-Net简化版 class SimpleUNet(nn.Module): def __init__(self, channels1): super().__init__() # 时间步编码将t转换为高维向量 self.time_mlp nn.Sequential( nn.Linear(T, 128), nn.ReLU(), nn.Linear(128, 128) ) # 主干网络简单卷积网络 self.conv1 nn.Conv2d(channels 128, 64, 3, padding1) # 输入图像时间编码 self.conv2 nn.Conv2d(64, 64, 3, padding1) self.conv3 nn.Conv2d(64, channels, 3, padding1) # 输出噪声 self.relu nn.ReLU() def forward(self, x, t): # 时间步编码将t转换为独热向量后输入MLP t_emb nn.functional.one_hot(t, num_classesT).float() # (batch, T) t_emb self.time_mlp(t_emb) # (batch, 128) # 将时间编码与图像拼接在通道维度 t_emb t_emb[:, :, None, None].repeat(1, 1, x.shape[2], x.shape[3]) # (batch, 128, H, W) x torch.cat([x, t_emb], dim1) # (batch, channels128, H, W) # 卷积网络预测噪声 x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.conv3(x) return x # 5. 训练函数 def train(batch_size): # 加载数据 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(0.5, 0.5) # 归一化到[-1, 1] ]) train_dataset datasets.MNIST( rootrC:\COMPUTER\python\计算机视觉\GAN\mnist data, trainTrue, downloadTrue, transformtransform ) train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) # 初始化模型、优化器 model SimpleUNet().to(device) optimizer optim.Adam(model.parameters(), lrlr) criterion nn.MSELoss() # 噪声预测用MSE损失 model.train() for epoch in range(epochs): total_loss 0 for batch in train_loader: x0, _ batch # 只需要图像不需要标签 x0 x0.to(device) batch_size x0.shape[0] # 随机采样时间步 t torch.randint(0, T, (batch_size,), devicedevice).long() # 前向扩散得到带噪声图像和真实噪声 xt, noise forward_diffusion(x0, t) # 模型预测噪声 noise_pred model(xt, t) # 计算损失并优化 loss criterion(noise_pred, noise) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(train_loader) print(fEpoch {epoch 1}/{epochs}, Average Loss: {avg_loss:.4f}) return model # 6. 采样函数反向扩散从噪声生成图像 def sample(model, num_samples10): model.eval() with torch.no_grad(): # 从纯噪声开始 x torch.randn(num_samples, channels, image_size, image_size).to(device) # 逐步去噪 for t in reversed(range(0, T)): t_tensor torch.tensor([t] * num_samples, devicedevice).long() # 预测当前噪声 noise_pred model(x, t_tensor) # 计算去噪所需参数 alpha_t alphas[t] alpha_cumprod_t alphas_cumprod[t] beta_t betas[t] # 反向扩散公式从xₜ计算xₜ₋₁ if t 0: noise torch.randn_like(x) else: noise torch.zeros_like(x) # 最后一步不加噪声 x (1 / torch.sqrt(alpha_t)) * ( x - ((1 - alpha_t) / torch.sqrt(1 - alpha_cumprod_t)) * noise_pred ) torch.sqrt(beta_t) * noise # 转换为可显示的图像格式 x x.cpu().numpy() x (x 1) / 2 # 从[-1,1]转回[0,1] return x # 7. 执行训练并生成样本 if __name__ __main__: model train(batch_size) samples sample(model, num_samples10) # 显示生成的图像 plt.figure(figsize(10, 2)) for i in range(10): plt.subplot(1, 10, i 1) plt.imshow(samples[i].squeeze(), cmapgray) plt.axis(off) plt.show()八、总结可扩散模型通过 “前向加噪 - 反向去噪” 的思路实现了对复杂数据分布的精准建模。其核心是用简单的噪声预测任务替代直接的数据生成通过 U-Net 等网络学习去噪能力最终从随机噪声中 “生长” 出逼真数据。尽管采样速度较慢需多步迭代但其生成质量和训练稳定性使其成为当前生成式 AI 的主流技术。随着加速算法的发展如 DDIM、Flash Diffusion可扩散模型的应用场景还在不断扩展未来有望在更多领域展现潜力。