论文精读 DDPM

发表于 2024-05-20 更新于 2024-06-06 本文字数： 1.1k 阅读时长 ≈ 2 分钟

摘要

2020 年 6 月，Jonathan Ho 等学者对之前的扩散概率模型进行了简化，并通过变分推断，将后验问题转为优化问题进行建模，提出了经典的去噪扩散概率模型（DDPM），将扩散概率模型的思想用于图像生成，目前所说的扩散模型，大多是基于该模型进行改进。

论文：Denoising Diffusion Probabilistic Models

简单来说，DDPM包括两个过程：正向过程和逆向过程。

正向过程用表示，理解为以固定方式添加噪声，破坏原有的数据分布。

逆向过程用表示，理解为从噪声中重建出数据分布的过程。表示涉及模型的参数。

从真实数据分布中采样得到数据点（其实是一张图），在每一个时间步 t 上添加噪声，得到加噪后的样本。t 不断增大，直到最终 T 时刻称为各项独立的高斯分布。加噪方式为：

由于每个时间步相对独立，因此是一个马尔科夫链过程，这是下面推导的重要前提。

下面基于和推导任意时刻的带噪样本 ：

整体上是一个去噪的过程，根据真实分布从采样得到，一步步逐步还原得到。

假设真实分布满足高斯分布，但是无法直接拟合，所以用神经网络估计这一分布：

下面推导后验条件概率：

优化目标是使得神经网络估计的分布和后验条件分布越接近越好，KL 散度计算推导，详见 Rethinking of Diffusion Model。最终的优化目标是使两者的均值最为接近，进一步重参数化变成估计噪声。