摘要
IDDPM对原始DDPM做出了改进，提高了性能。引入了：
- 参数化方差项，可学习
- 噪声策略的改进
- 均匀采样改进为重要性采样
论文：Improved Denoising Diffusion Probabilistic Models
DDPM回顾
正向过程q：
反向过程p无法直接求得，假设其为高斯分布：
q的后验分布：
优化目标是使得q的后验分布和模型学习到的p分布尽量接近，即优化两者的KL散度。可以通过预测，也可以预测噪声来拟合均值。实验发现预测噪声效果更好，即：
IDDPM
参数化方差项
DDPM中的方差忽略了前面的系数直接设置为了，对结果影响不大，这是因为两者差异很小（尤其在T很大，或者扩散步数增大时）。然而在步数较小时的变分下界对损失有较大的影响，因此设计更好的方差学习方案有利于优化对数似然。
新的方差为,v是可学习参数，本质上是对两个方差进行加权。相应地，设计新的损失函数：，实验中设置系数为0.001
噪声策略的改进
DDPM的是线性增长的，导致前向过程加噪速度过快，改进为cosine schedule的方式。
重要性采样
希望直接优化而不是，但是很难训练。采用下面的方法对进行重要性采样，直观上讲就是维护了一个，大的地方多采样一些点，小的地方少采样。
