SDE统一视角下的生成模型

发表于 本文字数： 895 阅读时长 ≈ 2 分钟

摘要

从随机微分方程角度，尝试对生成模型的两类分支：DDPM 和 Score-based model 建立统一的模型框架。

论文：Score-Based Generative Modeling through Stochastic Differential Equations

SDE 基本数学知识

随机微分方程 SDE 最早是物理上描述布朗运动（Wiener process）的工具， 表示了布朗运动的增量。定义 ，那么在微小的时间步 dt 上，有以下关系成立：

用下式描述一个一般的前向 SDE， 和 分别称为 drift coeff 和 diffusion coeff：

对于一个给定的前向 SDE（已知 drift 和 diffusion 系数），能够通过数学方式推导出逆向过程，即 Reverse SDE：

SDE 视角下的 DDPM

下面证明了 DDPM 的前向过程等价于一个 SDE，采样过程等价于对应的 Reverse SDE。

注意：虽然 DDPM 没有显式地计算 Score，但是下面的 * 式给出了一种等价变换得到 Score 的方式。

SDE 视角下的 SMLD

由于 SMLD 本身就是基于 Score 给出的模型，因此 SDE 视角下的 SMLD 推导就显得简洁许多。

Reference