(DDPM) Denoising Diffusion Probabilistic Models 리뷰

이번 글에선 최근 떠오르는 diffusion 생성 모델을 세상에 알린 논문 Denoising Diffusion Probabilistic Models (DDPM)을 리뷰해 보겠습니다. 참고로, 2015년에 다른 논문(Deep Unsupervised Learning using Nonequilibrium Thermodynamics)에서 diffusion 생성 모델을 먼저 발표했으나, DDPM은 몇 가지 개선을 통해 성능을 향상시킨 논문으로 평가됩니다.실제로 인용수 또한 DDPM이 1.5배 정도 더 많습니다. ELBO란? 우선, ELBO에 대해서 알아야 됩니다. ELBO는 Evidence Lower Bound의 약자로, log likelihood의 하한을 뜻합니다. 주어진 데이터를 x라 할 때, 단순히 log p(x)의 꼴로 나타나는 log likelihood를 최대화하는 것은 주어진 데이터에 모델이 굉장히 overfitting되게 됩니다. 따라서, VAE 등 여러 likelihood 기반...

원문링크 : (DDPM) Denoising Diffusion Probabilistic Models 리뷰