LayoutDiffusion: Controllable Diffusion Model for Layout-to-image Generation

이전에 소개했던 LayoutDiffuse와는 달리 CVPR2023에 소개된 논문입니다. Summary 일반적인 Diffusion 모델을 Layout을 더 잘 반영하도록 변경한 모델 코드 상에서는 LatentDiffusion으로 DM을 변경하는 코드도 올려두었지만 논문 자체로는 image feature를 다루고 있는 basic한 DM을 사용합니다. Layout을 잘 반영할 수 있도록 Cross Attention(CA)을 적극 활용하였으며 이를 효율적으로 하기 위해서 image를 patch 단위로 나눠 관리하면서 layout을 conditioning 하기 위해 동일한 형태로 변경하는 format도 제시하였습니다.(사실 이 부분은 원래 그렇게 하는지 모르겠습니다. 이 부분이 처음이라) 저자들이 제시하는 CA 를 통해서 객체들이 서로의 관계를 잘 파악하게 만들었으며 뿐만아니라 이미지 전체에 대한 background도 이해할 수 있도록 whole image feature도 layout처럼 넣...

원문링크 : LayoutDiffusion: Controllable Diffusion Model for Layout-to-image Generation