Deformable DETR Implementation Details 3

이번에는 Encoder의 6개 Layer를 지나고 나오는 결과를 가지고 Decoder 에서 사용하는 부분을 확인합니다. 코드의 흐름 순으로 나열되어 있으니 이해가 가지 않는다면 블로그에서 다루지 않는 코드를 깃허브를 통해서 볼 수 있습니다. Decoder 이전 Decoder에 들어가기전 아래 이미지의 필요 요소들을 준비하는 과정을 거쳐야 합니다. 우선적으로 Object Queries(OQ)에 대한 정보가 필요합니다. 해당 OQ는 DETR에서도 사용되는 정보로서 초기값에 선언됩니다. OQ는 self.query_embed = nn.Embedding(num_queries, hidden_dim*2) 를 통해서 선언되는데 둘 다 사람이 설정 가능한 값입니다. hidden_dim은 256이었으므로 여기서는 512가 됩니다. 2배를 사용하는 이유는 하나의 쿼리가 [Pos, Cls] 두 개에 대한 정보를 모두 포함하는 Query이기 때문입니다. 해당 OQ가 여기 이 좌표에 이 물건이야? 라고 질문...

원문링크 : Deformable DETR Implementation Details 3