DeBERTa, DeBERTaV2 분석

논문 내용 중 기록해 놓고 싶은 내용을 발췌한 후 저자의 Github 코드와 Huggingface Github 코드를 활용하여 코드를 간단히 살펴봅니다. DeBERTa v1 논문 : https://arxiv.org/pdf/2006.03654.pdf 논문 내용 발췌 Syntactical nuances depend, to a large degree, upon the words'absolute positions. DeBERTa incorporates absolute word position embeddings right before the softmax layer where the model decodes the masked words based on the aggregated contextual embeddings of word contents and positions. the attention weights among words are computed using disentangl...

원문링크 : DeBERTa, DeBERTaV2 분석