[자연어 처리] ELECTRA (Pre-training Language Model) 정리

안녕하세요. 이번 포스팅에서 소개해드릴 내용은 현재 많은 자연어 처리 task에서 사용되고 있는 Pre-training Language Model (이하 PrLM) 중 하나인 ELECTRA입니다. 이 글은 아래 참고 자료 중에 중국어 정리 내용을 기본으로 정리했습니다~ELECTRA는 Efficiently Learning an Encoder that Classifies Token Replacements Accurately의 약자입니다. (앞선 BERT, ELMO에 이어 ELECTRA 약자도 발음하기도 편하고 고민한 흔적이 느껴져요.. PrLM 논문들을 보면 논문의 타이틀이 얼마나 중요한지 다시 실감합니다. 내용도 중요하지만 타이틀에도 신중을 가할 필요가 있는 것 같아요.)이 논문은 ICLR 2020의 Openreview에 나왔던 논문입니..........

원문링크 : [자연어 처리] ELECTRA (Pre-training Language Model) 정리