CLM vs MLM

BART paper에서 언급된 개념 CLM (Causal Language Model) : models the probability of a word given the previous words in a sentence, Trasformer Decoder part - 트랜스포머 디코더 부분과 같이, 모델이 이전 단어정보를 가지고 현재 단어를 예측하는 모델 MLM (Masked Language Model) : The masked language modeling objective of BERT. - BERT와 같이 입력을 마스킹 해서 예측하는 방법으로 학습하는 모델...

CLM vs MLM에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

원문링크 : CLM vs MLM