[AI] 전이 학습 기반 언어 모델 편향성

전이 학습 기반 언어 모델 Transfer Learning(전이 학습) 주어진 학습 데이터는 적은데 모델의 정확도와 학습 속도를 높이고 싶을 때 사용하는 학습 방법입니다. 학습하려는 데이터와 유사한 데이터가 많을 때, 혹은 유사한 데이터로 학습한 모델이 이미 존재할 때 이를 이용하는 방식입니다. Attention Mechanism(어텐션 메커니즘) 기본 아이디어 디코더에서 단어를 예측하는 시점마다(time step) 인코더에서 전체 문장을 다시 한번 본다는 것입니다. 단, 전체 문장을 전부 동일한 비율로 보는 것이 아니라, 연관된 부분을 집중해서 보는 것입니다. 그래서 집중(Aattention) 메커니즘이고, 결국 Task를 더 잘 풀기 위해 제안되었습니다. 전이 학습을 이용한 언어 모델 전이 학습을 이..

원문링크 : [AI] 전이 학습 기반 언어 모델 편향성