<KD, Fusion> Knowledge Fusion of Large Language Models (2024.01)

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 ️ usechatgpt init success [Tencent AI Lab] - 여러 LLM들의 능력을 single LLM으로 전이하는 방법론을 제시 - Llama-2, MPT, OpenLLaMA, 세 모델을 사용 - source LLM들의 생성 확률 분포를 기반으로 fusion 1. Introduction LLaMA, GPT와 같은 모델을 직접 학습하는 것은 천문학적인 비용을 초래하며 환경 문제에까지 큰 영향을 준다는 것이 잘 알려져있습니다. 그래서 모델을 직접 학습하지 않고 기존 모델들의 지식을 활용하는 방법론들이 다양하게 제시되고 있습니다. 본 논문에서는 knowledge fusion ..

원문링크 : <KD, Fusion> Knowledge Fusion of Large Language Models (2024.01)