마이크로소프트의 소규모 언어 모델 ‘Phi-2’: 온디바이스 AI & 교과서 품질의 학습 데이터

마이크로소프트의 소규모 언어 모델 ‘Phi-2’: 온디바이스 AI & 교과서 품질의 학습 데이터 마이크로소프트는 지난 몇 달 동안 'Phi' 라는 이름의 소규모 언어 모델(SLM) 시리즈를 출시하며 주목할 만한 성과를 거두었습니다. 이 시리즈의 첫 번째 모델인 'Phi-1'은 13억 개의 매개변수를 가지고 있는데, 이렇게 작은 크기임에도 언어 처리 능력뿐만 아니라 contents.premium.naver.com ※ 주요 내용 - 마이크로소프트는 지난 몇 달 동안 'Phi' 라는 이름의 소규모 언어 모델(SLM) 시리즈를 연달아 출시. 가장 최근 공개된 Phi-2 모델은 단 27억 개의 매개변수만으로도 상당한 언어 이해 능력을 선보임 - Phi-2는 벤치마크 테스트에서 70억 개 매개변수의 Mistral 모델, 130억 개 매개변수의 라마(LLaMA)-2 등 훨씬 더 큰 모델들의 성능을 능가. 특히 코딩과 수학 등 다단계 추론 작업에서는 무려 25배 더 큰 700억 개 매개변수의 라마...

원문링크 : 마이크로소프트의 소규모 언어 모델 ‘Phi-2’: 온디바이스 AI & 교과서 품질의 학습 데이터