<LK Lab, Instruction> [RoE] Exploring the Benfits of Training Expert Language Models over Instruction Tuning (2023.02)

<LK Lab, Instruction> [RoE] Exploring the Benfits of Training Expert Language Models over Instruction Tuning (2023.02)

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. (Language & Knowledge Lab의 Retreival 관련) 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 ️ [Minjoon Seo] - 단 하나의 task에 대해 fine-tuned된 expert LM이 300개 이상의 task로 학습된 MT (multitask-prompted fine-tuning) LM을 outperform - distributed approach의 장점: avoiding negative task transfer, continually learn new tasks, compositional capabilities 배경 instruction을 통해 여러 task에 fine-tuned된 모델을 multit..

원문링크 : <LK Lab, Instruction> [RoE] Exploring the Benfits of Training Expert Language Models over Instruction Tuning (2023.02)

 등록된 다른 글

PCA algorithm

PCA algorithm

[BOJ] 15666 : N과 M (12) [백트랙킹](Python)

[BOJ] 15666 : N과 M (12) [백트랙킹](Python)

Inner products(1)

Inner products(1)

Convolutional Implementation of Sliding Windows

Convolutional Implementation of Sliding Windows

Taylor series for approximations(2)

Taylor series for approximations(2)

[BOJ] 1966 : 프린터 큐 [자료구조](Python)

[BOJ] 1966 : 프린터 큐 [자료구조](Python)

인공지능 최신 논문/뉴스 follow-up 꿀팁 대공개!! (NLP, LLM 위주 )

인공지능 최신 논문/뉴스 follow-up 꿀팁 대공개!! (NLP, LLM 위주 )

[BOJ] 14500 : 테트로미노 [브루트포스](Python)

[BOJ] 14500 : 테트로미노 [브루트포스](Python)