<LLM> PolyLM: An Open Source Polyglot Large Language Model

<LLM> PolyLM: An Open Source Polyglot Large Language Model

최근(2023.07)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 ️ usechatgpt init success multilingual 능력 향상을 목표로 한 1.7B & 13B 사이즈 다국어 모델. 학습 데이터에 영어가 아닌 데이터의 비중을 크게 높이고, multilingual self-instruct method를 적용한 것이 특징 배경 현재까지 많은 LLM들이 주목을 받았음에도 불구하고, 대부분의 모델들은 영어 데이터로 위주로 학습되었기 때문에 영어가 아닌 언어들에 대해서는 아쉬운 성능을 보여주고 있습니다. 보통 데이터셋을 구축할 때 고품질의 데이터를 인터넷으로부터 획득하는 경우가 대부분인데, 다른 언어들은 실사용자가 많다고 하더라도 인터..

원문링크 : <LLM> PolyLM: An Open Source Polyglot Large Language Model

 등록된 다른 글

[프로그래머스] 추억 점수 (Python)

[프로그래머스] 추억 점수 (Python)

<CoT, Agent> ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent (2023.12)

<CoT, Agent> ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent (2023.12)

[BOJ] 1629 : 곱셈 [분할정복](Python)

[BOJ] 1629 : 곱셈 [분할정복](Python)

Taylor series for approximations(2)

Taylor series for approximations(2)

10월 3주차 논문 요약: GQA, LLM, LLMLingua, LLeMA, ToRA

10월 3주차 논문 요약: GQA, LLM, LLMLingua, LLeMA, ToRA

Introduction to Programming Frameworks

Introduction to Programming Frameworks

[프로그래머스] 옹알이 (2)(Python)

[프로그래머스] 옹알이 (2)(Python)

Inner products(1)

Inner products(1)