<LLM> Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

<LLM> Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

최근(2023.07)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 ️ FLAN-MINI 데이터셋을 대상으로 LLaMA 모델을 Fine-tuning with LoRA 하여 다양한 태스크 수행 능력과 코드 해석 능력을 준수하게 끌어올린 모델, Flacuna 배경 ChatGPT를 필두로 LLM들이 다양한 분야와 태스크에서 우수한 성능을 보이고 있습니다. 그럼에도 불구하고 strong reasoning & problem solving 능력이 요구되는 태스크들에 대해서는 여전히 T-5 based 모델들이 더 좋은 퍼포먼스를 보입니다. 본 논문에서는 그 주요 원인을 (1) Pre-training data, (2) Backbone architecture, ..

원문링크 : <LLM> Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

 등록된 다른 글

Face Recognition(1),(2) : What is Face Recognition, One Shot Learning

Face Recognition(1),(2) : What is Face Recognition, One Shot Learning

[BOJ] 12865 : 평범한 배낭 [다이나믹 프로그래밍](Python)

[BOJ] 12865 : 평범한 배낭 [다이나믹 프로그래밍](Python)

Object Localization

Object Localization

Setting Up your Optimization(2)

Setting Up your Optimization(2)

Getting into the detail of eigenproblems

Getting into the detail of eigenproblems

GSAT 온라인 모의고사

GSAT 온라인 모의고사

[Short Paper Review] Learning to Compress Prompts with Gist Tokens

[Short Paper Review] Learning to Compress Prompts with Gist Tokens

<Retrieval, In-Context Learning> RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder Language Models

<Retrieval, In-Context Learning> RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder Language Models