GPT-4의 토큰별 예측 확률을 확인할 수 있을까? (부분적으로 가능하다!)

GPT-4의 토큰별 예측 확률을 확인할 수 있을까? (부분적으로 가능하다!)

공개가 되어 있나..? c 최근에 논문을 읽다가 궁금한 점이 생겼습니다. 바로 proprietary models, 즉 기업들이 공개하지 않고 API를 통해 추론 결과만을 제공하는 모델들에서 '토큰별 예측 확률값을 뽑아낼 수 있을지'에 대한 의문이었습니다. Allen institute of AI가 연구한 Tuning Language Models by Proxy라는 논문에서는 Proxy-tuning이라는 개념을 제시합니다. (해당 논문 리뷰 링크: https://chanmuzi.tistory.com/472) 이 연구에서는 공개되지 않은 모델들을 활용할 수 있는 방법에 대한 내용을 다룹니다. 최종적으로 어떤 토큰에 대한 확률을 구하여 output을 만들어 낼 때, 이 확률만 알더라도 특정 태스크에 대한 퍼포먼..

원문링크 : GPT-4의 토큰별 예측 확률을 확인할 수 있을까? (부분적으로 가능하다!)

 등록된 다른 글

Matrices as objects that map one vector onto another; all the types of matrices

Matrices as objects that map one vector onto another; all the types of matrices

5.4. QR법 / 5.5. 역반복법

5.4. QR법 / 5.5. 역반복법

3.1. 서론 3.2. 준비 운동: 덧셈, 뺄셈, 곱셈, 나눗셈

3.1. 서론 3.2. 준비 운동: 덧셈, 뺄셈, 곱셈, 나눗셈

<LLM> [Qwen] Qwen Technical Report

<LLM> [Qwen] Qwen Technical Report

[Short Paper Review] Learning to Compress Prompts with Gist Tokens

[Short Paper Review] Learning to Compress Prompts with Gist Tokens

Anchor Boxes

Anchor Boxes

<RL, Fine-Tuning> [ByteDance] ReFT - Reasoning with Reinforced Fine-Tuning (2024.01)

<RL, Fine-Tuning> [ByteDance] ReFT - Reasoning with Reinforced Fine-Tuning (2024.01)

[BOJ] 1916 : 최소비용 구하기 [그래프이론](Python)

[BOJ] 1916 : 최소비용 구하기 [그래프이론](Python)