구글 LaMDA 트랜스포머 신경망 챗지피티 ChatGPT

오늘 글은 LaMDA 이야기로 먼저 시작하려합니다. 바로 이전 글에서 LaMDA는 트랜스포머 기반의 학습이 필요없는 엄청난 물건이다라는 취지로 약간의(?) 오해가 빚어질 수 있어 이 부분에 대해 좀 더 보충을 할까합니다. 트랜스포머가 먼데? LaMDA는 구글이 개발한 첨단 언어모델(NLP)입니다. 언어모델에서 중요한 것 중의 하나는 대화질의(prompt)에 대해 일관적인 응답을 해야 한다는 것이죠. 동일한 질의에 대해 이말했다 저말했다하면 안되죠. 이 측면에서 챗지피티나 LaMDA는 의미있는 성과를 보여주고 있다는 것이죠. 구글 람다 LaMDA 구글 LaMDA는 GPT(Generative Pretrained Transformer)라고 하는 트랜스포머 기반의 신경망 아키텍처를 사용합니다. GPT? 어디서 많이 듣던 단어죠? 기본적으로 이 아키텍처는 대량의 텍스트를 학습함으로써 훈련이 됩니다. 다 인간이 할일이죠. 훈련 과정은 주어진 문장(context)에서 다음 단어를 예측하기 위해 ...

원문링크 : 구글 LaMDA 트랜스포머 신경망 챗지피티 ChatGPT