정의 원핫인코딩과 같이 벡터의 많은 부분이 0으로 채워진 벡터 원핫인코딩이란? (one-hot encoding) 단 하나의 1과 수많은 0으로 표현된 인코딩 방식 예시 단어 원핫벡터(one-hot vector) 강아지 0,0,0,0,1 개 0,0,0,1,0 고양이 0,0,0,1,1 단점 원핫인코딩의 차원은 전체 어휘의 개수가 되고, 전체 어휘의 개수가 많아 질 수록 차원이 엄청나게 커지게 된다. sparse vector의 단점 앞선 원핫인코딩의 단점과 같이, sparse vector(희소 벡터)는 벡터간 연산시 결과값이 0이 된다는 점이다. 쉽게 이야기 하면, 강아지랑 개의 유사도는 높지만 계산을 진행해보면 결과값이 0이 나온다는 이야기이다. 또한, '차원의 저주'라는 단점을 가진다. 차원의 저주란? 높은 차원에 비해 들어있는 정보가 매우 낮은 밀도로 퍼져있어 빈 공간이 많은 경우 이러한 문제는 머신러닝에서 큰 단점으로 작용함 예시), 3000차원에서 one-hot vector로는 ...
원문링크 : sparse vector란?
네이버 블로그
티스토리
커뮤니티