심층 신뢰망(DBN, Deep Belief Network)

DBN은 2006년에 최초로 컨볼루션 연산을 사용하지 않고 심층 구조상에서 학습을 성공시킨 모델이다. DBN은 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine)이라는 신경망 모델을 단위 블록으로 사용해 층을 쌓음으로써 깊은 신경망을 구성하는 딥 러닝 모델이다.

컨볼루션 신경망이 계산을 수행할 때 결정적인 계산을 수행하는 것과 달리 확률적으로 출력값을 계산한다. DBN은 비지도 방식으로 계층마다 학습을 진행하는데, 이때 각각의 계층은 보통 RBM의 형태를 띠고 있다.

제한 볼츠만 머신(RBM)의 구조는 단순하다. 관찰할 수 있는 가시층과 은닉층으로만 구성된다.

다만 같은 층 내부 노드 간의 연결은 없고 층과 층 사이와의 연결만 있다. 이런 점에서 제한적이라고 불린다.

역전파 신경망과 비슷하게 RBM도 입력 노드에 가중치를 곱한 다음 시그모이드(Sigmoid) 함수를 적용해 은닉층의 값을 구하는 방법은 비슷하다. 다만 확률적으로 샘플링해서 구한다.

역전파 ...

원문링크 : 심층 신뢰망(DBN, Deep Belief Network)