EM 알고리즘

모수 값을 추정할 때 관측된 자료만으로는 추정이 어려운 경우가 있다. 이때 관측치를 완전하지 않은 자료(incomplete data)로, 어떤 관측되지 않은 잠재치(latent value)를 더한 것을 완전한 자료(complete data)로 볼 수 있다. 다시 말해 관측치에 어떤 잠재치를 더해 완전한 자료(완비 자료)가 될 때, EM-알고리즘을 활용할 상황이 만들어진다. EM 알고리즘에서 관측치는 불완전하다. 이 점을 기억하자. 기본 전제로, 우리는 주어진 PDF와 관측값으로 만들어지는 로그-가능도 함수를 구한 뒤 이를 최대화하는 값을 모수의 추정값으로 활용할 것이다. 하지만 관측값이 불완전해서 직접적인 추정이 어려운 상황이라면, 어떤 완비 자료로 만들어지는 로그-가능도 함수를 사용한 반복 알고리즘으로 추정값을 찾아갈 수 있다. 이러한 기법 중 하나가 EM 알고리즘이다. EM 알고리즘의 목적은 완비 자료의 로그-가능도 함수의 기댓값을 최대로 하는 값을 찾아가며, 결국엔 incomp...

원문링크 : EM 알고리즘