[기본 용어 설명] MLE(Maximum Likelihood Estimation) - 최대 우도 추정

사전 확률 P(θ | D)에서 우도는 P(D | θ)이다. 즉, 우도란 매개변수가 특정한 값일 때 데이터 D가 나올 확률을 의미한다. 최대 우도 추정이라는 것은 결국 데이터 D가 많이 관찰되는 매개변수 θ를 찾는 것이다. 

 

즉, 우리가 가진 데이터를 가장 잘 설명할 수 있는 매개변수 θ(분포를 결정하는 값)를 찾는 방법이다. 

 

MLE를 구하기 위해서는 로그 우도 함수를 사용해야한다.

 

 

(1) --- 모든 x가 동시에 발생했을 때의 모든 우도를 구하는 것이기 때문에 결합 확률을 이용해 모든 우도를 곱한다.

 

(2), (3) --- 연산을 좀더 간단하게 말들기 위해서 로그를 사용해서 로그의 기본 성질인 곱을 합으로 바꿀 수 있는 특징을 사용했다. 

 

(4) --- 시그마로 모든 합을 표현

 

(오른쪽 수식) -- 우도를 최대화 하는 θ를 찾는 식이다.