Maximum Likelihood Estimation (Simple Error Bound)

어떤 이벤트에 대해 일어날 확률을 알고 싶다.

예를 들어, 압정의 앞과 뒤가 나올 확률을 계산하고 싶을때,

우리는 계속된 Trials의 결과를 이용해 아래와 같은 확률 분포를 구할 수 있다.

discreate probability distribution (이산확률분포)

 

 

위 자료처럼 앞면이 나올 확률을 θ라고 하면 뒷면이 나올확률은 1-θ로 나타낼 수 있고,

앞면3번, 뒷면2번이 나올 확률은 각 확률의 차승을 통해 구할 수 있다.

 

역으로 확률 쎄타가 주어졌을 때, 우리가 원하는 이벤트인 D가 발생할 확률은

P(D|θ) 로 나타낼수 있다.

P(D|θ) 를 최대로 하는 θ^ 을 MLE를 통해 구할 수 있다.

 

 

MLE는 아래와 같이 차승된

형태의 확률을 구하기 위해서 ln을 이용해 간단화 할 수 있고

결국,  θ^ = aH / (aH+aT) 로 나타낼 수 있다.

 

 

여기서,

우리는 trials을 적게할때나 많이할때나 θ^ 에 영향을 미치는 정도가 없나? 라는 의문을 가질 수 있는데

수학에서는 이를

simple error bound라고 해서

실제 θ 값과 추정된 θ^ 의 차이가 특정 에러 보다 클 확률을 특정에러와 시행횟수로 나태낼 수 있다 (아래식처럼).

 

 

위 식을 보면

결국 실제 θ 값과 추정된 θ^ 가 거의 유사해지기 위해서는 결국 trials 횟수인 N이 클수록 유리하다라는 것을

확인할 수 있다.

 

 

 

 

 

www.edwith.org/machinelearning1_17/lecture/10575/?isDesc=false

[LECTURE] 1.2. MLE : edwith