데이터과학 삼학년

Maximum Likelihood Estimation (Simple Error Bound) 본문

Statistical Learning

Maximum Likelihood Estimation (Simple Error Bound)

Dan-k 2021. 3. 17. 20:49
반응형

어떤 이벤트에 대해 일어날 확률을 알고 싶다.

예를 들어, 압정의 앞과 뒤가 나올 확률을 계산하고 싶을때,

우리는 계속된 Trials의 결과를 이용해 아래와 같은 확률 분포를 구할 수 있다.

discreate probability distribution (이산확률분포)

 

 

위 자료처럼 앞면이 나올 확률을 θ라고 하면 뒷면이 나올확률은 1-θ로 나타낼 수 있고,

앞면3번, 뒷면2번이 나올 확률은 각 확률의 차승을 통해 구할 수 있다.

 

역으로 확률 쎄타가 주어졌을 때, 우리가 원하는 이벤트인 D가 발생할 확률은

P(D|θ) 로 나타낼수 있다.

P(D|θ) 를 최대로 하는 θ^ 을 MLE를 통해 구할 수 있다.

 

 

MLE는 아래와 같이 차승된

형태의 확률을 구하기 위해서 ln을 이용해 간단화 할 수 있고

결국,  θ^ = aH / (aH+aT) 로 나타낼 수 있다.

 

 

여기서,

우리는 trials을 적게할때나 많이할때나 θ^ 에 영향을 미치는 정도가 없나? 라는 의문을 가질 수 있는데

수학에서는 이를

simple error bound라고 해서

실제 θ 값과 추정된 θ^ 의 차이가 특정 에러 보다 클 확률을 특정에러와 시행횟수로 나태낼 수 있다 (아래식처럼).

 

 

위 식을 보면

결국 실제 θ 값과 추정된 θ^ 가 거의 유사해지기 위해서는 결국 trials 횟수인 N이 클수록 유리하다라는 것을

확인할 수 있다.

 

 

 

 

 

www.edwith.org/machinelearning1_17/lecture/10575/?isDesc=false

[LECTURE] 1.2. MLE : edwith

- 신승재

www.edwith.org

 

728x90
반응형
LIST
Comments