MLE vs OLS
OLS (Ordinary Least Square)
- 주로 선형회귀를 추정하는 방법에 사용
- 데이터에 이상치가 없다면, 좋은 추정이 가능함
- 어떤 추가적인 가정을 필요로 하지 않는다는 장점이 있음
> 다만, 이상치가 있을 경우, ROBUST한 결과를 얻기 어려움
Note: This is the same as minimizing the residuals of the regression model.
MLE (Maxium Likelihood Estimation)
- 주로 로지스틱 회귀(or probit)를 추정하는데 사용
- 데이터 분포가 특정 확률분포(정규분포) 를 따른 다는 가정이 있음
- 분석 결과가 ROBUST 하지만, 데이터 자체가 정규분포를 따르지 않을 경우, 실제와의 차이가 존재
The ordinary least square (OLS) method is tailored to the linear regression model. If the data is not too weird, it should always give a decent result. The OLS method does not make any assumption on the probabilistic nature of the variables and is considered to be deterministic.
The maximum likelihood estimation (MLE) method is a more general approach, probabilistic by nature, that is not limited to linear regression models.
The cool thing is that under certain conditions, the MLE and OLS methods lead to the same solutions.