[기초통계] t-statistic, p-value, F-statistic

t-statistic(t-통계량)과 p-value는 선형회귀분석에서 모델의 적합성과 predictor X와 response Y간의 관계를 규명하는데 중요한 평가요소이다.

 

 

t-statistic을 이해하기 위해 먼저 null hypothesis(영가설)를 이해해야한다.

 

선형적인 관계가 있냐 없냐라는 기준을 잡기위해

먼저 영가설을 세운다.

 

영가설은 X와 Y는 관계가 없다!  --> 즉 이가설을 위배하게 되면 X와 Y는 관계를 가지는 것으로 볼 수 있다.

 

이때, 영가설을 채택할 것인지 기각할 것인지에 대한 기준을 t-통계량을 활용한다.

t-통계량은 쉽게 말하면  [추정된 파라미터값 / 표준편차(파라미터값)] 으로 볼 수 있다.

 

아래그림처럼 t-통계량으로부터 우리는 p-value를 구할 수 있다.

즉, t-통계량이 클수록 p-value는 작아지고, 영가설을 기각할 확률이 높아진다.

t-통계량이 작을 수록 영가설을 채택할 확률이 높아져 X와 Y의 관계가 없음을 통계적으로 확인할 수 있다

 

F-statistic 는 다중의 X와 Y간 관계를 파악할 때 활용된다.

 

 

 

T-test 를 하게 되면 T, P 값이

ANOVA 를 하게 되면 F, P 값이
회귀분석에서는 F, T, P 값이
교차분석에서는 X^2, P 값이 나오게 된다.