카파 통계량 (Kappa-statistics)

카파 통계량

카파(Kappa) 통계량은 두 명 이상의 평가자(inter-rater) 간의 일치 정도를 측정하는 통계량
주로 분류 작업에서 사용되며, 각 평가자가 관측한 결과에 대한 일치 정도를 평가
특히, 다수의 평가자가 주어진 문제에서 얼마나 일치하는지를 확인하는 데에 유용

>> 모델의 평가에서 불균형이 심한 데이터에 대한 평가에 활용하면 좋다!!

 

- Kappa 통계량은 -1에서 1 사이의 값을 가짐

- 1에 가까울수록 모델의 예측이 완벽에 가깝다고 해석

- 0에 가까울수록 모델의 예측이 무작위 예측과 유사

 

 

카파 통계량의 정의

$$ [ \kappa = \frac{P_o - P_e}{1 - P_e} ] $$

여기서,

• $ (P_o) $는 실제 관측된 일치도(Observered Agreement)
• $ (P_e) $는 랜덤 기대 일치도(Random Expected Agreement)

계산 단계

오차 행렬 생성

다수의 평가자 간의 관측 결과를 오차 행렬로 정리

 

실제 관측된 일치도($ P_o $) 계산

$$ P_o = \frac{a + d}{a + b + c + d} $$

 

랜덤 기대 일치도($ P_e $) 계산

$$ P_e = \frac{(a + b) \times (a + c) + (c + d) \times (b + d)}{(a + b + c + d)^2} $$

 

카파($ \kappa $) 계산

$$ \kappa = \frac{P_o - P_e}{1 - P_e} $$

 

해석

• 카파 값이 0이라면, 랜덤한 일치 정도와 동일하다고 해석
• 카파 값이 1이라면, 완벽한 일치 정도를 의미
• 음수 값이 나오면, 실제보다 기대한 것보다 더 낮은 정도의 일치

 

https://ko.wikipedia.org/wiki/%EC%B9%B4%ED%8C%8C_%EC%83%81%EA%B4%80%EA%B3%84%EC%88%98