카파 통계량 (Kappa-statistics)

카파 통계량
카파(Kappa) 통계량은 두 명 이상의 평가자(inter-rater) 간의 일치 정도를 측정하는 통계량
주로 분류 작업에서 사용되며, 각 평가자가 관측한 결과에 대한 일치 정도를 평가
특히, 다수의 평가자가 주어진 문제에서 얼마나 일치하는지를 확인하는 데에 유용
>> 모델의 평가에서 불균형이 심한 데이터에 대한 평가에 활용하면 좋다!!
 
- Kappa 통계량은 -1에서 1 사이의 값을 가짐
- 1에 가까울수록 모델의 예측이 완벽에 가깝다고 해석
- 0에 가까울수록 모델의 예측이 무작위 예측과 유사
 
 
카파 통계량의 정의
$$ [ \kappa = \frac{P_o - P_e}{1 - P_e} ] $$
여기서,

• $ (P_o) $는 실제 관측된 일치도(Observered Agreement)
• $ (P_e) $는 랜덤 기대 일치도(Random Expected Agreement)

계산 단계

오차 행렬 생성
다수의 평가자 간의 관측 결과를 오차 행렬로 정리

 
실제 관측된 일치도($ P_o $) 계산
$$ P_o = \frac{a + d}{a + b + c + d} $$
 
랜덤 기대 일치도($ P_e $) 계산
$$ P_e = \frac{(a + b) \times (a + c) + (c + d) \times (b + d)}{(a + b + c + d)^2} $$

 
카파($ \kappa $) 계산
$$ \kappa = \frac{P_o - P_e}{1 - P_e} $$

 
해석

• 카파 값이 0이라면, 랜덤한 일치 정도와 동일하다고 해석
• 카파 값이 1이라면, 완벽한 일치 정도를 의미
• 음수 값이 나오면, 실제가 랜덤한것보다 더 낮은 정도의 일치

 
https://ko.wikipedia.org/wiki/%EC%B9%B4%ED%8C%8C_%EC%83%81%EA%B4%80%EA%B3%84%EC%88%98