KL Divergence(쿨백 라이블러 발산), Jensen-Shannon divergence

Kullback–Leibler divergence 은 두 확률간의 분포의 차이정도를 정량적으로 측정하는 방법이다.

어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다.

KL Divergence를 구하는 방법은 두확률간의 cross-entropy에서 자신의 entropy를 빼는 방법이다. 엔트로피는 정보이론에서 정보량을 의미하므로, KL Divergence는 정보량의 차이를 나타낸다고 볼 수 있다.

 

즉, KL-Divergence의 값이 작을 수록 두분포는 유사하다.

 

식은 아래와 같다.

KL(p∥q) = H(p,q)− H(p)

 

 

KL Divergence의 특징을 알아보면

• KL(p|q)≠KL(q|p) (non-symmetric).
• KL(p|q)=0 if and only if p=qp=q.
• KL(p|q)≥0

 

KL Divergence 의 값이 항상 0보다 크거나 같다라는 성질은 Jensen's inequality에 의해서 증명되는데 KL Divergence는 log함수로 convex한 function이기 때문에 0보다 크다는 것이다...

 

또다른 KL-Divergence의 특징은 KL-divergence는 asymmetric하다. 무엇이 비대칭적이냐면 KL-divergence에서 p와 q를 바꾼 값과 원래의 값이 다르다는 점이 비대칭적이다. 즉 아래 식과 같다.

 

일단 KL Divergence는 거리 개념이 아니기 때문에 두 확률간의 분포 차이(거리)를 알기 위해서는 Jensen-Shannon Divergence를 사용해야한다.

 

JSD는 간단한 개념으로 KL Divergence의 순서를 바꾼 것 두개를 구하고 이것의 평균을 얻는 방식이다.

 

 

그렇다면 KL-Divergence를 언제 사용할까?

 

Cross entropy는 negative log likelihood와 같습니다. 그래서 cross entropy를 minimize하는 것이 log likelihood를 maximize하는 것과 같습니다. 그리고 확률분포 p,q​p,q​에 대한 cross entropy는 H(p)+KL(p|q)​ 이므로 KL-divergence를 minimize하는 것 또한 결국 log likelihood를 maximize하는 것과 같습니다.

 

 

KL-Divergence python code

def kl_divergence(p, q):
    return np.sum(np.where(p != 0, p * np.log(p / q), 0))

 

 

출처 : https://towardsdatascience.com/kl-divergence-python-example-b87069e4b810

출처 : https://towardsdatascience.com/kl-divergence-python-example-b87069e4b810

 

---

 

 

출처 : https://icim.nims.re.kr/post/easyMath/550

Entropy, Cross-entropy, KL Divergence | 알기 쉬운 산업수학 | 산업수학혁신센터

출처 : https://hyunw.kim/blog/2017/10/27/KL_divergence.html

초보를 위한 정보이론 안내서 - KL divergence 쉽게 보기

엔트로피 관련 : https://reniew.github.io/17/

정보이론 : 엔트로피, KL-Divergence