Accumulated Local Effects (ALE) Plot

Accumulated Local Effects

- global surrogate로 각 데이터에 대한 해석이 아닌 모델에 대한 해석 방법

- 어떻게 feature가 모델의 예측결과에 영향을 미치는지 평균적으로 보는 방법

- PDP(Partial Dependance Plot)과 유사하지만, PDP는 feature간 상관관계가 있을때 해석이 어려운 단점을 가지고 있음

- 이를 보완한 것이 ALE라고 생각하면 됨

- ALE plot은 PDP보다 더 빠르고 편향되지 않은 대안

 

PDP(Partial Dependance Plot)의 한계

- PDP의 경우는 모델의 feature가 강한 상관관계가 있는 경우 partial feature의 의존도를 신뢰하기 어려운 문제가 있음

- 방의 갯수, 거실 크기를 이용해 집값을 예측하는 모델이 있다고하면, 이를 이용해 pdp를 그리면, 방의 갯수이든, 거실의 크기이던 거의 비슷한 형태의 plot을 띠게 되고, 결국 어떤 feature가 모델의 예측에 영향을 깊게 미치는지 알기 어려움

FIGURE 8.5: Strongly correlated features x1 and x2. To calculate the feature effect of x1 at 0.75, the PDP replaces x1 of all instances with 0.75, falsely assuming that the distribution of x2 at x1 = 0.75 is the same as the marginal distribution of x2 (vertical line). This results in unlikely combinations of x1 and x2 (e.g. x2=0.2 at x1=0.75), which the PDP uses for the calculation of the average effect.

 

Feature간의 상관관계까지 고려해서 모델을 해석하려면 어떻게 해야하나?

pdp가 단순 평균이었다면, conditional distribution, 즉, 조건부 확률분포를 이용해서 평균을 구해 그릴 수 있음

FIGURE 8.6: Strongly correlated features x1 and x2. M-Plots average over the conditional distribution. Here the conditional distribution of x2 at x1 = 0.75. Averaging the local predictions leads to mixing the effects of both features.

 

모델의 예측 변화

부분 종속성 플롯 : “각 데이터 인스턴스가 값 v를 가질 때 모델이 평균적으로 예측하는 것을 보여 드리겠습니다. 그 기능을 위해. 나는 값 v가 모든 데이터 인스턴스에 대해 의미가 있는지 여부를 무시합니다.”
M-Plots : “해당 기능에 대해 v에 가까운 값을 가진 데이터 인스턴스에 대해 모델이 평균적으로 예측하는 것을 보여드리겠습니다. 그 효과는 해당 기능 때문일 수도 있지만 상관 관계가 있는 기능 때문일 수도 있습니다.”
ALE 도표 : "모델 예측이 해당 창의 데이터 인스턴스에 대해 v 주변 기능의 작은"창"에서 어떻게 변하는지 보여드리겠습니다."

 

 

참조

https://christophm.github.io/interpretable-ml-book/ale.html