ICE (Individual conditional expectation)

Individual conditional expectation (ICE) plot
- PDP는, 모델에서 특정 feature가 target에 어떤 영향을 어떻게 주는지 한눈에 파악하는 플롯
- 예를 들어, 선형 회귀에서는 어떤 변수에 대한 회귀계수를 기울기로 하여 그려보면, 해당 변수와 target이 양의 선형 관계인지, 음의 선형 관계인지 확인 가능
- 평균을 내지 않고 모든 선을 그려버리는 것이 바로 ICE plot입니다! 모든 선을 그린다는 것은, 전체 n개의 샘플에 대한 값을 그리고, n개의 line이 나오는 것을 의미함
- PDP에서는 확인하기 어려웠던 feature 간의 교호작용 확인 가능

PDP vs ICE
- target은 회사에서 받는 bonus이고, 변수에는 experience(경력)와 degree(학위)가 있
- 노란색 선이 평균값에 해당하는 것으로 PDP와 같다고 볼 수 있음. 평균 영향만 보면, 경력이 증가할수록 보너스가 높아지는 것으로 보임
- 그런데 ICE plot(회색 선들)을 보면, 샘플들이 두 그룹으로 나눠짐. 모든 선들이 똑같이 우상향하는 그림이 아니라, 한 그룹은 우상향하고, 한 그룹은 평행함

- 여기서 학위에 따라 색깔을 다르게 그려보면 학위가 있으면 1, 학위가 없으면 0
- 학위에 따라 근무경력과 보너스의 관계가 다름 확인
- 학위가 존재하면 근무 경력이 많아질수록 보너스가 증가하지만, 학위가 존재하지 않으면 근무경력과 상관없이 보너스가 일정
- 즉, 학위와 경력 간 교호작용이 이렇게 존재하는데, PDP만 보면 교호작용을 파악할 수 없는 것을 ICE로 파악 가능함

주의점
- 샘플 수가 많거나 변수의 cardinality가 클 때 연산량이 너무 많아짐
- 변수 간 상관성이 높을 때, 비정상적인 개체를 생성할 수 있음
- 샘플 수가 많으면 샘플링을 통해 일부네 대해 plotting하는 것 추천

참조
https://soohee410.github.io/iml_ice

[머신러닝의 해석] 5편. 모델에 영향을 주는 교호작용 파악: ICE plot (Individual Conditional Expectation) | P

https://scikit-learn.org/stable/modules/partial_dependence.html

4.1. Partial Dependence and Individual Conditional Expectation plots