데이터과학 삼학년

SHAP (SHapley Additive exPlanations) Introduction black box모델의 예측결과를 설명하기 위한 method SHAP은 게임 이론 중 Shapley Values의 개념에 기초해서 만들어짐 shapley values는 협력 게임 이론(coalitional game theory)으로 도출된 개념으로 각 player들의 협력과 비협력에 따른 영향을 계산해 payout을 align하는 개념임 SHAP 의 두가지 접근 방법 local surrogate Kernel SHAP Tree SHAP global interpretation Shapley values를 aggregation하여 해석하는 방법 Definition SHAP은 게임 이론에서 나온 Shapely values를..

여기서 model은 layer에 text vectorization layer가 들어있어input 으로 raw 데이터인 text를 그대로 집어 넣어도 결과가 나온다. text를 따로 vector변환하여 모델에 넣는 것을 구성하였다면, 파이프라인을 만들어 전처리과정을 태우는 모델을 넣던지아니면 input data를 직접 벡터화하여 넣는 방안도 있다.두번째 안은 직접벡터화하면 plot에 벡터화된 숫자가 나올 것이므로 추천하지 않는다. In [ ]:!pip3 install lime In [ ]:!gsutil cp -r gs://exaple/model/20200729/KOR/text_classification_train_20200729_1596178422_KOR/keras_export/keyed_model/* ...

LIME (Local Interpretable Model-agnostic Explanation) Global vs Local Surrogate Analysis Global Surrogate Analysis 학습 데이터(일부 또는 전체)를 사용해 대리 분석 모델을 구축하는 것 Local Surrogate Analysis학습 데이터 하나를 해석하는 과정 LIME 간략한 개념 및 소개 LIME : 국지적(local) 단위의 모델을 설명하는 기법 LIME은 개별 예측의 결과를 설명하기 위해 training local surrogate models에 초점을 맞춤 일반적인 intepretable 모델 처럼 모델의 가중치에 신경써서 모델을 해석하는 방법이 아니라 휴리스틱한 방법으로 Black box model에 in..