불균형 데이터분석을 위한 샘플링 기법
이 자료는 고려대학교 김성범 교수님의 자료를 토대로 정리한 내용입니다.
해당 게시물의 자료 저작권은 김성범 교수님에게 있습니다.
불균형 데이터분석을 위한 샘플링 기법
불균형 데이터 분석 문제
- 데이터의 불균형으로 인해 모델을 학습시키면 정상데이터에 대해 분류 경계선을 만드는 모델로 학습이 될 것이기 때문에 잠재적인 이상 데이터에 대한 예측 정확도는 낮아지는 문제가 있음
불균형 데이터 해결방안
- 데이터를 조정하든지, 모델을 조정하던지
샘플링 기법
- 크게 언더 샘플링과 오버 샘플링으로 구분할 수 있음
- under sampling : 보유하고 있는 데이터의 크기를 조절하여 데이터의 비율을 맞춤
- over sampling : 임의의 데이터를 증식시켜 데이터의 비율을 맞춤
| 언더 샘플링 | 오버 샘플링 | |
| 장점 | 1. 다수 범주 관측치 제거로 계산시간 감소 2. 데이터 클랜징으로 클래스 오버랩 감소 가능 |
1. 정보 손실이 업음 2. 대부분의 경우 언더샘플링에 비해 높은 분류정확도를 보임 |
| 단점 | 1. 데이터 제거로 인한 정보 손실 발생 | 1. 과적합 가능성 2. 계산 시간이 증가 3. 노이즈 또는 이상치에 민감 |
Under Sampling
- 다수 범주의 데이터를 제거하는 방법
1. random under sampling
- 데이터를 무작위로 선택하여 비율을 맞춤
2. Tomek Links
- Tomek links의 조건에 해당하는 tomek link 데이터를 만든후 해당 데이터 제거
- 즉 확실히 경계를 만들수 있는 데이터만 남기는 형태로 이해할 수 있음
3. CNN(Condensedd nearest neighbor)
- 소수 범주 전체와 다수 범주에서 무작위로 하나의 관측치를 선택하여 서브데이터로 구성
> 1-NN 알고리즘을 통해 원데이터를 분류 -> 정상 분류된 다수 범주의 관측치를 제거
> 보라색만 남기고 모두 제거
4. OSS(One-Side Selection)
- Tomek + CNN을 합친 방법으로 두 알고리즘에 걸린 아래 그림의 보라색 데이터 제거
Over Sampling
- 소수 범주의 데이터를 증폭시키는 방법
1. Resampling
- 소수 범주의 데이터를 단순히 복사하는 방법 → 새로운 데이터가 아니라 소수 데이터 갯수만 많아지는 방식
- 단점 : 소수 클래스에 과적합이 발생할 가능성이 있음
2. SMOTE(Synthetic Minority Oversampling Techinque)
- 새로운 가상의 데이터를 생성하는 방법 중 하나
- 소수 범주의 데이터를 임의로 하나 정한 이후 가장 가까운 이웃(k개) 중 무작위를 하나 선택해서 아래 식을 기반으로 새로운 데이터를 생성하는 방식
- 즉, k이웃의 데이터 간 연결한 이후 그 연결점 중 한자리에 새로운 데이터를 만들어 넣는 방식
3. Borderlines-SMOTE
- Borderlines(경계부분) 부분만을 샘플링하는 방법
- 아무 데이터나 선택해서 데이터를 만들지 말고 두개 범주의 경계부분의 데이터만 선정해서 SMOTE를 사용하는 방식
- Borderlines을 정하는 방식
> 소수 클래스의 하나를 선택하여 k개의 주변을 선택했을 때, 소수 범주 데이터가 아닌 다수 클래스에 선택하는 주변점 갯수가 많을 경우 선택
> k의 값중 반개 이상 정도 다수 클래스가 관찰되는 케이스만 해당함
- Borderline의 점을 이용해 SMOTE를 적용하면 아래 그림과 같음
4. ADASYN(Adaptive Synthetic Sampling Approach)
- 샘플링하는 개수를 위치에 따라 다르게 하자.
- 모든 소수 클래스에 대해 주변을 k개만큼 탐색하고 그 중 다수 클래스가 관측되는 비율을 계산
- 구한 비율 ri값을 이용해서 weight를 만듦 → weight에 따라 생성하는 샘플수가 달라짐
- G= 다수클래스의 갯수 - 소수클래스의 차이 → weight에 G를 곱해서 소수 클래스당 생성할 샘플 개수를 정함
- 즉, 소수 클래스 주변의 다수 클래스의 수에 따라 유동적으로 over sampling 개수를 다르게 하여 생성
- ADASYN도 결국 SMOTE를 적용하는 개념 → 소수 클래스의 케이스에 따라 다르게 데이터를 생성하는 것 일 뿐
- Borderline은 경계선만 집중한다는 개념이고, ADASYN 모든 소수클래스를 반영하여 만들자.
5. GAN을 이용한 방법
- TabGAN 등 networks 두개가 서로의 결과를 이용해 학습하면서 진짜 샘플과 유사한 데이터를 생성시키는 방법
참조
https://www.youtube.com/watch?v=Vhwz228VrIk
불균형 데이터 모델링
1. 비용 기반 학습
- 이상치를 정상으로 분류하는 오분류를 막기위해 이상치에 좀 더 비중을 둬서 분석하는 방법
2. 단일 클래스 분류 방법
- 다수 범주만 고려해서 분류하는 방법
- 다수 범주의 중심을 기준으로 바운더리를 생성하는 방법
one-class classification
- 기존 관찰된 데이터 만을 기반으로 바운더리를 만들기 때문에 기존 관찰되지 않았던 데이터에 대해 잘못 분류할 가능성이 있음
