Regularization

Regularization

- Test data와 Trainng data의 loss 차이가 크면 일반화하기가 어렵지

  > overfitting을 막으면 loss의 차이가 줄을 것이야

- complex 한 경우 → feature, model 등 → overfitting이 일어날 수 있음

- complex 를 줄이려면 복잡한 feature가 필요할때만 들어가도록 자동화하는 것 필요

- Overfitting을 막는 몇가지 방법

  > early stopping, dataset을 추가하는 방법(dataset augmentation), 

  > 언어의 경우 dataset을 추가하려면 → 번역된 다른 나라 언어로 변환시켜서 데이터를 넣는 방법이 있음

- L1, L2 regularization

  > l1,l2 norm을 loss 계산값에 추가 시켜서 loss가 추가 발생하도록 만들어 overfitting을 줄임 

- 모델의 complexity를 계산하는 방법

  > w의 값들의 norm을 계산하는 방법

  > l1 norm을 사용하면 모델의 몇 weight를 없애버리지 → feature selection 메카니즘으로 사용할 수 있음

  > l2 norm을 사용하면 weight의 값은 다 살아 있긴 하지  → 중요하지 않다고 판단되는 feature는 0에 가까운 값이 됨

- l1과 l2의 차이?

  > feature를 중요한 feature들만 쓰고 싶다 → l1

  > feature를 다 살리면서 쓰고 싶다 → l2

 

l1 norm → 특정 뉴런에 weight 몰빵

 

l2 norm  → 모든 뉴런쓰되 가중치 다름