Dropout

Dropout

- randomly 하게 node(neuron)를 제거 하면서 학습하여 앙상블 효과와 overfitting을 막음

  > 특정 경로로 weight가 치중되는 문제를 막음

  > 앙상블 러닝으로 볼 수 있음 → random forest의 경우, 트리를 여러번 타면서 overfitting을 방지하는 것과 비슷한 원리

- train 단계에서는 사용하지만 test단계에서는 dropout을 실행하면 안돼!!!

- 일반적으로 0.2를 적용하여 80%의 뉴런을 사용함

  > 학습이후에는 학습된 수치에 드랍아웃된 비율만큼 나눠줌 → 드랍아웃 비율 만큼 weight가 과다 산정되었을 것이기 때문