Learning rate and Batch size

Learning rate and Batch size

- learning rate 는 최적화를 위해 어느 정도의 step size를 가질 것이냐 결정

  > 너무 작으면 training이 오래 걸릴 것이요, 너무 크면 학습이 잘되지 않을 것임

  > 보통 0.2보다 작은 값이나 1 / (sqrt(feature 개수))  로 정함

- batch size가 너무 작으면 training 하기에 적합한 데이터 셋이 없을 수 있음 → 그래디언트를 계산할 샘플수

  >> batch size가 크면 learning rate를 작게 줄이는 것이 실험적으로 좋다는 논문