Hyperparameter Tuning

Hyperparameter Tuning

- 트레이닝 단계 전에 미리 입력해줘야하는 값

- loss의 정도를 보고 hyper parameter를 조정할 수 있음

- 구글 gcp에서는 하이퍼파라미터 튜닝을 위한 시스템(?)을 마련하여 놓았음

- 보통 grid search를 통해 가능한 케이스를 만들어 놓고 결과를 확인하는 방식으로 실행

  > yaml 파일을 만들어서 가능 케이스 gcp로 보내줌

- maxParallelTrials 가 1이면 순차적으로 trial을 실행하는 것

  > 이는 조금 하이퍼 파라미터 튜닝이 느리지만, 이전의 하이퍼파라미터 튜닝 결과를 가지고, 다음 단계에서는 더 나은 방향으로 하이퍼 파라미터 튜닝을 실시함

- small 데이터로 하이퍼파라미터 튜닝을 완료한 후 그 값을 비교하고 최적의 하이퍼파라미터 적용

- tensorboard --port=8080 --logdir=gs://~~~

  > 하이퍼 파라미터 튜닝 결과 비교

  > tensorboard --port=8080 --logdir=gs://qwiklabs-gcp-ml-196710c70792/taxifare/trained_hp_tune