Transfer learning / Fine tuning

Transfer learning

• Transfer learning은 주로 대규모의 데이터셋과 large모델로 미리 학습시킨, 즉, pre-trained model을 가져다가 목적에 맞게 사용하는 것을 의미함
• 이미 잘 학습되어 있는 모델을 사용해 빠르게 학습 시키는 개념 (trainable = False)
• 학습된 모델의 최종 출력층 다음에 목적에 맞는 layer를 추가하여, 보유한 소량의 데이터로 새로 추가한 layer에 대해 학습시킴

Fine tuning

• Pre-trained 된 모델의 가중치를 기반으로 보유하고 있는 데이터(문제에 맞는)로 가중치를 업데이트하는 개념
• 즉, Pre-trained 된 모델의 가중치를 재학습 시키거나, 학습된 가중치의 일부를 재학습 시키는 개념

  

   

  https://purnasaigudikandula.medium.com/deep-view-on-transfer-learning-with-iamge-classification-pytorch-5cf963939575