GCP ai-platform (cloudML)에서 환경 설정 (라이브러리 추가)-setup.py

Cloud ML로 모델을 학습시키고자 한다.

 

하지만 나의 모델 학습을 위해 꼭 필요한 라이브러리가 있다면,

 

어떻게 해야할까?

 

답은 setup.py를 추가하면 된다.

 

gcloud ai-platform jobs submit training text_model \ 이하생략

이런 텍스트 모델을 돌리고,

 

여기에 soynlp라는 라이브러리가 필요하다면

setup.py에 이런 식으로 코드를 넣어주면 된다.

from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = [
    'tensorflow==2.1.0',
    'tensorflow-model-analysis==0.15.0',
    'scipy>=1.1.0',
    'tensorboard==2.1.0' ,
    'soynlp>=0.0.493',
    'tensorflow-estimator==2.1.0'
]
            
setup(
    name='trainer',
    version='0.1',
    install_requires=REQUIRED_PACKAGES,
    packages=find_packages(),
    include_package_data=True,
    description='census trainer package.'
)

 

setup.py는 trainer 폴더와 동등한 수준에 놓아주면 된다.

 

 

 

 

ai-platform을 이용하여 cloud 환경에서 train을 시킬때 훈련환경 instance는 setup.py를 참조하여 구성한다.

 

 

출처: https://cloud.google.com/ai-platform/training/docs/packaging-trainer

학습 애플리케이션 패키징  |  AI Platform Training  |  Google Cloud