데이터과학 삼학년

BigQuery ML 소개 BigQuery에서 SQL 쿼리를 사용하여 머신러닝 모델을 만들고 예측 BigQuery ML 지원 모델 Linear regression Binary logistic regression Multiclass logistic regression K-means clustering XG boost DNN Custom TensorFlow model importing MODEL_TYPE = { 'LINEAR_REG' | 'LOGISTIC_REG' | 'KMEANS' | 'BOOSTED_TREE_REGRESSOR' | 'BOOSTED_TREE_CLASSIFIER' | 'DNN_CLASSIFIER' | 'DNN_REGRESSOR' Importing TensorFlow models CREATE ..

Serverless toolbox GCP를 이용하여 serverless로 서비스를 제공하는 여러가지 방법이 있음 machine learning을 위해 사용하는 ai-platform 도 이 중 한가지 그 중, 사용자의 의도와 맞게 개발하여 서비스할 수 있는 toolbox 중 cloud run 과 cloud function이 대표적 (+ app engine) Cloud Run 환경을 사용자가 직접 구성하여 쓸 수 있다는 장점이 있음 컨테이너를 구성하여 사용하는 것으로 환경설정이 자유로움 사용한 만큼 돈을 지불하는 성격 (코드가 실행 중일때만 비용 발생) 사용 사례: 웹 서비스, 데이터 처리(데이터 변환), 자동화(예약 문서 생성) 데이터 처리 자동화 - 예약문서 생성 Cloud Functions aws의 l..

Google Cloud의 storage인 GCS와 pandas간 호환이 된다는 사실~ 읽고 쓰기 모두 가능 읽기 _CSV_COLUMNS = [ 'contents','label' ] training_file_path = 'gs://text/movie_train.csv' train_df = pd.read_csv(training_file_path, names=_CSV_COLUMNS, encoding='utf-8') 쓰기 pred_df.to_csv('gs://text/movie_test_sequence.csv') 아주 간단하쥬? 다만 pandas를 gcs와 같이 쓰려면 dependencies한 파일로 gcsfs 라이브러리를 깔아놔야한다.

Cloud ML로 모델을 학습시키고자 한다. 하지만 나의 모델 학습을 위해 꼭 필요한 라이브러리가 있다면, 어떻게 해야할까? 답은 setup.py를 추가하면 된다. gcloud ai-platform jobs submit training text_model \ 이하생략이런 텍스트 모델을 돌리고, 여기에 soynlp라는 라이브러리가 필요하다면setup.py에 이런 식으로 코드를 넣어주면 된다.from setuptools import find_packages from setuptools import setup REQUIRED_PACKAGES = [ 'tensorflow==2.1.0', 'tensorflow-model-analysis==0.15.0', 'scipy>=1.1.0', 'tensorboard==2.1..

AutoML 테이블 시계열 회귀분석 1. 데이터세트 구성시계열 회귀 예측 모델을 위한 예측 데이터 세트 구성 2. 데이터 불러오기Bigquery 로 부터 데이터 불러오기데이터에 대한 간략한 설명 볼 수 있음최소 1000개 rows 이상, feature 수 제한 있다고 함 (확인X) feature 설정 독립 변수 : 시계열 FEATURE (타겟 feature, 식별자 열 제외한 모든 열)타겟 열(종속 변수) : AU시계열 식별자 열 : 한 행에서 열의 값마다 다른 시계열 정의 값이 하나면 모든 행이 한 시계열에 속하게 됨 (그냥 index 같음) multi target feature 선정 불가능 3. 모델 학습예측 범위를 입력해주어야 현재 데이터에서 몇시간몇일 몇 주 몇 년뒤의 데이터까지 예측할지 결정학습..

Natural Language API (GCP) GCP 에서 지원해 주는 Text 분석을 위한 API 분석 종류에 따라 다양한 언어 지원 (20~100 여개국) 분석 종류 Entities 문장의 parsing된 단어들의 성격을 유추 Sentiment 문서나 문장의 감정 수준 분석 Syntax 형태소 종류, parse label, 의존성, 의미구 등 문장을 자른 기준들을 파악할 수 있음 Categories 문장이 어느 분류에 속하는지 분류 문제 해결 이용 가격 Morphs analysis using Natural Language API (GCP) 형태소 분해 Cloud Natural Language api의 syntax 분석을 이용하여 morphs 분해 가능 from google.cloud import l..

Natural Language API 텍스트에서 구문, 항목, 감정을 찾아 사전에 정의된 카테고리로 텍스트 분류 감성, 문서 분류를 위한 문제에서 활용성이 높을 것으로 보임 커스텀 모델 학습 : 레이블이 지정되어 있는 데이터를 사용해야함 AutoML Natural Language Natural Language api 기반의 분석 도구 분류, 항목 추출, 감정 분석에 사용할 수 있음 분류 모델은 문서를 분석하고, 문서에서 찾은 텍스트에 적용되는 콘텐츠 카테고리의 목록을 반환 항목 추출 모델은 문서에 참조된 알려진 항목을 검사하고 텍스트의 해당 항목에 라벨을 지정 감정 분석 모델은 문서를 검사하고 문서 내의 주도적인 감정적 의견을 식별하여 작성자의 태도가 긍정적인지, 부정적인지 또는 중립적인지를 판단 데이터..

Dataflow SQL GCP Bigquery UI에서 쿼리를 사용하여 Dataflow job을 생성하고 실행시킬 수 있음 Dataflow SQL은 Apache Beam SQL 지원 Zeta SQL 쿼리 구문 지원 BQ UI로 스트리밍 파이프라인 개발 가능 스트리밍 데이터 와 일반 데이터 셋의 조인 가능 스키마를 일반 테이블, GCS 파일, pub/sub 과 연결하여 데이터 세트를 구성하여 쿼리 실행 가능 주 사용용도는 bigquery table에 있는 data뿐만 아니라, GCS에 있는 데이터, pub/sub으로 스트리밍으로 들어오는 데이터를 처리하는 용도로 사용 사용예시 biquery ui에서 옵션에서 cloud dataflow 엔진을 선택하고 쿼리를 날리는 방식으로 실행 데이터를 불러올때 FROM ..