250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- tensorflow text
- chatGPT
- requests
- Airflow
- youtube data
- hadoop
- flask
- Retry
- spark udf
- API
- 공분산
- XAI
- BigQuery
- 상관관계
- GCP
- grad-cam
- top_k
- airflow subdag
- gather_nd
- subdag
- TensorFlow
- 유튜브 API
- API Gateway
- integrated gradient
- UDF
- correlation
- login crawling
- GenericGBQException
- Counterfactual Explanations
- session 유지
Archives
- Today
- Total
데이터과학 삼학년
Bigquery ML 본문
반응형
Domain 지식의 중요성
- 데이터를 이해하고, 문제를 풀기 위한 데이터를 선택할 수 있음
Bigquery ML
> GCP에서 Bigquery를 이용하여 ML을 학습 및 예측이 가능해 졌다!
- bq를 이용하여 모델을 학습시킴(학습된 모델이 저장될 위치를 지정해줌)
- 학습된 모델의 training info를 볼 수 있음
- ML.PREDICT(MODEL 만들어진 모델, 예측할 데이터)
- tensorflow를 이용하여 모델을 적용할 경우에는 미리 학습된 모델을 적용하여 예측 가능함
BQ에서 제공해주고 있는 Lineal와 같은 모델로는 학습이 가능하지만
커스텀한 학습은 아직 불가능하다.
커스텀 학습한 모델을 BQ에 올리고 이를 이용하여 예측하는 것은 가능하다.
이 기능을 이용하면 BQ에 적재되어 있는 데이터를 조건별로 필터하고 모델의 예측값을 파악하는데 매우 용이 할 듯하다.
728x90
반응형
LIST
'GCP' 카테고리의 다른 글
Bigquery Table_Suffix 관련 error(적재되는 data type이 꼬였을 때) (0) | 2020.01.30 |
---|---|
Data_analysis on GCP (0) | 2020.01.17 |
Data engineering on GCP (0) | 2020.01.17 |
Kubeflow pipeline (0) | 2020.01.09 |
Bigquery load error (GenericGBQException)_(동시접근, parallel 작업시) (0) | 2020.01.09 |
Comments