250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- GenericGBQException
- 공분산
- hadoop
- GCP
- Airflow
- tensorflow text
- Retry
- Counterfactual Explanations
- API
- chatGPT
- airflow subdag
- correlation
- integrated gradient
- API Gateway
- top_k
- 유튜브 API
- BigQuery
- subdag
- session 유지
- TensorFlow
- 상관관계
- UDF
- XAI
- gather_nd
- spark udf
- requests
- login crawling
- youtube data
- flask
- grad-cam
Archives
- Today
- Total
목록GCP (1)
데이터과학 삼학년
Bigquery load error (GenericGBQException)_(동시접근, parallel 작업시)
GCP를 활용하다 보면 Bigquery의 힘이 정말 대단하다. 빠르고 대용량을 아주...꽤나 잘 처리한다. 주로 빅데이터를 분석하면서 bigquery에서 데이터를 불러와 잘짜여진 알고리즘에 따라 분석된 결과를 다시 Google BQ에 올려 언제든 결과를 확인하고 싶을때가 많다. 그리고 그렇게 일을 처리해야 GCP를 이용해 업무를 효율적으로 진행할 수 있다. 필자는 데이터 분석을 할때 parallel 한 처리를 하기 때문에 parallel로 처리한 결과들을 비동기식으로 bq에 적재하는 경우가 많다. import multiprocessing ### bigquery load error 일부러 내기 def bq_load(df): .... result = result.to_gbq(destination_table=..
GCP
2020. 1. 9. 16:34