250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- API
- requests
- TensorFlow
- spark udf
- tensorflow text
- flask
- integrated gradient
- Counterfactual Explanations
- subdag
- API Gateway
- top_k
- chatGPT
- XAI
- 유튜브 API
- login crawling
- hadoop
- airflow subdag
- GCP
- Retry
- 상관관계
- session 유지
- grad-cam
- Airflow
- gather_nd
- UDF
- correlation
- youtube data
- 공분산
- BigQuery
- GenericGBQException
Archives
- Today
- Total
목록GCP (1)
데이터과학 삼학년
Bigquery load error (GenericGBQException)_(동시접근, parallel 작업시)
GCP를 활용하다 보면 Bigquery의 힘이 정말 대단하다. 빠르고 대용량을 아주...꽤나 잘 처리한다. 주로 빅데이터를 분석하면서 bigquery에서 데이터를 불러와 잘짜여진 알고리즘에 따라 분석된 결과를 다시 Google BQ에 올려 언제든 결과를 확인하고 싶을때가 많다. 그리고 그렇게 일을 처리해야 GCP를 이용해 업무를 효율적으로 진행할 수 있다. 필자는 데이터 분석을 할때 parallel 한 처리를 하기 때문에 parallel로 처리한 결과들을 비동기식으로 bq에 적재하는 경우가 많다. import multiprocessing ### bigquery load error 일부러 내기 def bq_load(df): .... result = result.to_gbq(destination_table=..
GCP
2020. 1. 9. 16:34