250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- top_k
- login crawling
- Airflow
- session 유지
- API Gateway
- 공분산
- GCP
- BigQuery
- airflow subdag
- API
- hadoop
- youtube data
- GenericGBQException
- Counterfactual Explanations
- 상관관계
- 유튜브 API
- gather_nd
- correlation
- requests
- grad-cam
- integrated gradient
- XAI
- spark udf
- flask
- UDF
- tensorflow text
- TensorFlow
- Retry
- subdag
- chatGPT
Archives
- Today
- Total
데이터과학 삼학년
Tensorflow 2.0 본문
반응형
Tensorflow 2.0
- eager 모드 → 결과를 육안으로 바로 확인할 수 있음
> session을 안만들어도 바로 결과 확인 가능!
- tf.keras 가 tf.estimator와 동일한 hierarchy로 왔음 → keras 모델을 분산처리하려면 estimator에 담았어야 했는데 이제는 안담고 keras를 바로 돌려도 분산처리 가능 → ai-platform에서 분산처리를 아직 완전하게 진행하고 있지는 못하고 있음 → 조만간 바뀔 것임
- 그래디언트를 구하는 방법이 GradientTape 로 바뀜
- GradientTape → 그래디언트 값들을 저장할 수 있음(이전에는 메모리 상에서 사라지기 때문에 exporter를 이용해 일부 저장 했었지…)
- 정의된 wo, w1에 대한 loss가 얼마나 되는지 모든 것을 다 볼 수 있게 되었음
- tf.data.Dataset
> dataset = dataset.shuffle(1000).repeat(epochs).batch(batch_size, drop_remainder=True)
: 마지막 배치가 꽉차지 못하고 공간이 남을때 버릴지 말지 결정하는 것
>> learning curve에서 주기적으로 튀는 값들은 배치사이즈만큼의 충분한 데이터가 들어가지 않아서 일 수 있으니, drop_remainerd를 True로 설정하면 해당현상을 줄일수 있을 것이여
> csv 파일을 모아서 하나로 만들어 parse하는 것이 있음
728x90
반응형
LIST
'Machine Learning' 카테고리의 다른 글
Mutual Information_ 클러스터링 평가 척도 (0) | 2020.02.14 |
---|---|
tf 2.0 - Keras (0) | 2020.02.03 |
Tensoflow train_and_evlauate 구성도 (0) | 2020.02.03 |
Operationalizing the Model (0) | 2020.02.03 |
ML Ops and Kubeflow Pipelines (0) | 2020.02.03 |
Comments