Preprocessing and feature creations (with Cloud Dataprep)

Preprocessing and feature creations

- 데이터를 전체를 한번 보고 파악할 필요 있음

- 카테고리형 변수를 변환시켜 넣어줄 필요 있음

- Feature engineering

  > Bigquery

  > Apache Beam

  > TensorFlow

  >> discretization → bucketized

- feature_column에서 전처리를 해야지 그래프와 함께 저장되서 서브인풋이 들어와도 잘 처리할 수 있음

  > feature_column에서는 사칙연산을 쓰지 않고, input_fn에서 함수하나 만들어서 쓰는 것이 낫지

- Normalization은 feature_column 에서 바로 적용할 수 있음

  > normalization function을 만들어서 넣어주는 형식

 

Preprocessing with Cloud Dataprep

- 데이터를 시각화하고, 전체를 확인하기 쉬움

  > 협업에서 사용하기에도 확장성을 가지고 있음

- dataprep에서 데이터 탐색 및 ui로 디자인 및 dataflow에 의해 만들어진 모든 데이터도 적용 가능

  > dataprep 실습자료 : https://codelabs.developers.google.com/codelabs/mlimmersion-dataprep/#1