Machine Learning
Preprocessing and feature creations (with Cloud Dataprep)
Dan-k
2020. 2. 3. 16:13
반응형
Preprocessing and feature creations
- 데이터를 전체를 한번 보고 파악할 필요 있음
- 카테고리형 변수를 변환시켜 넣어줄 필요 있음
- Feature engineering
> Bigquery
> Apache Beam
> TensorFlow
>> discretization → bucketized
- feature_column에서 전처리를 해야지 그래프와 함께 저장되서 서브인풋이 들어와도 잘 처리할 수 있음
> feature_column에서는 사칙연산을 쓰지 않고, input_fn에서 함수하나 만들어서 쓰는 것이 낫지
- Normalization은 feature_column 에서 바로 적용할 수 있음
> normalization function을 만들어서 넣어주는 형식
Preprocessing with Cloud Dataprep
- 데이터를 시각화하고, 전체를 확인하기 쉬움
> 협업에서 사용하기에도 확장성을 가지고 있음
- dataprep에서 데이터 탐색 및 ui로 디자인 및 dataflow에 의해 만들어진 모든 데이터도 적용 가능
> dataprep 실습자료 : https://codelabs.developers.google.com/codelabs/mlimmersion-dataprep/#1
728x90
반응형
LIST