데이터과학 삼학년

CNN for sequence models - cnn 공간적인 특징을 잘 잡아냄 - 시간도 공간적인 특성을 가지고 있어서 cnn을 적용함 - convolution 필터를 통해 시계열적인 특성에서 이상한 점들을 발견가능 > 필터사이즈가 3인 1d convolution인 경우 아래와 같은 그림을 얻을 수 있음 > 이 부분은 시계열 이상탐지에 적용할 수 있을 것으로 보임 - reshape를 통해 (?*10*필터수(1)) → 왜 1이냐면 1d convolution이기 때문 > maxpooling 안에 1d convolution을 넣은 것이지! - 1d convolution을 구성하는 단계 - CNN에서 dropout은 사용하지말아라, 할거면 fc layer에서 적용하는 정도? - RNN에서 dropout을 쓰려..

유사도 분석에서 흔히들 말하는 cosine similarity가 있다.그러나 cosine similarity는 한계를 가지고 있어 이를 변형한 angular distance에 대해 소개하도록 하겠다. cosine similarity 문제점cosine similarity는 두 벡터간의 각도가 작으면 매우 비슷한 similarity를 갖는다는 것이다.the problem with the cosine similarity is that small angles have very similar cosines. (In the diagram further below, compare the curves near the top edge.) 위 그래프에서 사용된 함수는 아래와 같다. 위 그래프의 왼쪽에서 보면 consine..

TextVectorizaion Layer 적용된 모델의 예측 방법 배경 및 현황 tf.keras에서 2.x 버전부터 experimental로 preprocessing layer를 제공해줌 text to vector의 layer 존재 확인(tf 2.2) from tensorflow.keras.layers.experimental.preprocessing import TextVectorization 이를 이용해 모델 Layer에 TextVectorization Layer가 있으면 input을 string 형태로 넣어도 된다는 장점이 있음 모델의 Layer에 Text Vectorization을 넣은 경우 문제점이 발견되어 문제점 / 원인 / 해결방안에 대해 본 보고서에 다루고자 함 문제점 학습 단계에서 Call..

이전에 tf.keras 의 layer 자체에 preprocessing을 하는 기능을 넣어 텍스트를 쉽게 vectorization하는 것의 기능을 살펴보았다. (tf.keras.layers.experimental.preprocessing.TextVectorization) 해당기능은 tensorflow 2.2 버전의 experimental로 들어와 있는데 이 기능의 한계를 알아보겠다. 먼저 모델 layer에 preprocessing.TextVectorization을 넣을때, 해당 layer를 넣기 전 text vocab구성을 위해 adapt 라는 method를 호출해 fit을 한다. 이렇게 하면 vocab을 형성하여 vectorization을 한다. 그러나 해당 모델을 잘 사용하고 저장 후 다시 불러오면 어..

이글은 google developers에서 퍼온 글임을 밝힙니다. Sequential API ML을 배우는 학생이라면 tf.keras Sequential API로 시작하실 것을 권장합니다. 직관적이고 간결하며 사실상 ML 문제의 95% 정도에 적합한 API이기 때문입니다. 이 API를 사용하면 대략 10줄 정도의 코드만으로 생애 최초의 신경망 프로그램을 작성하실 수 있을 겁니다. 단 몇 줄의 코드로 작성한 생애 최초의 신경망을 훈련하기 위한 예제를 보려면 여기 를 클릭하세요. 모델을 정의하는 가장 일반적인 방법은 우리가 딥 러닝에 대해 생각할 때 흔히 사용하는 멘탈 모델에 해당하는 계층 그래프를 빌드하는 방법입니다. 가장 단순한 유형의 모델은 계층 쌓기입니다. 다음과 같이 Sequential API를 사..

TF.2.x Keras 모델의 predict output을 사용자가 커스텀하는 방법 1. 배경 및 필요성 tf.2.X tf.keras를 이용하여 예측시 예측결과를 커스텀하는 것의 어려움이 있었음 예측결과에 tf.estimator의 경우, estimatorspec의 predictoutput을 이용해 info_column 을 커스텀 할 수 있음 tf.keras에서도 predict output을 커스텀하게 만들 방법 모색 필요 2. 방법론 tf.keras.Model 의 다중 input, 다중 output을 받는 방식으로, info_column을 output까지 그대로 가져오는 방법 tf.keras.Model 을 상속받아 custom Keras model을 만들어 predict 메서드를 overriding하여 ..

tf.estimator를 사용하는 사람들은 tf.estimator의 Estimatorspec 을 이용하여 predictoutput의 형태를 지정해줄 수 있다. 가령 classification 문제의 경우, 상품 id, 구매자 이름 등의 모델에 태우지 않은 info 정보들을 포함하고 있는 것을 말한다. if mode == tf.estimator.ModeKeys.PREDICT: in_out_dist = input_layer - output_layer predictions = { 'in_out_dist': in_out_dist, 'hint_idx': tf.argmax(tf.abs(in_out_dist), axis=1), 'score': tf.norm(input_layer - output_layer, axis=..

GCP ai-platform 을 이용하여 serverless 머신러닝을 적용한다. 텍스트 분류 문제를 풀기 위한 구성 방법이다. Custom config - learning rate 설정 가능 --> learning rate scheduler 적용 - optimizer 설정 : ['Adadelta', 'Adagrad', 'Adamax', 'Nadam', 'RMSprop', 'SGD', 'Adam'] - model 설정 : ['DNN', 'CNN', 'RNN', 'BiRNN', 'BiLSTM', 'BiLSTM_ATTENTION'] - 그외 embedded dim, cell units, batch size, patient(early stopping), epoch 등 설정 가능 - 파라미터 넣을때, epoch..