데이터과학 삼학년

Dynamic Time Warping - 와핑(warping)의 사전적의미는 뒤틀림, 휨 이라는 뜻 - 동적 시간 와핑은 이름과 같이 '속도 또는 길이에 따라 움직임이 다른 두 시계열간의 유사성(거리)을 측정'하는 알고리즘 - 그 거리가 최소화되는 방향으로 매칭시켜 누적 거리가 최소가 되는 warping(뒤틀림) 경로를 찾음 - DTW는 주로 그래픽, 비디오, 오디오와 같은 분야에서 사용되며, 의료분야에서 보행 유사성, 생체신호 분석에 사용, 자동음성 인식 분야에서 두각을 보이며 다른 속도를 가지는 음성을 인식 https://www.cs.ucr.edu/~eamonn/KAIS_2004_warping.pdf 코드 import numpy as np ## A noisy sine wave as query idx ..

텔레그램봇을 활용한 유저데이터 수집 및 활용 메시지 서비스인 텔레그램을 이용해서 다양한 유저 데이터 수집과 유저 반응에 따른 자동 서비스를 구현할 수 있다. [목차] 1. 텔레그램 봇 만들기 2. 텔레그램 봇 설정 - 그룹 메시지 보기(disabled 설정) - 관리자 권한 획득 3. 그룹챗에서 getupdates를 이용하여 데이터 수집 4. 그룹챗에 메시지 보내기 5. 유저반응에 따라 대응하는 자동 응답형 봇 만들기 1. 텔레그램 봇 만들기 - BotFather를 이용한 텔레그램 봇 만들기 텔레그램 방에 BotFather를 검색하여 대화 시작한다. ‘/명령어’ 를 이용해 다양한 봇 생성 및 세팅을 할수 있다. /newbot - create a new bot /mybots - edit your bots ..

데크(deque)의 개념 보통 큐(queue)는 선입선출(FIFO) 방식으로 작동한다. 반면, 양방향 큐가 있는데 그것이 바로 데크(deque)다. 즉, 앞, 뒤 양쪽 방향에서 엘리먼트(element)를 추가하거나 제거할 수 있다. 데크는 양 끝 엘리먼트의 append와 pop이 압도적으로 빠르다. 컨테이너(container)의 양끝 엘리먼트(element)에 접근하여 삽입 또는 제거를 할 경우, 일반적인 리스트(list)가 이러한 연산에 O(n)이 소요되는 데 반해, 데크(deque)는 O(1)로 접근 가능하다. from collections import deque deq = deque() # Add element to the start deq.appendleft(10) # Add element to ..

Needleman-Wunsch 알고리즘 - 생물정보학 에서 단백질 또는 뉴클레오티드 서열 을 정렬 하는 데 사용되는 알고리즘 - 생물학적 시퀀스를 비교하기 위한 동적 프로그래밍 의 첫 번째 응용 프로그램 중 하나 - Needleman-Wunsch 알고리즘은 특히 전역 정렬의 품질이 가장 중요한 경우 최적의 전역 정렬에 여전히 널리 사용 - 알고리즘은 가능한 모든 정렬에 점수를 할당하고 알고리즘의 목적은 가장 높은 점수를 가진 가능한 모든 정렬을 찾는 것 Needleman-Wunsch 알고리즘 방법 match, mis-match, gap에 대해 score를 매김 아래 두가지의 순서를 가진 서열이 있다고 가정하면 - seq1. AGTCG - seq2. ATGG 1. 두 서열을 기준으로 matrix를 만든다...

Transfer learning Transfer learning은 주로 대규모의 데이터셋과 large모델로 미리 학습시킨, 즉, pre-trained model을 가져다가 목적에 맞게 사용하는 것을 의미함 이미 잘 학습되어 있는 모델을 사용해 빠르게 학습 시키는 개념 (trainable = False) 학습된 모델의 최종 출력층 다음에 목적에 맞는 layer를 추가하여, 보유한 소량의 데이터로 새로 추가한 layer에 대해 학습시킴 Fine tuning Pre-trained 된 모델의 가중치를 기반으로 보유하고 있는 데이터(문제에 맞는)로 가중치를 업데이트하는 개념 즉, Pre-trained 된 모델의 가중치를 재학습 시키거나, 학습된 가중치의 일부를 재학습 시키는 개념 https://purnasaigu..

Fine tuning - 기존 학습되어져 있는 모델을 기반으로 새로운 목적(데이터에 맞게)에 맞게 모델을 변형 - 모델의 파라미터를 미세하게 조정하는 행위 : pre-trained model에 추가 데이터를 이용하여 파라미터를 업데이트 - 파인튜닝은 정교한 파라미터 튜닝 Keras에서 fine tuning - Trainable = False 이냐 True이냐로 fine tuning을 할지 말지 결정 - https://keras.io/guides/transfer_learning/ Build a model Now let's built a model that follows the blueprint we've explained earlier. Note that: We add a Rescaling layer to..

데이터에 결측치가 많다면 다른 데이터를 이용하여 결측치를 추정할 수 있다. 정확하지 않지만 결측치를 추정하는 방법에는 주어진 데이터 범위 내의 값을 추정하냐, 범위 밖에 값을 추정하냐로, interpolation, extrapolation으로 구분할 수 있다. interpolation(보간법, 내삽) - 범위 안에 있는 값을 예측하는 것 - interpoltaion의 방법에 따라 선형, 스플라인, extrapolation(보외법, 외삽) - 범위 밖에 있는 값을 예측하는 것 interpolation(보간법, 내삽) VS extrapolation(보외법, 외삽) s = pd.Series([0, 1, np.nan, 3]) s 0 0.0 1 1.0 2 NaN 3 3.0 dtype: float64 s.inter..

Bigquery는 array타입을 지원한다. 그래서 array를 unnest를 이용해 데이터row를 각각 풀어서 활용할 수 있다. 가령 24시간대를 나타내는 구조를 만들려고 한다면, bigquery에서는 아래와 같이 만들수 있다. 그러나 MYSQL 에서는 array를 지원해주지 않기 때문에 recursive문을 만들어 위와 같은 형태를 만들수 있다. WITH RECURSIVE num (H) AS ( SELECT 0 UNION ALL SELECT H+1 FROM num WHERE H < 23 ) SELECT * FROM num