데이터과학 삼학년

Dynamic Time Warping - 와핑(warping)의 사전적의미는 뒤틀림, 휨 이라는 뜻 - 동적 시간 와핑은 이름과 같이 '속도 또는 길이에 따라 움직임이 다른 두 시계열간의 유사성(거리)을 측정'하는 알고리즘 - 그 거리가 최소화되는 방향으로 매칭시켜 누적 거리가 최소가 되는 warping(뒤틀림) 경로를 찾음 - DTW는 주로 그래픽, 비디오, 오디오와 같은 분야에서 사용되며, 의료분야에서 보행 유사성, 생체신호 분석에 사용, 자동음성 인식 분야에서 두각을 보이며 다른 속도를 가지는 음성을 인식 https://www.cs.ucr.edu/~eamonn/KAIS_2004_warping.pdf 코드 import numpy as np ## A noisy sine wave as query idx ..

최대 가능도 추정 모델의 차수를 찾은 다음(즉, p, d, q 값), 다음과 같은 매개변수 c, ϕ1,…,ϕp, θ1,…,θq 을 추정할 필요가 있습니다. R에서 ARIMA 모델을 계산할 때는, 최대 가능도 추정(maximum likelihood estimation) (MLE)을 사용합니다. 이 방법은 관찰한 데이터를 얻는 확률을 최대화하는 매개변수의 값을 찾습니다. ARIMA 모델에서는 MLE는 다음과 같은 양을 최소화하는 최소제곱(least squares) 추정과 비슷합니다. (5 장에서 다룬 회귀 모델에서, MLE는 최소제곱추정(least squares estimation)과 정확하게 같은 매개변수 추정값을 냅니다.) ARIMA 모델이 회귀 모델을 추정하는 것보다 훨씬 더 복잡하고, 서로 다른 소프..

다변량 시계열 분석이란, 시계열 분석에 있어 하나의 변수가 아닌 2개 이상의 변수의 시계열을 이용해 각 변수간 시계열에 따라 영향을 미치는 정도를 파악할수 있다. VAR (Vector Auto Regression) - 간단히 말하면, multiple regression의 개념을 도입한 자기회귀 모델(시계열 분석)이라고 생각하면 된다. (양 방향 관계(bi-directional relationship)) 위 식처럼, 두가지 이상의 variable 을 가지고 lag (시차값)은 얼만큼이나 할지 정해서 사용하면 된다! VAR을 이용하여 예측할 때 두 가지 요소를 판단하여 모델을 생성해야 한다. - (K로 쓰는) 얼마나 많은 변수 - (p로 쓰는) 얼마나 많은 시차값이 시스템에 있어야 하는지 >> VAR에서 추..

Many To One - single output 한개 기간이 들어가서 한개 기간 결과 출력 output의 갯수가 single(1개) 엄밀히 말하면, 바로 직전 시간대 한개가 들어가 다음 시간대 한개를 예측하는 것이므로 OneToOne 으로 볼 수 있지만, multivariate이기 때문에 ManyToOne으로 보았음 예측결과와 실제값 비교 (4개 feature 로 1개 feature 예측) Many To Many - multi output 한개 기간이 들어가서 한개 기간 결과 출력 output의 갯수가 multi(2개 이상) 예측결과와 실제값 비교 (4개 feature 로 4개 feature 예측) Many To One - multi output 여러 기간이 들어가서 한개 기간 결과 출력 output의..

시계열 데이터 이미지화 비교

pyts 라이브러리는 시계열 데이터를 분석하기 위한 여러 방법 툴을 가지고 있다. 시계열 데이터를 이미지화 시키는 방법 3가지에 대해 다뤄본다. 1. Recurrence Plot 2. Gramian Angular Field 3. Markov Transition Field In [1]: # !pip install pyts Imaging time series 1. Recurrence Plot Recurrence Plot은 궤적자료를 추출한 다음, 궤적사이의 pairwise 거리를 계산하여 plot으로 나타낸 것 $$ \vec{x}_i = (x_i, x_{i + \tau}, \ldots, x_{i + (m - 1)\tau}), \quad \forall i \in \{1, \ldots, n - (m - 1)\t..

Prophet python 튜토리얼 In [1]: # !pip install fbprophet Prophet for python prophet은 sklearn api 모델을 따름 즉, instance를 만들고 fit 과 predict를 이용하는 방식 input은 항상 ds와 y를 받음 ds : datestamp YYYY-MM-DD for a date or YYYY-MM-DD HH:MM:SS y : numeric한 값 (측정) In [2]: import pandas as pd from fbprophet import Prophet In [3]: df = pd.read_csv("prophet_practice.csv") # wikipeia 페이지 뷰 로그 수 데이터 In [4]: print('df shape:'..

stationary 한 시계열 데이터인지 아닌지 확인하는 방법들에 대해 알아본다. 눈으로 보기: 직접 plotting해서 시간에 따라 변하는지 볼 것 간단한 평균 내보기: 대략 반으로 쪼개서 앞의 평균과 뒤의 평균이 얼마나 다른지 볼 것 statistical test: 통계적 검정하기 --> ADF 검정 검정통계량이(ADF Statistics)가 Critical Value 보다 작으면 stationary 한 시계열 데이터 혹은 P-value가 설정한 신뢰수준 값 (e.g. 0.05) 보다 작은지 큰지 확인하면 된다. 작으면 stationary한 시계열 데이터! 아래 코드를 통한 결과를 보면 female birth데이터가 adf검정값이 critical value보다 작고 p-value가 0.05보다 작으므..