데이터과학 삼학년

stationary 한 시계열 데이터인지 아닌지 확인하는 방법들에 대해 알아본다. 눈으로 보기: 직접 plotting해서 시간에 따라 변하는지 볼 것 간단한 평균 내보기: 대략 반으로 쪼개서 앞의 평균과 뒤의 평균이 얼마나 다른지 볼 것 statistical test: 통계적 검정하기 --> ADF 검정 검정통계량이(ADF Statistics)가 Critical Value 보다 작으면 stationary 한 시계열 데이터 혹은 P-value가 설정한 신뢰수준 값 (e.g. 0.05) 보다 작은지 큰지 확인하면 된다. 작으면 stationary한 시계열 데이터! 아래 코드를 통한 결과를 보면 female birth데이터가 adf검정값이 critical value보다 작고 p-value가 0.05보다 작으므..

- 정상성(stationarity)을 가지는 데이터란 어떠한 분포 (정규분포 등)을 따르는 데이터를 의미함 정상성 (Stationarity) - 정상성(stationarity)을 나타내는 시계열은 시계열의 특징이 해당 시계열이 관측된 시간에 무관 - 추세나 계절성이 있는 시계열은 정상성을 나타내는 시계열이 아님 - 추세와 계절성은 서로 다른 시간에 시계열의 값에 영향을 줄 것이기 때문 - 반면에, 백색잡음(white noise) 시계열은 정상성을 나타내는 시계열 > 언제 관찰하는지에 상관이 없고, 시간에 따라 어떤 시점에서 보더라도 똑같이 보일 것 몇 가지 경우는 헷갈릴 수 있습니다 — 주기성 행동을 가지고 있는 (하지만 추세나 계절성은 없는) 시계열은 정상성을 나타내는 시계열입니다. 왜냐하면 주기가 고..

# 딥러닝 분야에서 이미지 인식은 활발히 진화하고 있다. 특히 기존의 정형화된 data(tabular) 보다 이미지나 텍스트를 분석하는데 딥러닝이 활발하게 사용되고 있는 추세이다. 이는 tabular 데이터를 이미지화 혹은 텍스트화 한다면, 더 많은 종류의 딥러닝 알고리즘(transfer learning 등)을 적용하여, 좋은 성과를 얻을 수 있다는 것 과 같다. 이에 Tabluar 데이터를 딥러닝에 넣는 것 보다, Tabluar 데이터를 이미지화하여 이미지 모델에 넣는 방법 시도가 나왔고, 시계열 데이터를 이미지로 표현하는 방법중 하나로 recurrence plot을 사용할 수 있다. Recurrence plots - RP는 시계열 데이터를 m차원의 공간 궤적에 그리고, 각 공간궤적에 위치한 점간의 거..

Exponential Smoothing Non-stationary한 데이터에서도 잘 smoothing 시킬수 있는 방법이다. 즉, 시계열에 따른 주기적 Pattern(Trend, Seasonal)을 갖지 않는 데이터에서도 잘 동작한다. (This method is suitable for forecasting data with no clear trend or seasonal pattern.) 예를 들어 아래 그림과 같이 유가를 예측한다면 유가 그래프는 시계열에 따라 상당히 불규칙한 패턴을 가지고 있다. 이를 smoothing 하여 어느정도 pattern을 찾아내어 유가를 예측하는 방법에 exponential smoothing을 적용할 수 있다. Exponential smoothing은 moving aver..

시계열분석을 하기 위해 statsmodels 라는 패키지에 tsa 이용한다. 여기서 다루는 내용은 시계열분 중 STL Decompose를 다룬다. 시계열 분해의 개념은 시계열적인 특성을 띠는 데이터를 trend, seasonal(주기성), residual 로 나누어 분석하는 것이다 (STL Decompose). 시계열 분해 모델은 크게 Additive, Mulitiplicative 모델로 나눌수 있다. Additive 모델 말 그대로 origin = trend + seasonal + residual 으로 나누어 분석한 모델이다. y(t) = Level + Trend + Seasonality + Noise Mulitiplicative 모델 origin = trend * seasonal * residual ..