데이터과학 삼학년

Flask-Caching 자료에 대해 소개한다. cache는 일단 요청되었던 기록이 있는지를 확인하고 이미 요청 기록이 있을 경우에 반환했던 값을 내뱉어 대기시간을 줄이는 기법으로 보면 된다. 이 자료는 https://flask-caching.readthedocs.io/en/latest/ Flask-Caching — Flask-Caching 1.0.0 documentation Flask-Caching Flask-Caching is an extension to Flask that adds caching support for various backends to any Flask application. Besides providing support for all werkzeug’s original cachin..

BQ table에 있는 COLUMN 중 스키마 타입이 변경되었을 경우, TABLE_SUFFIX를 사용하지 못하는 경우에 대해 공유하려고 한다. 이것이 무슨 말인가 하니... 코드를 보며 이해해 보자 1. 상황 grade field 가 있는데 특정 날짜를 기준으로 해당 field의 type이 변경됨. 예시) grade type 20200128 이전 string 20200128 이후 integer 2. Table_suffix를 이용하여 쿼리를 날릴 경우! SELECT grade FROM `[project_id].[table_id].data_*` WHERE _TABLE_SUFFIX = '20200127' 이러한 에러가 발생!!! 그러나 _table_suffix를 사용하지 않고 직접 입력해준다면...잘실행됨 S..

파이썬 데커레이터는 말 그대로 꾸며주는 함수라고 생각하면 된다. 클로저와 데커레이터의 가장 큰 차이는 데커레이터는 함수를 argument로 받는다는 점이다. 실행 시간을 나타내는 clock이라는 데커레이터를 보자 import time def clock(func): def clocked(*args): t0 = time.perf_counter() result = func(*args) elapesd = time.perf_counter() - t0 name = func.__name__ arg_str = ', '.join(repr(arg) for arg in args) print('[%0.8fs] %s(%s) -> %r' %(elapesd, name, arg_str, result)) return result re..

버블 정렬 두 개의 데이터를 서로 비교 하면서 큰지, 작은지의 여부에 따라 정렬하는 방법 시간복잡도는 O(n^2) 으로 가장 단순하면서 오래걸리는 정렬 방법이다. - 버블 정렬은 첫 번째 자료와 두 번째 자료를, 두 번째 자료와 세 번째 자료를, 세 번째와 네 번째를, … 이런 식으로 (마지막-1)번째 자료와 마지막 자료를 비교하여 교환하면서 자료를 정렬한다. - 1회전을 수행하고 나면 가장 큰 자료가 맨 뒤로 이동하므로 2회전에서는 맨 끝에 있는 자료는 정렬에서 제외되고, 2회전을 수행하고 나면 끝에서 두 번째 자료까지는 정렬에서 제외된다. 이렇게 정렬을 1회전 수행할 때마다 정렬에서 제외되는 데이터가 하나씩 늘어난다. 파이썬 코드 def bubble(lst): for j in range(len(lst..

이진분할로 중간 pivot을 이용해 데이터를 정렬하는 기법 recursion을 이용하면..간단히(?) 풀 수 있다. def quick_sort(arr): if len(arr) pivot: greater_arr.append(num) else: equal_arr.append(num) return quick_sort(lesser_arr) + equal_arr + quick_sort(greater_arr)

데이터 사이언티스트로서 모델을 통한 결과들을 시각화하고 이를 다수의 사용자나 관리자가 확인할 수 있도록 구성할 일이 있다. 이럴때는 web 개발....web을 이용하여 서비스를 제공해주면, 하루 평균 접속자 수나 많은 사람들이 접근 권한만 가지고 있으면 접근하여 결과를 언제든지 확인하고 비즈니스 목적을 위한 판단자료로 쓸 수 있다. 먼저 web을 구성하려면 전체적인 개발 구조를 확립해야한다. 나는 시계열 분석을 이용하여 탐지된 결과를 테이블로 나타내고, 시계열 분해를 시각화하여 보다 자세히 현황을 파악할 수 있기를 원했다. 1. web 개발 구조 위처럼 project별로 구성해 놓으면 project별 접근할 수 있게 하며 한 서버에서 많은 프로젝트의 관리가 용이하다. 2. 파일구조 app.py templ..

주 HTML을 구성하여 넣을 내용들을 영역을 나눠놓고, 각 영역별 들어갈 HTML을 작성하여 붙이는 작업을 할때 필요한 팁을 정리한다. 먼저 Main HTML을 구성하고 영역을 나누는 작업을 한다. 1.main HTML Title {% include 'table.html' %} {% include 'figure.html' %} 나는 컬럼을 3:9 의 비율로 나눠 각각 테이블과 그림을 넣을 예정이다. main 안에 있는 include를 쓸 때 block 을 이용하여 table.html을 넣을 것이다. 그러나 단순히 table.html에 block을 직접 적용하면 main.html의 모든 내용을 복사하여(확장하여) 사용하는 것이기 때문에 중복이 발생한다. 이를 막기 위해 table_admin.html 이라는..

Web 개발에서 ajax 를 사용하면 여러 데이터들을 아주 보기 좋게 테이블로 나타낼 수 있는 장점이 있다. pandas dataframe을 ajax에 적용하기 위한 방법을 정리한다. 1. pandas df --> json for ajax ajax는 기본적으로 json 형태의 data를 받기 때문에 pandas df를 json으로 변환해야한다. pandas에서 json은 다양한 형태로 저장 될 수 있다. 아래 그림 처럼 orient 를 통하여 records, index, columns, values, table 등 다양한 json 형태로 저장할 수 있다. ajax는 이 중 records의 방법을 선택하여 저장하면 된다! Ajax 홈페이지에서는 data 형태를 아래와 같은 형태로 저장했지만 실제로는 아래처..