일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- API Gateway
- requests
- airflow subdag
- 유튜브 API
- UDF
- Airflow
- GenericGBQException
- API
- spark udf
- top_k
- gather_nd
- GCP
- session 유지
- integrated gradient
- chatGPT
- hadoop
- TensorFlow
- youtube data
- Retry
- XAI
- flask
- BigQuery
- Counterfactual Explanations
- 공분산
- login crawling
- subdag
- correlation
- grad-cam
- 상관관계
- tensorflow text
- Today
- Total
목록Data Visualization & DataBase (15)
데이터과학 삼학년
covid-19 데이터를 시각화로 훑어보자 기간 : 2020.01.22~2020.03.22 data : 공공데이터를 bigquery에 로드하여 분석 시각화 툴 : plotly express 를 주로 사용 import numpy as np import pandas as pd import chart_studio.plotly as py import plotly.express as px import plotly.graph_objects as go import cufflinks as cf cf.go_offline(connected=True) %matplotlib inline %load_ext google.cloud.bigquery %%bigquery df with data as ( SELECT _TABLE_SUF..
In [ ]: !pip3 install folium In [1]: import folium In [2]: locat=[37.459411, 126.950642] # 서울대학교 In [3]: m = folium.Map(location=locat,zoom_start=15) In [4]: m Out[4]: Make this Notebook Trusted to load map: File -> Trust Notebook In [5]: m.save('index.html') In [6]: folium.Map( location=locat, tiles='Stamen Toner', zoom_start=13 ) Out[6]: Make this Notebook Trusted to load map: ..
plotly를 이용해 시계열 데이터를 시각화하는 것을 알아본다. 데이터를 불러올 bigquery와 plotly 모듈을 불러온다. import pandas as pd import chart_studio.plotly as py import plotly.express as px import plotly.graph_objects as go import cufflinks as cf cf.go_offline(connected=True) %matplotlib inline %load_ext google.cloud.bigquery 데이터 불러오기 %%bigquery df SELECT regdatetime, featureFROM `proejct.timeseries.decompose_data` ORDER BY regdate..
우연히 시각화 툴을 탐색하다가 아래와 같은 표를 보았다. matplotlib은 파이썬 입문때 주로 썼고, bokeh는 web 작업을 하면서 써봤다.. 그렇다면 plotly는? ipython 환경에서 interactive한 시각화 기능을 쓸 수 있다. 자 그럼 먼저 설치는 !pip install chart_studio !pip install cufflinks chat_studio 에 plotly 가 들어있다. import numpy as np import pandas as pd import chart_studio.plotly as py import plotly.express as px import plotly.graph_objects as go import cufflinks as cf cf.go_offli..
Bokeh에서는 interactive legend라는 것이 있어 레전드에 표시된 대상들을 figure에 표시했다 숨겼다할 수 있는 기능이 있다. 코드는 아래와 같다 from bokeh.embed import components from bokeh.plotting import figure from bokeh.resources import INLINE from bokeh.util.string import encode_utf8 from bokeh.models import ColumnDataSource, HoverTool, Legend, LegendItem from bokeh.layouts import gridplot plot2 = fig.circle('Datetime', 'anomaly_1', source=s..
bokeh에서 multiple plot에 마우스를 갖다대면 정보가 나오게 하는 방법!!! 바로! HoverTool 이다. 이 툴을 이용하면 표시하길 원하는 tooltips를 추가하고, 각 plot별로 렌터링해서 표현해줄 수 있다. 예를 들면 두개의 plot이 섞여 있을때 각기 다른 정보를 보여줄수 있다!!! 코드를 보자 HoverTool 의 argument로 renderers 라는 것에 plot별 tooltips을 넣어줄수 있다!!!! from bokeh.plotting import figure from bokeh.models import ColumnDataSource,HoverTool from bokeh.layouts import row, column, gridplot ## interactive ann..
데이터 분석을 할 때 시각화는 필수이다. 시각화를 위한 툴은 많고...그 많은 툴들을 효과적으로 사용하기 위해 ipython을 활용하는 방법을 소개하려 한다. 만약 시각화하여 확인해 보아야할 feature가 200개, 10000개가 넘어간다면.... figure를 for문을 돌며 200개, 10000개를 다 그려 보는 것은 불필요하며 보기도 어려울 것이다. 이를 해결하기 위해 jupyter notebook 내에 ipytwidgets을 활용하면 라디오 버튼이나 필터링 버튼으로 깔끔하게 확인할 수 있다. 백마디말보다 코드로... import pandas as pd from ipywidgets import * import seaborn as sns df = pd.DataFrame({'kim':[1,2,3,4,..