데이터과학 삼학년

Bigquery는 array타입을 지원한다. 그래서 array를 unnest를 이용해 데이터row를 각각 풀어서 활용할 수 있다. 가령 24시간대를 나타내는 구조를 만들려고 한다면, bigquery에서는 아래와 같이 만들수 있다. 그러나 MYSQL 에서는 array를 지원해주지 않기 때문에 recursive문을 만들어 위와 같은 형태를 만들수 있다. WITH RECURSIVE num (H) AS ( SELECT 0 UNION ALL SELECT H+1 FROM num WHERE H < 23 ) SELECT * FROM num

유튜브 Data API Youtube Data API(v3) 유튜브와 관련된 기본적인 API로, 동영상을 업로드하거나 재생목록을 관리하는 등의 가장 기본적인 기능 제공 Youtube Analytics API 유튜브의 동영상 및 채널에 대한 시청 통계, 인기도 통계 등 검색, 동영상 수익 관련 정보 Youtube Live Streaming API 1. 유튜브 영상 정보 수집 youtube data api 에서 api key를 발급받아 사용 가능 pafy 라이브러리 사용 dislike count로 인해 keyerror 발생 package파일에 직접 들어가서 해당부분 주석 처리 title, author, published, likes, category, description, keywords, viewcoun..

Bigquery ML에서 모델을 create하고, 모델을 이용해 예측을 할때, 단순히 predict 뿐만 아니라 explain_predict를 이용하여 모델의 결과를 설명할 수 있는 여러 요소를 조회할 수 있다. 이를 통해 간단한 쿼리만으로 모델의 학습과 예측결과, 그리고 예측 결과에 대한 설명자료까지 확인이 가능하다. 아래 표는 모델별 explainability method를 무엇을 썼는지 나타내 준다. 일반적인 통계기반의 ML은 coefficient를 기준으로 모델을 설명한다. Local vs. Global Explainability Explainability encompasses two types: local and global explainability. These are also known re..

빅쿼리 프로시져는 함수처럼 작동한다. 즉, 프로시져 자체를 재귀적으로 호출 가능하다 그렇다면, 대표적인 recursion 문제인 피보나치 수열을 빅쿼리를 이용해 구현해보자! 구현 코드 # Bigquery procedure를 이용하여 recursion 피보나치 수열 함수 만들기 CREATE OR REPLACE PROCEDURE bdh.Fibo(INOUT x INT64) BEGIN DECLARE a,b INT64; IF x

Bigquery Procedure 소개 Bigquery procedure 는 쿼리문을 함수의 형태로 만들어, parameter 입력을 통해 쿼리문의 재사용성을 높이는 개념이다. 코드 공통화가 있다면, 쿼리 공통화라고 생각해도 좋지 않을까. Bigquery Procedure Bigquery 내에서 함수의 개념처럼 쿼리문 자체를 parameter를 받아 쿼리를 날리는 개념 UDF function과는 다름 UDF function : 쿼리 내에서 SUM, MAX 등과 같은 기능 함수를 유저가 정의해서 사용하는 개념 Bigquery procedure : CALL dataset.GetEmployeeHierarchy(target_employee_id, employee_hierarchy); 미리 정의한 쿼리문을 파라미..

Cloud Scheduler 를 이용한 vm instance 관리 1. 개요 - 리소스 라벨을 사용해서 정기적으로 Compute Engine 인스턴스를 자동 시작 및 중지하기 위해 Cloud Scheduler 및 Cloud Functions를 사용하는 방법 고성능의 vm을 업무시간에 맞춰 자동으로 on / off 함으로써 비용 감소 주말 자동 off 2. 프로세스 - Cloud function을 이용한 vm on off 함수 작성 → Cloud scheduler를 이용한 실행 (pub/sub 이용) Compute Engine : 정기적으로 실행하려고 하는 Compute Engine 인스턴스 Cloud Functions : 예약하려는 인스턴스를 시작하고 중지하는 함수 Pub/Sub : 시작 및 중지 이벤트..

제곧내pandas 작업을 하다보면 한 column에 array형태가 들어가는 케이스가 있다.이를 bigquery에 로드하면 bigquery는 array 자체를 string으로 받아 버리는 문제가 있다. 즉 내가 원하는 형태는 이런 pandas dataframe 자료가 있을 때 이것을 Bigquery에 그냥 올리면 아래와 같이 string 형태로 올라가지만 실제 원하는 케이스는 아래 그림과 같을 것이다. 자 코드를 통해 어떻게 하는지 알아보자.bigquery에 table을 load하기 위해서는 일단 bigquery client api를 사용한다.from google.cloud import bigquery import pandas client = bigquery.Client() ## data df = pd...

Dataflow를 이용한 텍스트 전처리 (feat. universal sentence encoder) Tensoflow 1.13 버전에서 실행 (transfer learning 버전은 tf 1) TF 2.x 버전의 transfer learning을 사용할 경우 아래링크와 같은 문제 발생 [https://github.com/tensorflow/transform/issues/160] 전처리 과정 형태소 분석 : raw text data를 형태소단위 token 및 stopword 제거 정제된 raw data 는 GCS 및 Bigquery table 로드 Transfer learning : 정제된 raw data를 universal sentence encoder multilingual을 이용하여 벡터화 (512..