일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- gather_nd
- API Gateway
- integrated gradient
- youtube data
- Retry
- Counterfactual Explanations
- subdag
- BigQuery
- spark udf
- Airflow
- 유튜브 API
- correlation
- session 유지
- 상관관계
- airflow subdag
- XAI
- requests
- hadoop
- chatGPT
- top_k
- tensorflow text
- GCP
- grad-cam
- API
- UDF
- flask
- TensorFlow
- GenericGBQException
- 공분산
- login crawling
- Today
- Total
목록전체 글 (403)
데이터과학 삼학년
ROC Curve - multiclassification 문제에서는 각 label별 ROC커브를 그림import numpy as np import tensorflow as tf from sklearn.metrics import precision_recall_curve, auc import matplotlib.pyplot as plt from sklearn.preprocessing import OneHotEncoder # Assuming y_test is a 1D array of class labels y_test = y_test.values.reshape(-1, 1) # Create the one-hot encoder encoder = OneHotEncoder(sparse=False, categories..
deprecated - 앞으로 지원되지 않을것이므로 사용을 자제해라 -> 사용을 할 수는 있는 상태 - 중요도가 떨어져 더 이상 사용되지 않고 앞으로는 사라지게 될 (컴퓨터 시스템 기능 등) obsolete - 더이상 쓰지 않는 코드 -> 쓸수가 없는 코드
인덕티브 학습 (Inductive Learning) 개념 설명 - 인덕티브 학습은 학습된 모델이 이전에 보지 못한 새로운 데이터에 대해 일반화할 수 있도록 학습하는 것을 의미 - supervised learning - 주어진 훈련 데이터에서 일반적인 규칙이나 패턴을 추출하여 새로운 데이터에 대한 예측을 수행하는 것을 목표 예시 - 분류 문제에서 고양이와 개의 이미지를 사용하여 학습한 후 새로운 이미지가 고양이인지 개인지 분류하는 것 트랜스덕티브 학습 (Transductive Learning) 개념 설명 - 트랜스덕티브 학습은 훈련 데이터와 동시에 테스트 데이터를 고려하여 학습하는 방법 - 학습 데이터와 테스트 데이터를 함께 고려하여 모델을 구축하고, 특정 테스트 데이터에 대한 예측을 수행 - semi-s..
SHAP을 활용한 기여도 시각화 - 의사결정 트리는 모델에 대한 해석이 쉽지만 많은 변수를 볼수 없고, 랜덤 포레스트는 모든 변수를 확인할 수는 있으나 feature 값이 커지면 결과의 변화정도를 알기 어려움 - 위와 같은 문제 해결을 위해 SHAP을 이용할 수 있음 (treeSHAP) - 아래 결과는 SHAP summary_plot - 세로축은 Feature importance 순서대로 나열 가로축은 SHAP value(0)를 기준으로 왼쪽일 수록 음의 방향으로 기여, 오른쪽일수록 양의 방향으로 기여 feature의 값을 의미하는 색 : 파란색은 낮은값, 빨간색은 높은 값 파란색이 왼쪽, 빨간색이 오른쪽으로 넓게 퍼져 있으면 feature값은 반응변수와 강한 양의 상관관계가 있고, 반대면 음의 상관관계..
AARRR - 중요한 것은 일을 "많이" 하는 것이 아니라 "지금 가장 필요한 일"에 집중해서 성과를 만들어 내는 것 - 사용자의 이용 흐름에 따른 핵심 지표를 정의하는데 매우 효율적으로 활용 가능 - 고객유치 -> 활성화 -> 리텐션 -> 수익화 -> 추천 - 사용자가 서비스에 진입하고, 핵심 기능을 사용하고, 결제하고, 이탈하는 라이프사이클 전반에 걸친 핵심 지표를 찾고 관리 Acquisition - 고객 유치 과정의 핵심은 고객 유치에 기여(Attribution)한 채널의 성과를 판단할 수 있는 모델을 만드는 것 - 어떤 채널을 통해 들어온 사용자들이 꾸준히 남아서 활동하는지, 결제로 전환되는 비율이 얼마나 되는지 Organic vs Paid user - Organic : 자발적으로 서비스에 찾아오..
클라이언트 측에서 동적 처리를 하는 웹페이지 예시 예시로 간단한 To-Do 리스트 애플리케이션 만들기!! 파일 구조 ├── static │ ├── script.js │ └── styles.css ├── templates │ └── index.html └── web.py HTML 파일 (index.html): To-Do List Add Task CSS 파일 (styles.css): body { font-family: Arial, sans-serif; margin: 20px; } #app { max-width: 400px; margin: 0 auto; } ul { list-style-type: none; padding: 0; } li { margin-bottom: 8px; } .completed { text..
파이썬은 정말 편한 언어다. 변수의 타입이나, 파라미터의 타입을 지정할 필요가 없다. 타입도 계속 바꿔서 사용할 수 있다. 그러나, 이런 타입을 지정해서 처리하는 방법도 있다. def example_function(param1: int = 0, param2: str = "default_value") -> str: # 함수 내용 result = f"{param1} - {param2}" return result # 함수 사용 예시 output = example_function(42, "custom_value") print(output) 숫자 덧셈 함수 def add_numbers(a: float, b: float) -> float: return a + b result = add_numbers(3.5, 2.7..
Growth Hacking Growth : 성장, Hacking : 해킹 -> 성장하는 방법을 해킹하는 것 - 크로스펑셔널한 직군의 멤버들이 모여 핵심지표를 중심으로 실험ㅇ르 통해 배움을 얻고, 이를 빠르게 반복하면서 제품이나 서비스를 성장시키는 것 크로스펑셔널 팀 (Cross-Functional Team) - 여러 직군 간 협업으로 그로스 해킹 - 디자이너, 마케터, 데이터 분석가 등 다양한 직군의 멤버들이 팀을 이루어 각자의 전문성을 발휘하며 시너지를 내야 함 린 스타트업(Lean Startup) - 시간과 자원이 부족한 스타트업이 성고하기 위해 실패로 인한 비용을 최소한으로 줄이고, 작은 성공 경험을 꾸준히 쌓아 나가는 방법 - 제품 개발 -> 지표 측정 -> 학습 및 개선 이라는 사이클을 빠르게 ..