일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- top_k
- youtube data
- Airflow
- API Gateway
- 유튜브 API
- GenericGBQException
- spark udf
- XAI
- Retry
- grad-cam
- GCP
- correlation
- 공분산
- UDF
- requests
- flask
- Counterfactual Explanations
- session 유지
- 상관관계
- login crawling
- airflow subdag
- gather_nd
- BigQuery
- API
- integrated gradient
- TensorFlow
- chatGPT
- hadoop
- tensorflow text
- subdag
- Today
- Total
목록분류 전체보기 (403)
데이터과학 삼학년
Explainable Boosting Machine(EBM) - 트리기반의 순환형 gradient boosting - Generalized Additive 모델 [참고] - 다른 알고리즘 모델보다 학습에 시간이 더 소요될 수 잇음 - glassbox 모델이라 불림 ㄴ 기존 딥러닝 모델이 blackbox모델로 불리며 내부 동작구조를 알기 어려움 ㄴ 내부가 다 보이는 glass박스 모델은 내부 동작구조를 어느정도 알수 있어서 이렇게 명명하지 않았을까?! ㄴ model-agnostic에 맞게 의역해보면, Model에 관계없이 적용가능한 방법론 - 기존 boosting 방식으로 학습시키나, Xi와 y간의 관계를 추가함수를 통해 정의함으로서 비선형성 문제도 해결할 수 있도록 고안 학습방식 - feature를 한개..
커널 함수(kernel function) - Support Vector Machine(SVM)과 같은 머신러닝 모델에서 사용되는 함수 - 커널 함수는 두 개의 입력 벡터를 받아 두 벡터 간의 유사도 또는 내적(inner product) 값을 계산하는 역할 - 유사도 또는 내적 값은 입력 데이터를 더 고차원 공간으로 매핑하거나 유사도를 측정하여 머신러닝 모델에서 판별 경계를 만들 때 사용 커널 함수 조건 : Mercer의 정리(Mercer's Theorem) - Mercer의 정리가 충족되면 커널 함수는 커널 트릭을 사용하여 고차원 특징 공간에서의 비선형 문제를 효과적으로 해결 가능 1. 대칭성(Symmetry) - 커널 함수 $K(x, y)$ 는 대칭성을 가져야 함 -> 즉, $K(x, y) = K(y,..
블로그 설정 -> 스킨편집 -> html편집 사이에 아래 코드 삽입 본문에 $로 시작해서 $끝나는 문자는 수식처리됨 수식만 한줄로 크게 쓰고 싶으면 $$로 시작해서 $$로 끝내삼... $K(x, y)$ -> 수식 쓰는 참고 사이트 https://atomurl.net/math/ TeX equation editor (Mathematical Formulas) Online equation editor for writing math equations, expressions, mathematical characters, and operations. You can also generate an image of a mathematical formula using the TeX language. This is usefu..
- huggingface에서 모델을 임포트하여 TF로 사용하려 할때!! ㄴ 파이토치 가중치만 존재하는 모델이 있다. - 이때 tf에서 사용할 수 있는 방법은!!!! 존재한다. 바로... ㄴ from_pt=True from transfomers import TFAutoModel model_ckt = 'distilbert-base-uncased' tf_model = TFAutoModel.from_pretrained(model_ckt) ## 파이토치 가중치만 있는 모델 model_ckt_torch = 'xlm-roberta-base' tf_xlmr = TFAutoModel.from_pretrained(model_ckt_torch, from_pt=True) -> 자동으로 파이토치 가중치를 다운로드해 변환
자연어 처리 모델로 요즘 허깅페이스에서 pretrained model 많이 쓰는데.. 모델중 -uncased, -cased 라는 명이 있다! 이것이 무엇을 의미하는 것일까?! cased - 텍스트 전처리 과정에서 별도의 처리를 하지 않고 문자 그대로 내놓는것 uncased - 텍스트 전처리 과정에서 소문자 변환, 강조변환을 없애는 등 어느정도 데이터를 정제한 것 # BERT uncased OpènGènus -> opengenus OpenGenus -> opengenus # BERT cased OpènGènus OpenGenus 참조 BERT cased vs BERT uncased We have explored the difference between BERT cased and BERT uncased. B..
Airflow execution_date (logical_date) - execution_date는 DAG 인스턴스가 실행되는 시점의 날짜와 시간을 나타냄 - 스케쥴링 전략에 따라 정해지는 실행 시간 -> schedule_interval에 의해 결정 - 스케쥴링에 의해 실행되지만 이전 스케쥴된 시간이 execution_date가 됨 >> execution_date = dag이 실해되는 시간 - schedule_interval 예시 - 매일 5시(하루1번)에 실행되도록 만든 DAG가 있다. (00 17 * * *) ㄴ 실행시간 : 2023-03-15 17시 이면 : execution_date -> 2023-03-14 17시 - 매시 10분 (하루 24번)에 실행되도록 만든 DAG가 있다. (10 * * *..
TensorRT - Tensorflow의 latency를 낮춰 좋게 만들기위한 방법으로 TensorRT로 변환!!! - inference 최적화 및 latency를 최소화히기위한 플랫폼 - NVIDIA GPUs환경에서 작동 - TensorRT로 모든 주요 프레임웍에서 동작시킬수 있음 Tensorflow → TensorRT 변환 방법 - GPU환경에서 변환 가능 → TensorRT는 GPU에서 작동 가능함 - CPU에서 최적화하고 싶다면 OpenVino나 ONNX를 사용 from tensorflow.python.compiler.tensorrt import trt_convert as trt # Conversion Parameters conversion_params = trt.TrtConversionParam..
어트리뷰트 (Attribute) - 어트리뷰트는 파이썬 객체(object) 내에서 저장된 데이터(변수)나 메서드를 나타냄 - 객체의 속성(attribute)은 해당 객체의 상태나 동작을 나타내며, 객체의 내부 변수나 메서드 이름을 가리킴 - 어트리뷰트는 점(.)을 사용하여 객체의 이름 공간(namespace)에서 접근 가능 - 클래스의 멤버 변수나 메서드는 해당 클래스의 어트리뷰트 class MyClass: class_attribute = 42 # 클래스 어트리뷰트 def __init__(self): self.instance_attribute = 10 # 인스턴스 어트리뷰트 obj = MyClass() print(obj.instance_attribute) # 인스턴스 어트리뷰트 접근 print(MyCla..