데이터과학 삼학년

Counterfactual Explanations은 XAI에서 중요한 개념 중 하나로, 머신러닝 모델의 예측 결과를 해석하는 데 사용됩니다. 이번 글에서는 Counterfactual Explanations의 개념과 예시, 그리고 샘플 코드를 다룰 것입니다. Counterfactual Explanations란? Counterfactual Explanations은 한국어로 "대조적 설명"이라고도 불리며, 머신러닝 모델이 내놓은 결과를 해석하는 방법 중 하나입니다. 머신러닝 모델이 입력 데이터를 기반으로 한 예측을 내놓았을 때, Counterfactual Explanations은 이 예측 결과를 해석하기 위해, 어떤 입력 데이터를 조작하면 예측 결과가 바뀔지 예측하는 방법을 사용합니다. 간단한 예시로, 예측 ..

Grad-CAM(Gradient-weighted Class Activation Mapping) 딥러닝 모델이 어떤 부분을 보고 특정 클래스를 판단했는지를 시각화하는 기술 -> 이미지에서 주로 사용 -> 텍스트에서도 사용 가능 이를 통해 모델이 어떤 부분을 주로 활용하는지를 알 수 있어 모델의 해석성(interpretability)을 높일 수 있음 Grad-CAM은 기존의 Class Activation Mapping(CAM)을 발전시킨 기술로, CAM은 Global Average Pooling(GAP)을 사용하여 클래스에 대한 중요도를 계산 이와 달리 Grad-CAM은 전체적인 특성 맵의 중요도가 아닌 클래스에 대한 중요도를 계산 Grad-CAM 계산 단계 1. 모델의 gradient를 계산 - 모델의 g..

Apache Airflow에서는 각 태스크(task)에 대한 retry 및 timedelta를 개별적으로 설정 가능 retry 및 timedelta는 DAG(Directed Acyclic Graph)에 정의된 각 태스크의 default_args 속성에서 설정 default_args 속성에는 모든 DAG 및 해당 태스크에 적용되는 기본 인수가 포함되는 형태인데, task안에서 오버라이딩(?) 하듯이 default_args를 재정의 해주면 됨~!!! from datetime import timedelta from airflow import DAG from airflow.operators.python_operator import PythonOperator default_args = { 'owner': 'air..

로그인이 필요한 웹사이트를 크롤링하려면, 먼저 로그인이 되어 있는 세션을 유지해야 함!! 파이썬 requests를 이용한 로그인 후 크롤링 방법 1. requests 모듈 설치 크롤링을 하기 위해서는 requests 모듈을 사용 pip install requests 2. 로그인 정보 확인 웹 사이트에 로그인하기 위해서는 로그인 정보를 확인해야 함 로그인 정보는 일반적으로 사용자 이름과 비밀번호임 3. 세션 유지 세션을 유지하기 위해 requests 모듈의 Session 클래스를 사용 Session 클래스는 HTTP 요청을 유지하면서 쿠키와 같은 데이터를 저장할 수 있음 4. 로그인 요청 세션을 만든 후, 로그인을 요청합니다. 로그인 요청은 POST 요청으로 이루어짐 사용자 이름과 비밀번호를 포함한 데이터..

파이썬으로 개발 가능한 웹프레임워크는 대표적으로 flask, django가 아닐까 싶다. flask를 이용하여 간단한 RESTful API 를 구축한 코드를 공유한다. from flask import Flask, jsonify, request app = Flask(__name__) # 임시 데이터베이스 books = [ {"id": 1, "title": "Harry Potter and the Philosopher's Stone", "author": "J.K. Rowling"}, {"id": 2, "title": "The Hobbit", "author": "J.R.R. Tolkien"}, {"id": 3, "title": "To Kill a Mockingbird", "author": "Harper Lee"..

API Gateway - 클라이언트와 백엔드 서비스 간의 인터페이스 역할을 수행하는 API 관리 서비스 - 이 서비스는 여러 가지 기능을 제공하며, 이를 통해 다양한 클라이언트와 백엔드 서비스 간의 통합을 용이하게 함 API Gateway 기능 1. API 라우팅 API Gateway는 다양한 클라이언트 요청을 처리하기 위해 백엔드 서비스로 요청을 라우팅 이를 통해 클라이언트 요청을 적절한 백엔드 서비스로 전달하고, 요청을 처리하는 데 필요한 인증, 권한 부여 등의 기능을 수행 2. 로드 밸런싱 API Gateway는 여러 백엔드 서비스로 요청을 분산하고, 서비스의 가용성을 유지하기 위해 로드 밸런싱 기능을 제공 3. 보안 API Gateway는 클라이언트 요청에 대한 보안 기능을 제공 SSL/TLS를 ..

SubDag - SubDag는 Airflow DAG 안에 존재하는 작은 DAG - 이를 사용하면 하나의 큰 DAG를 여러 작은 DAG로 분리 가능 - 이렇게 작은 DAG로 분리함으로써, 개발, 테스트 및 유지보수가 더 쉬움 - 또한, SubDag는 DAG를 이해하기 쉬운 작은 단위로 나눌 수 있으며, 작은 단위별로 추적할 수 있어 일부 작업이 실패한 경우 재시작 가능 - SubDag는 DAG 생성 시 하위 레벨의 DagBag에 의해 생성 - 하위 레벨의 DAG는 SubDagOperator를 사용하여 DAG 내에서 호출 SubDag의 장단점 장점 큰 DAG를 여러 작은 DAG로 분리할 수 있으므로 개발, 테스트 및 유지보수가 더 쉬워집니다. 작은 DAG로 나누어짐으로써 DAG를 이해하기 쉬운 작은 단위로 ..