데이터과학 삼학년

히스토그램 기반 그래디언트 부스팅 트리(Histogram Gradient Boosting Tree) - 히스토그램 기반 그래디언트 부스팅 트리는 앙상블 학습 방법 중 하나로, 여러 개의 결정 트리를 조합하여 예측 모델을 구축하는 알고리즘 - 트리 기반의 모델인 그래디언트 부스팅 트리(Gradient Boosting Tree)를 기반으로 함 - 특히 데이터를 히스토그램으로 변환하여 학습 및 예측에 활용하는 점이 특징 동작 원리 1. 데이터의 특성을 이해하기 위해 먼저 히스토그램으로 변환 -> 이를 위해 입력 데이터를 여러 개의 구간(bin)으로 나누고, 각 구간에 속하는 데이터 포인트의 개수를 기록 2. 초기에는 단 하나의 트리로 시작하며, 이 트리는 모든 데이터를 하나의 잎(leaf)에 할당 3. 그 다..

LightGBM, CatBoost, XGBoost는 모두 gradient boosting 알고리즘을 기반으로 한 머신러닝 라이브러리 이들의 공통점은 모두 다양한 데이터 타입(범주형, 연속형)의 feature를 다룰 수 있으며, 빠른 속도로 대용량 데이터셋을 처리할 수 있음 LightGBM Leaf-wise tree growth 알고리즘 사용 데이터 셋의 크기가 큰 경우에 유리 예측 성능이 뛰어나며, 빠른 속도로 학습 가능 GPU 가속도 지원 카테고리형 특성 자동 처리 기능 지원 CatBoost Category Boosting 알고리즘 사용 카테고리형 특성 자동 처리 기능 지원 Overfitting 방지를 위한 자체 규제 기능 제공 빠른 속도와 높은 정확도 보장 GPU 가속도 지원 대용량 데이터 학습에도 ..

LGBM이란? LGBM(LightGBM)은 Microsoft에서 개발한 Gradient Boosting 알고리즘을 기반으로 한 머신 러닝 라이브러리 LGBM은 이전의 Gradient Boosting 라이브러리와 달리 효율적인 분할 알고리즘으로 인해 대용량 데이터에 대한 빠른 속도와 높은 정확도를 제공 다양한 하이퍼파라미터 튜닝 기능과 다양한 기능들을 제공하여 사용자들이 모델링에 적합한 파라미터를 쉽게 찾을 수 있음 LGBM의 장점 빠른 속도: LGBM은 효율적인 분할 알고리즘을 사용하여 대용량 데이터에 대해 빠른 속도를 제공 높은 정확도: LGBM은 이전의 Gradient Boosting 라이브러리보다 높은 정확도를 제공 다양한 기능: LGBM은 다양한 하이퍼파라미터 튜닝 기능과 다양한 기능들을 제공하여..

Chat-GPT열풍은 계속된다!!! Pandas의 컨트롤을 드디어...chat-GPT명령으로 실행시킬수 있는 툴이 나왔다!!!! 나의 데이터를 chat-GPT가 인식해 핸들링하게 하는 방법인데...기가 막히다. 1. 데이터 핸들링 -> 특정조건에 맞는 데이터 추출, 조인도 가능할 듯 2. plotting -> 원하는 그림 시각화 이제 쿼리도...날릴 필요가 없어지는 날이 오지 않을까........헛..... 장점 코딩을 못해도 아주 단순하게....쉬운 방법으로 결과물을 출력할 수 있다. 단점 실행된 결과에 대한 신뢰성 검증 필요 사용예시 import pandas as pd from pandasai import PandasAI # Sample DataFrame df = pd.DataFrame({ "coun..

*와 **는 파이썬에서 여러 인자를 처리할 때 사용하는 연산자 *를 사용하면 리스트, 튜플, 세트 등의 iterable한 객체를 풀어서 함수의 인자로 전달 -> 이때 각 요소들이 함수의 인자로 전달 def foo(a, b, c): print(a, b, c) lst = [1, 2, 3] foo(*lst) # foo(1, 2, 3)과 동일 **를 사용하면 딕셔너리 객체를 풀어서 함수의 인자로 전달할 수 있습니다. 이때 각 키-값 쌍이 함수의 인자로 전달 def bar(x, y, z): print(x, y, z) dct = {'x': 1, 'y': 2, 'z': 3} bar(**dct) # bar(x=1, y=2, z=3)과 동일 따라서 *와 **를 이용해서 iterable한 객체나 딕셔너리 객체를 풀어서 함..

jenkins에서 ui상에 git branch목록을 나타내서 선택후 배포하는 방법은 1. jenkins list git branches 이용하여 목록화 하는 방법 2. git parameter를 사용하고 scm으로 git url 받는 방법 그러나 1, 2번 2가지 케이스를 사용하지 못하는 경우가 있다. 간혹 직접 파이프라인을 만들어야한다던가, 버전의 문제로 list git branches 플러그인을 설치하지 못하던가.. 이럴때는 젠킨스 파이프라인에서 직접 git에 붙어 브랜치 목록을 가져와 만드는 방법이 있다. - 내부에서 groovy로 브랜치 목록을 가져오는 함수를 만들고 - parameter 선언에서 choice할 목록을 넣어준다. 젠킨스 파이프라인 def getGitBranches(repoUrl) ..

pre-commit pre-commit은 Git 저장소에서 코드를 커밋하기 전에 코드의 품질과 스타일을 검사하기 위한 도구입니다. 이를 통해 코드의 일관성과 가독성을 높이고 버그를 예방할 수 있습니다. pre-commit은 다양한 언어와 도구를 지원하며, 사용자가 직접 검사 도구를 선택하고 구성할 수 있습니다. pre-commit 설치 방법 pre-commit을 사용하려면, 우선 설치가 필요합니다. pre-commit은 Python 패키지로 제공되며, pip를 사용하여 설치할 수 있습니다. pip install pre-commit pre-commit을 사용하여 코드 품질 검사하기 pre-commit을 사용하여 코드 품질 검사를 수행하려면, 먼저 .pre-commit-config.yaml 파일을 프로젝트 ..

FastAPI 시작하기 FastAPI를 시작하기 위해서는 먼저 FastAPI 및 Uvicorn을 설치해야 합니다. 다음 명령어를 실행하여 설치합니다. pip install fastapi uvicorn 이제 FastAPI를 사용하여 간단한 RESTful API를 작성해보겠습니다. 예를 들어, 사용자 정보를 생성하고 조회할 수 있는 API를 작성해보겠습니다. from fastapi import FastAPI app = FastAPI() users = [] @app.post("/users") async def create_user(name: str, age: int): user = {"name": name, "age": age} users.append(user) return user @app.get("/use..