일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- spark udf
- requests
- grad-cam
- 공분산
- correlation
- chatGPT
- Airflow
- subdag
- XAI
- GenericGBQException
- UDF
- 유튜브 API
- Retry
- youtube data
- top_k
- GCP
- integrated gradient
- BigQuery
- hadoop
- flask
- airflow subdag
- gather_nd
- API
- API Gateway
- session 유지
- tensorflow text
- TensorFlow
- Counterfactual Explanations
- login crawling
- 상관관계
- Today
- Total
목록Computer Science (36)
데이터과학 삼학년
deprecated - 앞으로 지원되지 않을것이므로 사용을 자제해라 -> 사용을 할 수는 있는 상태 - 중요도가 떨어져 더 이상 사용되지 않고 앞으로는 사라지게 될 (컴퓨터 시스템 기능 등) obsolete - 더이상 쓰지 않는 코드 -> 쓸수가 없는 코드
데이터 직렬화는 데이터를 바이트 스트림으로 변환하여 저장하거나 전송하는 과정을 말합니다. 이를 통해 데이터를 구조화된 형식으로 표현하고, 다른 플랫폼 간에 데이터를 교환하거나 저장할 수 있습니다. 다양한 데이터 직렬화 종류가 있으며, 주요한 몇 가지를 아래에 설명합니다: JSON (JavaScript Object Notation): JSON은 텍스트 기반의 경량 데이터 교환 형식으로, JavaScript에서 객체를 표현하는 데 사용됩니다. 하지만 다른 프로그래밍 언어에서도 널리 사용됩니다. JSON은 읽기 쉽고 구조화된 데이터를 표현하기 위해 중괄호와 쉼표를 사용합니다. XML (Extensible Markup Language): XML은 텍스트 기반의 데이터 교환 형식으로, 마크업 언어를 사용하여 데이..
오버헤드(overhead)는 어떤 처리를 하기 위해 들어가는 간접적인 처리 시간 · 메모리 등을 말한다. >> 간단히 말하면 간접비용!!! -> 직접적인 생산외 추가로 걸리는 시간이나 비용 예를 들어 A라는 처리를 단순하게 실행한다면 10초 걸리는데, 안전성을 고려하고 부가적인 B라는 처리를 추가한 결과 처리시간이 15초 걸렸다면, 오버헤드는 5초가 된다. 또한 이 처리 B를 개선해 B'라는 처리를 한 결과, 처리시간이 12초가 되었다면, 이 경우 오버헤드가 3초 단축되었다고 말한다 https://ko.wikipedia.org/wiki/%EC%98%A4%EB%B2%84%ED%97%A4%EB%93%9C
SPOF(단일 장애 지점, Single Point of Failure)는 시스템 또는 프로세스 내에서 발생할 수 있는 장애 중 하나로서, 해당 요소가 고장 또는 오류가 발생할 경우 전체 시스템 또는 프로세스의 동작이 중단되는 상태를 말합니다. SPOF는 시스템의 안정성과 가용성에 큰 영향을 미칠 수 있으며, 시스템 설계 시 피해야 하는 요소입니다. SPOF는 시스템 내의 특정 컴포넌트, 하드웨어, 네트워크, 소프트웨어 또는 인프라스트럭처에서 발생할 수 있습니다. 예를 들어, 데이터 센터에서 모든 네트워크 트래픽이 단일 라우터를 통과하거나, 웹 서버에서 단일 서버로 모든 요청을 처리하는 등의 경우가 SPOF의 예시입니다. SPOF의 문제는 해당 요소에 장애가 발생할 경우 전체 시스템이 영향을 받고 중단될 ..
git flow 전략 - 브랜치 전략이란 여러 개발자가 하나의 저장소를 사용하는 환경에서 보다 효과적으로 활용하기 위한 방법 브랜치 종류 master - 라이브에서 작동하는 브랜치(main) develop - 다음 출시 버전을 대비하여 개발중인 브랜치(main) feature (topic) - 개발 브랜치로 develop 브랜치에 병합 release - 다음 버전 출시를 준비하는 브랜치 - develop 브랜치를 release 브랜치로 옮긴 후 QA, 테스트를 진행하고 master 브랜치에 병합 hotfix - master 브랜치에서 발생한 버그 수정 브랜치 커밋메시지 - 개발진행하면서 남기는 일종의 로그 → 커밋메시지는 최대한 명확하고 자세하게 작성!! - 커밋메시지는 아래와 같이 중요내용을 남기고 그..
파이썬으로 개발 가능한 웹프레임워크는 대표적으로 flask, django가 아닐까 싶다. flask를 이용하여 간단한 RESTful API 를 구축한 코드를 공유한다. from flask import Flask, jsonify, request app = Flask(__name__) # 임시 데이터베이스 books = [ {"id": 1, "title": "Harry Potter and the Philosopher's Stone", "author": "J.K. Rowling"}, {"id": 2, "title": "The Hobbit", "author": "J.R.R. Tolkien"}, {"id": 3, "title": "To Kill a Mockingbird", "author": "Harper Lee"..
API Gateway - 클라이언트와 백엔드 서비스 간의 인터페이스 역할을 수행하는 API 관리 서비스 - 이 서비스는 여러 가지 기능을 제공하며, 이를 통해 다양한 클라이언트와 백엔드 서비스 간의 통합을 용이하게 함 API Gateway 기능 1. API 라우팅 API Gateway는 다양한 클라이언트 요청을 처리하기 위해 백엔드 서비스로 요청을 라우팅 이를 통해 클라이언트 요청을 적절한 백엔드 서비스로 전달하고, 요청을 처리하는 데 필요한 인증, 권한 부여 등의 기능을 수행 2. 로드 밸런싱 API Gateway는 여러 백엔드 서비스로 요청을 분산하고, 서비스의 가용성을 유지하기 위해 로드 밸런싱 기능을 제공 3. 보안 API Gateway는 클라이언트 요청에 대한 보안 기능을 제공 SSL/TLS를 ..
동적 계획법(DP, Dynamic Programming) 입력 크기가 작은 부분 문제들을 해결한 후, 해당 부분 문제의 해를 활용하여 보다 큰 크기의 부분 문제를 해결 위 단계를 반복하며 전체 문제를 해결하는 알고리즘 상향식 접근법으로, 가장 최하위 해답을 구한 후 이를 저장해 다음 결과값을 풀어나가는 방식 Menoization(메모이제이션) 프로그램 실행시 이전에 계산한 값을 저장하여, 다시 계산하지 않도록 해 실행 속도를 빠르게 하는 기술 예) 피보나치 수열 def fibo_dp(num): cache = [0 for ind in range(num+1)] cache[0] = 0 cache[1] = 1 for ind in range(2, num+1): cache[ind] = cache[ind-1] + c..