일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- chatGPT
- API
- GenericGBQException
- tensorflow text
- TensorFlow
- correlation
- Airflow
- airflow subdag
- session 유지
- 유튜브 API
- requests
- top_k
- flask
- integrated gradient
- API Gateway
- hadoop
- GCP
- youtube data
- XAI
- UDF
- login crawling
- Counterfactual Explanations
- Retry
- spark udf
- grad-cam
- gather_nd
- subdag
- BigQuery
- 상관관계
- 공분산
- Today
- Total
목록DevOps (28)
데이터과학 삼학년
개발운영툴에서 가장 필요한 기능은 단연 스케쥴링기능이다. 스케쥴을 걸어놓음으로써 매번 정해신 시간 혹은 정해진 간격에 따라 프로그램(잡)을 실행하여 서비스를 가능하게 한다. 즉 전체적인 pipeline을 관리하면서도 이것을 내가 원하는 시간대에 자동으로 실행시켜 주는 기능을 말한다. 보통의 jekins 등 많은 devops 툴 등은 스케쥴러에 crontab 을 지원하고 있다. Crontab 소프트웨어 유틸리티 cron은 유닉스 계열 컴퓨터 운영 체제의 시간 기반 잡 스케줄러이다. 소프트웨어 환경을 설정하고 관리하는 사람들은 작업을 고정된 시간, 날짜, 간격에 주기적으로 실행할 수 있도록 스케줄링하기 위해 cron을 사용한다. cron은 셸 명령어들이 주어진 일정에 주기적으로 실행하도록 규정해놓은 cron..
Docker - Docker는 container 개념으로 가상공간(VM)안에서 Container를 만들어 그안에 image를 넣고 워크를 할 수 있음 가상 머신 vs Docker - 가상 머신은 컴퓨터 하드웨어를 가상화 (하드웨어 전체 추상화) > 하이퍼바이저 사용, 추가 OS 필요 등 성능 저하 이슈 존재 - Docker는 운영체제 레벨에서 별도로 분리된 실행환경을 제공 (커널 추상화) > 마치 리눅스 처음 설치했을 때와 유사한 실행환경을 만들어주는 리눅스 컨테이너 기술 기반 > 리눅스 컨테이너 기술이므로 macOS나 Windows에 설치할 경우는 가상 머신 기반 제공 - Docker는 경량 이미지로 실행환경을 통째로 백업, 실행 가능 (실무에 많이 사용됨) - Data Engineering에서 Doc..
DevOps를 위해 보통 파이프 라인을 만들어 사용한다. 젠킨스 내에 파이프 라인은 크게 선언적(declarative) 파이프라인과 스크립티드(scripted) 파이프라인을 지원한다.선언적(Declarative) 파이프라인 pipeline { agent { docker ‘node:6.3’ } stages { stage(‘build’) { steps { sh "abc.sh ${variables}" } } } }스크립티드(Scripted) 파이프라인 node() { checkout scm stage(‘Build’) { sh "abc.sh ${variables}" } } }젠킨스 파이프라인은 기본적으로 groovy 언어를 지원하고 있어 이를 이용하면 메소드를 만들어 적용한다던가 간단한 반복 작업은 for문 g..
보통 프로젝트를 운영하면 하는 단계들이1. 소스코드를 GIT에 올려 놓는다2. 작업이 돌아가는 VM 을 만든다3. 작업을 스케쥴하고 실행 및 관리하는 젠킨스를 둔다 위와 같은 프로덕트를 완성하면젠킨스가 알아서 정해진 시간마다 JOB을 돌리고 결과도 계속 쌓이게 된다. 일단 이런 프로덕트를 구성하기 위해선위 3개의 vm간 연결이 중요하다. 이를 연결하기 위한 한 방법이 ssh-keygen 즉, RSA 기법으로 연결을 한다. RSA 방법은 간단하다. SSH keygen을 이용하여 RSA 키를 만든다.만들면 키는 private key, public key가 생성이 되고접근 권한을 주고자 하는 vm의 autorized_keys에 해당 public_key를 넣어주면 된다. 끝~ 예를 들어 A라는 놈이 git에 가..