데이터과학 삼학년

vm에 jenkins를 깔고 수행할 경우, 혹은 jenkins의 workspace에 직접 파일을 저장해놓았을때 엥? 파일이 없어졌네??? 뭐지???라는 이슈가 생길 수 있다. 현상예를 들어 git의 코드를 jenkins workspace job 폴더에 모두 clone한 다음 수행하는 잡이 있다고 하자. 이때, 만약 git의 코드를 제외하고, config 파일을 jenkins에 workspace job 폴더에 넣어놓고 수행할 경우, 갑자기 어느날 workspace job 폴더의 config 파일 뿐만 아니라 git clone했던 코드들이 모두 사라져 있는 경우, 혹은 job 폴더 자체가 사라지는 케이스가 발생했다. 이유 젠킨스 workspace cleanup 설정 때문이다. jenkins는 old job을..

Docker의 명령어를 정리해보자. 먼저 docker는 root 기반에서 실행해야하기 때문에 일반 접속 후 실행하기 위해서는 sudo를 앞에 붙이고 실행하면 된다. sudo 를 붙이지 않고 실행하는 방법도 있지만 그것은 뒤에서 다루도록 한다. docker 이미지 조회 sudo docker images docker 이미지 검색하기 sudo docker search [이미지 이름] docker 이미지 가져오기 sudo docker pull [이미지 이름]:[태그] ========================= sudo docker pull centos:7 docker 이미지 생성하기 sudo docker build ==================== sudo docker build --tag hello:0..

개발운영툴에서 가장 필요한 기능은 단연 스케쥴링기능이다. 스케쥴을 걸어놓음으로써 매번 정해신 시간 혹은 정해진 간격에 따라 프로그램(잡)을 실행하여 서비스를 가능하게 한다. 즉 전체적인 pipeline을 관리하면서도 이것을 내가 원하는 시간대에 자동으로 실행시켜 주는 기능을 말한다. 보통의 jekins 등 많은 devops 툴 등은 스케쥴러에 crontab 을 지원하고 있다. Crontab 소프트웨어 유틸리티 cron은 유닉스 계열 컴퓨터 운영 체제의 시간 기반 잡 스케줄러이다. 소프트웨어 환경을 설정하고 관리하는 사람들은 작업을 고정된 시간, 날짜, 간격에 주기적으로 실행할 수 있도록 스케줄링하기 위해 cron을 사용한다. cron은 셸 명령어들이 주어진 일정에 주기적으로 실행하도록 규정해놓은 cron..

Docker - Docker는 container 개념으로 가상공간(VM)안에서 Container를 만들어 그안에 image를 넣고 워크를 할 수 있음 가상 머신 vs Docker - 가상 머신은 컴퓨터 하드웨어를 가상화 (하드웨어 전체 추상화) > 하이퍼바이저 사용, 추가 OS 필요 등 성능 저하 이슈 존재 - Docker는 운영체제 레벨에서 별도로 분리된 실행환경을 제공 (커널 추상화) > 마치 리눅스 처음 설치했을 때와 유사한 실행환경을 만들어주는 리눅스 컨테이너 기술 기반 > 리눅스 컨테이너 기술이므로 macOS나 Windows에 설치할 경우는 가상 머신 기반 제공 - Docker는 경량 이미지로 실행환경을 통째로 백업, 실행 가능 (실무에 많이 사용됨) - Data Engineering에서 Doc..

DevOps를 위해 보통 파이프 라인을 만들어 사용한다. 젠킨스 내에 파이프 라인은 크게 선언적(declarative) 파이프라인과 스크립티드(scripted) 파이프라인을 지원한다.선언적(Declarative) 파이프라인 pipeline { agent { docker ‘node:6.3’ } stages { stage(‘build’) { steps { sh "abc.sh ${variables}" } } } }스크립티드(Scripted) 파이프라인 node() { checkout scm stage(‘Build’) { sh "abc.sh ${variables}" } } }젠킨스 파이프라인은 기본적으로 groovy 언어를 지원하고 있어 이를 이용하면 메소드를 만들어 적용한다던가 간단한 반복 작업은 for문 g..

보통 프로젝트를 운영하면 하는 단계들이1. 소스코드를 GIT에 올려 놓는다2. 작업이 돌아가는 VM 을 만든다3. 작업을 스케쥴하고 실행 및 관리하는 젠킨스를 둔다 위와 같은 프로덕트를 완성하면젠킨스가 알아서 정해진 시간마다 JOB을 돌리고 결과도 계속 쌓이게 된다. 일단 이런 프로덕트를 구성하기 위해선위 3개의 vm간 연결이 중요하다. 이를 연결하기 위한 한 방법이 ssh-keygen 즉, RSA 기법으로 연결을 한다. RSA 방법은 간단하다. SSH keygen을 이용하여 RSA 키를 만든다.만들면 키는 private key, public key가 생성이 되고접근 권한을 주고자 하는 vm의 autorized_keys에 해당 public_key를 넣어주면 된다. 끝~ 예를 들어 A라는 놈이 git에 가..