일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- tensorflow text
- spark udf
- 공분산
- chatGPT
- session 유지
- XAI
- GCP
- gather_nd
- subdag
- youtube data
- top_k
- UDF
- BigQuery
- airflow subdag
- Retry
- flask
- login crawling
- integrated gradient
- GenericGBQException
- API
- requests
- 유튜브 API
- 상관관계
- API Gateway
- TensorFlow
- grad-cam
- hadoop
- Airflow
- correlation
- Counterfactual Explanations
- Today
- Total
목록Web (23)
데이터과학 삼학년
SSO(Single Sign On)의 필요성 한번의 인증(로그인)으로 여러개의 도메인에 접근할 수 있도록 하는 방식 한사람이 세개의 도메인에 접속하려면 각각 로그인하여 각 도메인이 가지고 있는 DB에서 로그인 정보를 확인 후 인증을 받게 됨 그러나, 연관된 프로그램의 접근의 경우 여러번의 로그인을 요구하는 것은 불편할 것 한번의 로그인이 연관된 프로그램의 접근을 가능하게 하는 것이 SSO의 개념임 SSO(Single Sign On) 개념 IdP(Identity Provider)라는 곳에서 ID와 PW를 기억해 놓으면 각 어플케이션의 인증을 IdP가 대신함 SSO(Single Sign On) 동작 방법 먼저 구글 드라이브를 사용하는 시나리오를 생각 해 볼게요. 사용자가 SP(구글 드라이브)를 사용하려 합니..
NGINX와 uWSGI가 무엇이고, 왜 이것을 이용해야 하는가에 대해 정리해보려 한다. NGINX는 쉽게 말해 서버이다. 즉, Web browser가 접속하길 요청하는 서버라고 보면 된다. 그렇다면 uWSGI는 왜 있는 것일까? NGINX는 파이썬언어를 읽지 못한다. 그래서 uWSGI라는 녀석을 통해 python파일(app.py)을 http 형식으로 변환시켜 해석하고, 이것을 브라우저에 띄워주는 개념이다. 서로간의 통신을 살펴보면 아래 그림과 같다. NGINX가 서버라고 했다. 그렇다면 HTTP 를 HTTPS로 적용하려면 어떻게 하면 될까? CA(인증기관)으로부터 받은 인증서를 서버에 넣어주면 되는데... NGINX config에 넣어주면 된다. 이런식으로 https 환경으로 할 것이기 때문에 인증서와 ..
nohup은 데몬 프로세스로 띄울수 있는 리눅스 명령어이다. ##실행 명령어 nohup [절대경로/파일] & nohup으로 실행하기 위해서는 실행할 파일이 755 권한을 가지고 있어야한다. 755 권한을 주는 방법은 chmod -R 777 [filename] 이후 pstree 라는 명령어를 통해 잘실행되었는지 확인한다 pstree systemd에 첫번째 자식노드에 실행 파일이 잘 붙어있으면 성공!! 데몬으로 띄운 프로세스를 죽이려면 해당 프로세스 id 를 확인하고 kill 명령어를 이용해 죽이면 된다 ps -ef | grep [실행시킨 파일명] kill -9 PID번호 그리고 nohup으로 수행되는 프로세스는 stdout 결과가 nohup.out 파일에 저장된다 콘솔 프로그램이 stdout으로 메시지를 ..
HTTPS --> HTTP + SSL 즉, HTTPS는 HTTP에 보안을 강화한 것이라고 생각하면 됨 HTTP & HTTPS HTTPS는 HTTP를 안전하게 만드는 방식이다 HTTP 인터넷 상에서 정보를 주고 받기위한 프로토콜(양식과 규칙의 체계) 클라이언트와 서버 사이에 이루어지는 요청/응답 프로토콜 암호화되지 않은 방법으로 데이터를 전송한다. (악의적인 감청, 데이터 변조의 가능성) HTTPS 보안이 강화된 HTTP Hypertext Transfer Protocol Over Secure Socket Layer의 약자 모든 HTTP 요청과 응답 데이터는 네트워크로 보내지기 전에 암호화된다. HTTPS는 HTTP의 하부에 SSL과 같은 보안계층을 제공함으로써 동작한다. HTTPS는 TCP위에 놓인 보안계..
bootstrap 구문의 card를 이용하면 보다 깔끔하게 html 화면을 정리할 수 있다. 보통은 아래그림처럼 프로필을 나타내는데 card를 쓰지만 제목과 표, 제목과 그림등으로 담아서 정리하면 훨씬 보기 좋아진다. 예를 들면 표를 넣을때 탐지 결과 Datetime Worldno Feature Au Alert_level Datetime Worldno Feature Au Alert_level {% endblock %} [이전] [개선] 깔끔하게 정리하면 이전에 비해서... 참 많이 이뻐졌다.. web은 뭔가 만들어가는 재미는 있다..하하하.. 자료 : https://www.w3schools.com/bootstrap4/bootstrap_cards.asp
Flask-Caching 자료에 대해 소개한다. cache는 일단 요청되었던 기록이 있는지를 확인하고 이미 요청 기록이 있을 경우에 반환했던 값을 내뱉어 대기시간을 줄이는 기법으로 보면 된다. 이 자료는 https://flask-caching.readthedocs.io/en/latest/ Flask-Caching — Flask-Caching 1.0.0 documentation Flask-Caching Flask-Caching is an extension to Flask that adds caching support for various backends to any Flask application. Besides providing support for all werkzeug’s original cachin..
데이터 사이언티스트로서 모델을 통한 결과들을 시각화하고 이를 다수의 사용자나 관리자가 확인할 수 있도록 구성할 일이 있다. 이럴때는 web 개발....web을 이용하여 서비스를 제공해주면, 하루 평균 접속자 수나 많은 사람들이 접근 권한만 가지고 있으면 접근하여 결과를 언제든지 확인하고 비즈니스 목적을 위한 판단자료로 쓸 수 있다. 먼저 web을 구성하려면 전체적인 개발 구조를 확립해야한다. 나는 시계열 분석을 이용하여 탐지된 결과를 테이블로 나타내고, 시계열 분해를 시각화하여 보다 자세히 현황을 파악할 수 있기를 원했다. 1. web 개발 구조 위처럼 project별로 구성해 놓으면 project별 접근할 수 있게 하며 한 서버에서 많은 프로젝트의 관리가 용이하다. 2. 파일구조 app.py templ..
주 HTML을 구성하여 넣을 내용들을 영역을 나눠놓고, 각 영역별 들어갈 HTML을 작성하여 붙이는 작업을 할때 필요한 팁을 정리한다. 먼저 Main HTML을 구성하고 영역을 나누는 작업을 한다. 1.main HTML Title {% include 'table.html' %} {% include 'figure.html' %} 나는 컬럼을 3:9 의 비율로 나눠 각각 테이블과 그림을 넣을 예정이다. main 안에 있는 include를 쓸 때 block 을 이용하여 table.html을 넣을 것이다. 그러나 단순히 table.html에 block을 직접 적용하면 main.html의 모든 내용을 복사하여(확장하여) 사용하는 것이기 때문에 중복이 발생한다. 이를 막기 위해 table_admin.html 이라는..