250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- login crawling
- BigQuery
- GenericGBQException
- grad-cam
- integrated gradient
- Counterfactual Explanations
- API
- requests
- session 유지
- flask
- TensorFlow
- top_k
- XAI
- GCP
- API Gateway
- airflow subdag
- 유튜브 API
- 공분산
- chatGPT
- 상관관계
- youtube data
- UDF
- subdag
- hadoop
- Airflow
- Retry
- tensorflow text
- spark udf
- correlation
- gather_nd
Archives
- Today
- Total
데이터과학 삼학년
[DE] 데이터 파티셔닝 & 샤딩 본문
반응형
데이터 파티셔닝
- 데이터의 사이즈가 큰 테이블을 두 개 이상의 작은 테이블로 나누는 것 -> 파티셔닝
- 쿼리가 스캔할 데이터의 범위를 좁혀서 응답시간을 빠르게 하기 위한 목적
- 수평적 파티셔닝 -> 기간에 대해 놓는것 일반적?!
- 수직적 파티셔닝
데이터 샤딩
- 대량의 데이터를 여러 물리적인 위치 또는 데이텁 베이스 서버에 저장하는 과정 또는 방법
- scale-up -> scale-out으로 가면서 데이터 베이스의 일관된 기능을 사용할 수 있도록 하는 기술
- 데이터 베이스 서버가 샤드라는 데이터 조각을 가지고 있는 개념에서 착안하여 나온 용어
참고
https://fastcampus.co.kr/courses/209597
커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스
성인 교육 서비스 기업, 패스트캠퍼스는 개인과 조직의 실질적인 '업(業)'의 성장을 돕고자 모든 종류의 교육 콘텐츠 서비스를 제공하는 대한민국 No. 1 교육 서비스 회사입니다.
fastcampus.co.kr
728x90
반응형
LIST
'Data Visualization & DataBase' 카테고리의 다른 글
[SQL : impala] Join 최적화 (Broadcast Vs Partitioned) (2) | 2024.11.07 |
---|---|
CopyOnWrite VS MergeOnRead (0) | 2023.08.22 |
ODS(Operational Data Store), 팩트 테이블, 디멘션 테이블 (0) | 2023.05.29 |
[Impala] with 문(clause) 결과셋을 임의 저장하지 않음 (0) | 2023.02.13 |
[DB] overwrite VS upsert (0) | 2022.12.06 |
Comments