250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- GenericGBQException
- GCP
- tensorflow text
- API Gateway
- UDF
- correlation
- youtube data
- API
- top_k
- 상관관계
- Airflow
- hadoop
- flask
- grad-cam
- integrated gradient
- airflow subdag
- Counterfactual Explanations
- XAI
- TensorFlow
- login crawling
- requests
- session 유지
- 유튜브 API
- spark udf
- Retry
- subdag
- BigQuery
- 공분산
- chatGPT
- gather_nd
Archives
- Today
- Total
데이터과학 삼학년
[DE] 데이터 파티셔닝 & 샤딩 본문
반응형
데이터 파티셔닝
- 데이터의 사이즈가 큰 테이블을 두 개 이상의 작은 테이블로 나누는 것 -> 파티셔닝
- 쿼리가 스캔할 데이터의 범위를 좁혀서 응답시간을 빠르게 하기 위한 목적
- 수평적 파티셔닝 -> 기간에 대해 놓는것 일반적?!
- 수직적 파티셔닝
데이터 샤딩
- 대량의 데이터를 여러 물리적인 위치 또는 데이텁 베이스 서버에 저장하는 과정 또는 방법
- scale-up -> scale-out으로 가면서 데이터 베이스의 일관된 기능을 사용할 수 있도록 하는 기술
- 데이터 베이스 서버가 샤드라는 데이터 조각을 가지고 있는 개념에서 착안하여 나온 용어
참고
https://fastcampus.co.kr/courses/209597
728x90
반응형
LIST
'Data Visualization & DataBase' 카테고리의 다른 글
[SQL : impala] Join 최적화 (Broadcast Vs Partitioned) (1) | 2024.11.07 |
---|---|
CopyOnWrite VS MergeOnRead (0) | 2023.08.22 |
ODS(Operational Data Store), 팩트 테이블, 디멘션 테이블 (0) | 2023.05.29 |
[Impala] with 문(clause) 결과셋을 임의 저장하지 않음 (0) | 2023.02.13 |
[DB] overwrite VS upsert (0) | 2022.12.06 |
Comments