일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- login crawling
- Retry
- hadoop
- BigQuery
- TensorFlow
- 상관관계
- requests
- 공분산
- tensorflow text
- 유튜브 API
- Counterfactual Explanations
- grad-cam
- UDF
- GenericGBQException
- API
- integrated gradient
- API Gateway
- gather_nd
- correlation
- Airflow
- XAI
- chatGPT
- session 유지
- GCP
- subdag
- youtube data
- top_k
- airflow subdag
- flask
- spark udf
- Today
- Total
데이터과학 삼학년
ODS(Operational Data Store), 팩트 테이블, 디멘션 테이블 본문
ODS(Operational Data Store)
- ODS는 데이터 웨어하우스(DW) 아키텍처의 일부로 사용되는 중간 단계 저장소
- ODS는 일반적으로 트랜잭션 처리 시스템으로부터 데이터를 추출하고, 데이터 품질 검증, 데이터 변환 및 통합 작업을 수행
- ODS는 비즈니스 규칙 및 프로세스에 따라 데이터를 가공하며, 다른 시스템과의 데이터 통합을 용이하게 함
- ODS는 실시간 데이터 갱신을 지원하고, 다른 시스템과의 인터페이스를 통해 데이터를 주고받을 수 있음
팩트 테이블(Fact Table)
- 팩트 테이블은 데이터 웨어하우스(DW)에서 중심이 되는 테이블로, 비즈니스 프로세스에서 발생한 사실과 이벤트에 대한 수치 데이터를 포함
- 팩트 테이블은 주로 측정 항목(예: 매출액, 주문량, 재고량)과 관련된 숫자 데이터를 포함하며, 이러한 데이터는 다차원 데이터 모델의 메트릭(또는 측정값)으로 사용
- 팩트 테이블은 일반적으로 다른 차원 테이블과 관계를 맺고, 복합 키를 사용하여 차원 테이블과 조인하여 사용
- 팩트 테이블은 대규모 데이터 집계 및 분석에 사용되며, 데이터 웨어하우스의 중심적인 역할을 담당
디멘션 테이블(Dimension Table)
- 디멘션 테이블은 팩트 테이블과 함께 작동하여 팩트 테이블의 수치 데이터를 설명하는 추가적인 정보를 제공
- 디멘션 테이블은 팩트 테이블의 기준(예: 제품, 시간, 위치)을 나타내는 속성을 포함 -> DW) 아키텍처의 일부로 사용되는 중간 단계 저장소
- 디멘션 테이블은 계층 구조를 가질 수 있으며, 다차원 데이터 모델에서 차원을 형성 -> 예를 들어, 제품 디멘션 테이블은 제품 카테고리, 브랜드, 모델 등의 계층 구조로 구성될 수 있습니다.
- 디멘션 테이블은 팩트 테이블과 조인되어 팩트 테이블의 수치 데이터를 분석 및 쿼리하는 데 사용
- 디멘션 테이블은 일반적으로 비교적 작은 크기를 가지며, 중복 데이터를 포함하지 않는 것이 일반적
- 디멘션 테이블은 비즈니스 사용자가 데이터를 직관적으로 이해하고 탐색할 수 있도록 함 -> 예를 들어, 제품 디멘션 테이블을 사용하면 특정 제품 카테고리 또는 브랜드에 대한 매출을 쿼리하거나 분석할 수 있음
요약
- ODS는 데이터 웨어하우스의 중간 저장소로 사용되며, 데이터 통합 및 가공을 위한 작업을 수행
- 팩트 테이블은 중심적인 테이블로, 사실과 이벤트에 대한 수치 데이터를 포함하여 분석 및 집계에 사용
- 디멘션 테이블은 팩트 테이블과 조인하여 팩트 테이블의 데이터를 설명하는 추가 정보를 제공하고, 다차원 데이터 모델의 차원을 형성
'Data Visualization & DataBase' 카테고리의 다른 글
CopyOnWrite VS MergeOnRead (0) | 2023.08.22 |
---|---|
[DE] 데이터 파티셔닝 & 샤딩 (0) | 2023.08.07 |
[Impala] with 문(clause) 결과셋을 임의 저장하지 않음 (0) | 2023.02.13 |
[DB] overwrite VS upsert (0) | 2022.12.06 |
[DB] JOIN condition에 OR 포함? (0) | 2022.11.26 |