잃어버린 시간을 찾는 개발자

개요SCD(Slow Change Dimension)처리 유형에 대해서 정리해본다. 차원, 마스터 데이터의 변경 사항을 어떻게 처리할 것인지는 비즈니스 요구사항과 데이터 분석 목적에 따라 다양한 유형으로 나뉠 수 있다. 이를 유형별로 정리 소개해보고자 한다. TYPE 0 : 원래 값 유지절대 변하지 않는 값에 취하는 방식이다.사례: 날짜 차원, 최초 계약 정보 차원TYPE 1 : 덮어쓰기변하는 데이터를 덮어쓴다. 이력 관리가 되지 않기에 이전의 값이 비즈니스 적으로 의미가 없을 때 사용한다.사례: 과거 주소가 필요없을 경우의 고객 주소 등. 히스토리 데이터를 분석할 일이 없을 때.주의사항: 과거 마스터 데이터를 토대로 계산, 집계된 데이터는 재집계의 과정을 거쳐야 한다. 히스토리 분석이 존재할 경우 피해야..

SAP DataSphere를 사용하여 데이터 플로우에서 테이블을 생성하고 관리할 때, Repository Explorer에서 테이블을 삭제한 후 동일한 테크네임(Technical Name)으로 재생성하려고 하면 문제가 발생할 수 있습니다. 이 글에서는 해당 이슈의 원인과 해결 방법을 소개합니다.이슈 발생 과정데이터 플로우에서 테이블 생성 및 배포SAP DataSphere의 데이터 플로우(Data Flow)에서 새로운 테이블을 생성하고 배포합니다.Repository Explorer에서 테이블 삭제SAP DataSphere의 Repository Explorer에서 해당 테이블을 삭제합니다.동일한 테크네임으로 테이블 재생성 불가삭제된 테이블과 동일한 테크네임을 가진 테이블을 다시 생성하려고 하면 생성이 불가능..

개요데이터 웨어하우스를 설계할 때 가장 중요한 원칙 중 하나는 단순하고 효율적인 데이터 모델링입니다. 하지만 종종 설계 과정에서 너무 많은 차원(Dimension)을 포함하는 비효율적인 팩트 테이블, 즉 센티피드 팩트 테이블(Centipede Fact Table)이 생성되기도 합니다.센티피드 팩트 테이블은 불필요하게 많은 차원을 포함하는 팩트 테이블을 의미하며, 이는 데이터 모델을 복잡하게 만들고 쿼리 성능을 저하시킬 수 있습니다. 하지만 컬럼 기반 데이터베이스와 같은 특정 환경에서는 예외적으로 허용될 수도 있습니다.이번 글에서는 센티피드 팩트 테이블이 무엇인지, 데이터 웨어하우스에서 피해야 하는 이유, 그리고 컬럼형 데이터베이스에서 예외적으로 사용할 수 있는 경우를 살펴보겠습니다.본론1. 센티피드 팩트..

개요이번 글에서는 재고(Inventory) 팩트 테이블의 처리 방식에 대해 다뤄보려고 합니다. 재고 데이터는 물품을 판매하는 모든 기업에서 필수적으로 다루는 데이터입니다. 특히 기업의 규모가 커지고 취급하는 품목이 많아질수록 데이터의 양은 기하급수적으로 증가합니다. 이에 따라 데이터 웨어하우스에서 재고 팩트 테이블을 어떻게 설계하고 관리할 것인지가 중요한 이슈가 됩니다.재고 팩트 테이블을 처리하는 대표적인 방법은 세 가지로 나눌 수 있습니다.트랜잭션 팩트 테이블: 개별 재고 변동 사항을 기록하는 방식정기 스냅샷 팩트 테이블: 특정 시점의 재고 상태를 기록하는 방식누적 스냅샷 팩트 테이블: 일정 기간 동안의 재고 흐름을 업데이트하며 관리하는 방식각 방식의 특징과 활용 방안을 살펴보겠습니다.본론1. 트랜잭션..

랄프 킴벌의 데이터웨어하우스 툴킷 책을 읽으며 개념을 정리하다가 대리 키 개념을 정리해보았고 SAP에서의 활용과 비교해보았다. 아래는 GPT를 통한 정리. 서론데이터웨어하우스(DW) 설계에서 대리 키(Surrogate Key)는 데이터 통합과 성능 최적화를 위한 핵심 요소로 알려져 있습니다. 하지만 SAP 시스템에서는 전통적으로 대리 키보다는 자연 키(Natural Key)를 사용하는 방식이 주류를 이루어 왔습니다. 이번 글에서는 SAP의 데이터 모델링 철학과 대리 키 사용 여부에 대해 살펴보고, SAP BW와 최신 SAP HANA 환경에서의 대리 키 활용 사례를 탐구합니다.1. 대리 키란 무엇인가?대리 키(Surrogate Key)는 의미 없는 정수형 키로, 차원 테이블의 기본 키로 사용됩니다. 이는 ..