DW/ETL - 데이터 웨어하우스의 필요성

개요

BI/OLAP 개발자로서 데이터웨어하우스와 ETL, 차워 모델링에 대한 개념을 정리할 필요를 느꼈다. 이에 대한 관련 지식을 정리하면서 하나씩 써내려갈 생각이다. 가장 먼저 데이터 웨어하우스가 왜 필요한지를 짚어보는 것을 첫번째 주제로 삼았다. 데이터 웨어하우스는 기업의 운영과 분석에 필수적인 요소이다. 데이터의 효율적인 사용을 통해서 기업은 조직 운영을 원활히 하고 미래를 위한 전략적인 결정을 내릴 수 있다. 데이터의 두 가지 사용 목적을 OLTP, OLAP으로 나누어 살펴보고 이를 통해 데이터 웨어하우스의 필요성을 정리할 수 있도록 하겠다.

OLTP( Online Transactional Processing )

운영 데이터는 기업의 일상적인 활동을 지원하는데 사용된다. 여기에는 주문 접수 및 이행, 고객 불만 처리, 재고 관리 등이 포함된다. 이러한 활동들은 기업의 운영을 유지하고 지속적으로 작동하게 한다. OLTP는 이러한 운영 데이터를 처리하며 보통 한 번에 하나의 기록을 처리하고 현재 데이터에 집중한다. 따라서 긴 데이터 이력을 보관하지 않는 게 일반적이다.

OLAP(Online Analytical Processing)

분석 데이터는 기업이 더 나은 결정을 내리고 성과를 평가하는 데 사용된다. 예를 들어 어떤 제품 카테고리가 가장 많이 팔리는지, 이번 달의 판매량이 지난달과 어떻게 비교되는지 등의 질문에 답하기 위해 데이터를 분석한다. OLAP은 대량의 데이터를 동시에 처리하고 빠른 쿼리 성능과 데이터를 분석할 수 있는 맥락이 필요하다. 여러 카테고리나 시간에 걸쳐 데이터를 분석하기 위해서는 데이터가 쉽게 접근 가능하고 빠르게 처리되어야 한다.

데이터 웨어하우스의 필요성

기업 내 데이터 웨어하우스의 부재는 '데이터는 많지만 실제로는 활용하지 못한다' 또는 '데이터 접근이 어렵고 분석하기 복잡하다'는 문제로 연결된다. 데이터를 빠르고 쉽게 접근할 수 있으며 사실에 근거한 결정을 내릴 수 있도록 데이터웨어하우스가 필요하다. 운영 데이터와 분석 데이터의 요구 사항이 다르기 때문에 이들을 분리된 시스템으로 유지하는 것이 합리적이다. 데이터 웨어하우스는 주로 보고 및 데이터 분석 목적을 위해 사용되는 데이터 저장소이다.

결론

데이터 웨어하우스는 기업의 운영과 분석 요구를 충족시키는 필수적인 도구이다. 운영 데이터를 처리하는 OLTP와 분석 데이터를 처리하는 OLAP의 요구사항이 다르기 때문에 데이터 웨어하우스는 이러한 차이를 효과적으로 관리하고 기업이 데이터에 기반한 결정을 내릴 수 있도록 돕는다.