DW/ETL - Operational Data Storage(ODS)

개요

이 글은 Operational Data Storage(이하 ODS)에 대해서 알아보고 데이터 웨어하우스와의 차이는 무엇인지 정리해보는 것을 목적으로 한다. 데이터를 통합하여 다루는 시스템을 하나 더 배움으로써 데이터를 관리하고 통합하는 측면의 지식의 폭을 더욱 넓힐 수 있다.

ODS란?

ODS는 여러 운영 시스템의 데이터를 하나의 데이터베이스에 통합하는 시스템이다. 이는 데이터 웨어하우스와 유사하다고 볼 수 있지만 ODS는 실시간 운영적 의사 결정을 지원한다는 점에서 차이가 난다..

ODS와 데이터 웨어하우스의 차이점

• 사용 목적: 데이터 웨어하우스는 주로 분석 및 전략적 의사 결정을 지원하는 반면 ODS는 실시간 또는 거의 실시간 운영적 의사 결정을 지원한다.
• 데이터 갱신 빈도: 데이터 웨어하우스는 하루에 한 번 또는 시간 단위로 데이터가 갱신될 수 있지만 ODS는 거의 실시간으로 데이터를 업데이트한다.
• 데이터 저장 방식: 데이터 웨어하우스는 종종 긴 기간의 데이터를 저장하고 분석하는 데 초점을 맞추지만 ODS는 현재 상태의 데이터만을 저장하며 긴 데이터 히스토리를 유지하지 않는다.

ODS의 필요성

운영적 의사 결정을 내리기 위해서는 최신 데이터가 필요하다. 예를 들어 대형 소매업체가 여러 매장에서 제품을 판매하고 있을 때 각 매장에서 개별적으로 재고를 관리하고 다양한 제품이 여러 창고에 분산되어 있다면 특정 매장에서의 품절과 같은 문제를 방지하기 위해서라도 실시간 데이터를 모두 조회할 수 있도록 하는 시스템이 요구된다.

ODS와 데이터 웨어하우스의 통합

기업은 ODS와 데이터 웨어하우스를 함께 운영할 수 있다. ODS는 실시간 데이터 통합을 담당하고 데이터 웨어하우스는 분석 및 전략적 의사 결정을 지원한다. 두 시스템을 통합하는 방법에는 두 가지가 있다.

• 병렬 통합: ODS와 데이터 웨어하우스가 각각 별도의 ETL 프로세스를 통해 데이터를 통합한다.
• 순차 통합: ODS를 데이터 웨어하우스의 소스로 사용하여 데이터 통합 작업을 줄인다. 이는 ODS의 통합된 데이터를 데이터 웨어하우스에 그대로 사용하는 방식이다.

ODS의 중요성 감소

최근에는 하드웨어 성능의 향상으로 인해 ODS의 중요성이 줄어들고 있다. 빠른 데이터 로딩과 실시간 데이터 업데이트를 지원하는 새로운 기술들이 등장하면서 ODS의 필요성이 감소하고 있다.

 

결론

ODS는 운영적 의사 결정을 지원하는 시스템으로 실시간 데이터 통합을 통해 빠른 의사 결정을 돕는다. 데이터 웨어하우스와 함께 사용하여 기업의 다양한 데이터 요구 사항을 충족시킬 수 있다. 데이터 웨어하우스를 구축하는데 있어서 앞서 활용되고 있는 중간 시스템으로도 활용의 여지가 있다.

개인적인 경험을 덧붙여 적자면 현재 진행하고 있는 프로젝트에서 ETL로 적재하는 데이터 테이블은 모두 ODS_라는 접두어를 붙이기로 약속을 하고 있고 이에 따라서 모두 ODS에 적재하고 있다. 하지만 이 글에서 다룬 것처럼 엄밀한 의미에서의 ODS라고 하기에는 어려운 형식의 테이블이다. 해당 테이블 데이터는 하루에 한 번씩 당일 데이터를 적재한다. 하루에 한 번씩 배치를 돌리는 것이기에 실시간 데이터라고 하기에는 어려운 부분이 있고 데이터도 3년 이전 데이터만 삭제하는 형식의 적재가 이루어지기에 긴 데이터 히스토리를 유지한다고 볼 수 있다.