잃어버린 시간을 찾는 개발자

개요최근 "견고한 데이터 엔지니어링(Fundamentals of Data Engineering)" 책의 첫 번째 장을 읽고 정리할 기회가 있었다. 사실 데이터 엔지니어링이라는 분야는 내가 몸담고 있는 BI 영역과 밀접한 관련이 있으면서도 묘하게 경계가 애매한 분야였다. SAP BI 위주로 일하다 보니 전통적인 데이터 웨어하우스와 ETL 방식에는 익숙했지만, 모던 데이터 엔지니어링이 무엇인지, 그리고 내가 하고 있는 일과 어떤 차이가 있는지 명확하지 않았다.이 책을 읽으면서 데이터 엔지니어링에 대한 시야가 한층 넓어졌다. 특히 첫 번째 장에서 다루는 '데이터 엔지니어링이란 무엇인가'라는 근본적인 질문부터 시작해서, 역사적 변천사, 조직 내에서의 역할과 협업까지 체계적으로 정리된 내용이 인상적이었다. 책을 ..

데이터 엔지니어를 위한 97가지 조언https://product.kyobobook.co.kr/detail/S000210626592 데이터 엔지니어를 위한 97가지 조언 | 토비아스 메이시 - 교보문고데이터 엔지니어를 위한 97가지 조언 | 트위터, 구글, 마이크로소프트, 링크드인 등에서 일한 데이터 엔지니어들이 다양한 문제를 극복하면서 얻은 경험과 교훈을 담았다!데이터 엔지니어는 넓product.kyobobook.co.kr가볍게 읽기 좋은 책이었다. 최근에는 인간미 없는 기술서적만 잔뜩 읽고 있어서 읽는다는 행위 자체에 지쳐있었다. 무언가를 배우고 체화시키는 데에는 반드시 필요한 일이지만 읽는 다는 행위에는 상상력과 즐거움이 필요한만큼 그 부분을 채워줄 수 있는 가벼움이 필요했다. 이 책은 이런 욕구를 ..

프로젝트에서 프로세스로데이터 관리와 데이터 거버넌스는 개별적인 개념이지만 실제로 기업에서는 서로 보완적인 역할을 하며 함께 발전하는 경우가 많습니다. 눈여겨 볼만한 부분으로 데이터 관리와 데이터 거버넌스 모두 초기에는 작은 프로젝트로 시작하는 경우가 일반적이라는 것입니다.예를 들어 고객 데이터의 품질 문제를 해결하기 위한 데이터 관리 프로젝트를 특정 부서에서 먼저 시작할 수 있습니다. 동시에 고객 데이터 생성, 저장, 유지 관리를 위한 정책을 수립하는 데이터 거버넌스 프로젝트가 함께 추진될 수도 있습니다. 이러한 개별적인 프로젝트들이 성공적으로 운영되면 점점 더 많은 부서로 확장되면서 장기적인 프로세스로 자리잡게 됩니다.물론 일부 기업은 처음부터 기업 전체를 대상으로 하는 대규모 데이터 관리 및 데이터 ..

개요이번 글에서는 데이터 거버넌스와 데이터 관리에 대해서 정리해보고자 합니다. 데이터 거버넌스와 데이터 관리는 혼동되기 쉬운 개념입니다. 이 둘의 개념을 명확히 하여 혼동되지 않도록 하며 어떤 분야에 어떤 활동이 속하는지를 확인할 수 있도록 하는 것이 이번 글의 목표입니다.1. 데이터 관리와 데이터 거버넌스의 차이데이터 관리정의: 데이터를 직접 다루고 품질을 개선하는 기술적이고 운영적인 활동목표: 단기적으로 데이터 품질을 높이고 오류를 수정하며 데이터 신뢰성을 보장함핵심 역할데이터 품질 진단 및 평가데이터 정제 및 수정데이터 저장, 변환 및 전송 최적화데이터 거버넌스정의: 데이터 품질을 유지하고 보호하기 위한 정책과 규칙을 정의하는 전략적 활동목표: 장기적인 데이터 품질을 유지하며 조직 내 데이터 활용의..

1. 개요새로운 블로그 연재글 소재 및 학습 내용으로 데이터 관리/거버넌스/리터러시를 선택하였습니다. 데이터 리터러시에 대하여 공부하고 글을 써야겠다고 생각한 이유는 이런 저런 자료를 찾고 다른 회사들의 데이터 관련 공고를 보는 중에 데이터 거버넌스라는 문구를 보았기 때문입니다. 데이터 관련 일을 하는 사람으로서 데이터 관련 문구가 나왔는데 그게 무엇인지 설명할 수 없다는 게 자존심 상하는 일이었습니다. 데이터 거버넌스에 대해서 찾아서 확인해보면 아예 해본적 없는 분야의 일은 아니었습니다. 데이터를 관리하고 품질을 높이고 정책적인 문제를 피하도록 하는 작업은 언제나 있었던 것이니까요. 하지만 제대로 공부해본적은 없기에 이 부분에 대하여 정리하는 글을 써야겠다고 생각했습니다. 그러면 본격적으로 관련 내용을..