잃어버린 시간을 찾는 개발자

개요최근 "견고한 데이터 엔지니어링(Fundamentals of Data Engineering)" 책의 첫 번째 장을 읽고 정리할 기회가 있었다. 사실 데이터 엔지니어링이라는 분야는 내가 몸담고 있는 BI 영역과 밀접한 관련이 있으면서도 묘하게 경계가 애매한 분야였다. SAP BI 위주로 일하다 보니 전통적인 데이터 웨어하우스와 ETL 방식에는 익숙했지만, 모던 데이터 엔지니어링이 무엇인지, 그리고 내가 하고 있는 일과 어떤 차이가 있는지 명확하지 않았다.이 책을 읽으면서 데이터 엔지니어링에 대한 시야가 한층 넓어졌다. 특히 첫 번째 장에서 다루는 '데이터 엔지니어링이란 무엇인가'라는 근본적인 질문부터 시작해서, 역사적 변천사, 조직 내에서의 역할과 협업까지 체계적으로 정리된 내용이 인상적이었다. 책을 ..

구글 엔지니어는 이렇게 일한다에서 배운 팀워크의 진실최근에 구글 엔지니어는 이렇게 일한다 책의 2장을 읽으면서 많은 생각이 들었다. 평소 혼자 작업하는 것을 선호하는 편이었는데, 이 책을 읽고 나니 내가 얼마나 잘못된 방향으로 가고 있었는지 깨닫게 되었다.천재 개발자라는 착각책에서 가장 인상 깊었던 부분은 "천재 신화"에 대한 이야기였다. 리누스 토발즈가 혼자 Linux를 만들었다고 생각하기 쉽지만, 실제로는 수천 명의 똑똑한 사람들이 함께 만든 결과물이라는 것이다. 리누스의 진짜 성취는 코딩 능력이 아니라 사람들을 이끌고 작업을 조정한 리더십이었다는 점이 와닿았다.나도 모르게 혼자서 뭔가 대단한 것을 만들어내고 싶어하는 욕구가 있었다. 완벽한 코드를 작성해서 동료들을 놀라게 하고 싶다는 생각? 정말 부..

개요SAP를 이용한다면 SAP Help Portal에서 많은 정보를 얻을 수 있다. 이때 SAP Help Portal은 제품별로 공식적인 가이드를 제공하는데 공식적인 가이드인만큼 객관적이고 상세한 정보를 얻을 수 있지만 베스트 프렉티스 및 가이드라인, 자주 발생하는 문제 및 해결방법 등을 얻기에는 어려움이 있다. 그런데 SAP Help Portal에서도 이러한 내용을 찾을 수 있는 페이지가 있어서 공유하고자 한다.SUPPORT_CONTENT소개해드릴 페이지는 SUPPORT_CONTENT라는 페이지이다.https://help.sap.com/docs/SUPPORT_CONTENT?locale=en-US SAP Help Portal - SAP Online Help help.sap.com페이지를 들어가면 다양한 ..

데이터 엔지니어를 위한 97가지 조언https://product.kyobobook.co.kr/detail/S000210626592 데이터 엔지니어를 위한 97가지 조언 | 토비아스 메이시 - 교보문고데이터 엔지니어를 위한 97가지 조언 | 트위터, 구글, 마이크로소프트, 링크드인 등에서 일한 데이터 엔지니어들이 다양한 문제를 극복하면서 얻은 경험과 교훈을 담았다!데이터 엔지니어는 넓product.kyobobook.co.kr가볍게 읽기 좋은 책이었다. 최근에는 인간미 없는 기술서적만 잔뜩 읽고 있어서 읽는다는 행위 자체에 지쳐있었다. 무언가를 배우고 체화시키는 데에는 반드시 필요한 일이지만 읽는 다는 행위에는 상상력과 즐거움이 필요한만큼 그 부분을 채워줄 수 있는 가벼움이 필요했다. 이 책은 이런 욕구를 ..

개요오늘은 최근 열중하고 있는 업무에 대해서 간단히 정리해보려고 한다. 작업량이 워낙 많다보니 블로그 글을 쓸 여유를 가지지 못했고 마지막 포스팅으로부터 일주일이라는 시간이 지나버렸다. 어떻게든 틈을 내서 블로그 글을 쓸 시간은 내었으나 포스팅할만한 주제가 떠오르지 않아서 최근 열중하고 있는 업무 그 자체를 포스팅해봐야겠다고 생각했다.Lumira 소개SAP Lumira Designer는 웹 대시보드 개발을 위한 툴이다. SAP에서 제공하는 다른 BI 툴인 WebI나 SAC와 비교하면 차원을 추가했다가 뺐다가 하는 식의 능동적인 분석이 제한적이고 개발 인터페이스도 현대적이지 못하며 온 프레미스 시스템위에서 동작한다는 점 등 구시대적면이 있는 BI툴이다. 그렇지만 명백한 장점도 있다. 그것은 SAP에서 제공..

개요SAP BDC에 관심을 가지고 정보를 알아보는 중에 Debanshu Mukherjee의 SAP BDC Webinar 영상이 유튜브에 올라온 것을 보았다. 해당 영상을 본 감상을 정리해보고자 한다.https://www.youtube.com/watch?v=q-Vbs8l6sQo 본문영상의 길이가 세 시간이나되고 내용도 다양한 방면에 대한 질의 응답으로 구성되어 있기에 영상의 내용을 정리해보는 글을 쓸 생각은 없다. 영상을 만들어 주신 데반슈에 대한 소개 및 감사와 기억에 남은 내용을 토대로 감상평을 쓸 생각이다. 영상을 올린 데반슈라는 분은 유데미 강의 영상을 통해서 알게 된 분이다. 14년 이상의 BW 경력, 6년 이상의 HANA 경력, 10년의 ABAP 경력을 갖추었고 월마트 등의 대형 기업에서 프로젝..

개요BW를 개발하다보면 자주 사용할 일은 없으나 간간히 보고 쓰게 되는 정보들이 있다. 그런 정보들을 한데 모아서 정리해보고자 한다.aDSO 리포팅aDSO에서 바로 리포팅을 하는 건 권장되지 않는다. aDSO는 데이터를 저장하는 persistance Layer로 쓰라고 있는거지 리포팅 레이어로 쓰라고 만들어진 게 아니기 때문이다. 하지만 쿼리를 만들 수는 있다. aDSO로 리포팅을하면 나타나는 특징을 다루고자 한다. - Navigation Attribute는 ADSO에서 접근 안 됨.- Infoobject는 Master Data Check가 No Masterdata Check/No Reporting이 아니어야 보임- aDSO 필드는 특정 조건을 만족할 때만 리포팅에서 보임필드 이름이 20자 이하다음 조건..

개요지난 달 2025년 2월에 SAP에서는 SAP Business Data Cloud(이하 SAP BDC)를 발표했다. SAP 기반의 데이터 관리 업에 종사하는 사람으로서는 흥미가 생기지 않을 수 없는 일이다. 새로운 기술은 배워야 한다는 부담도 생기지만 또 새로운 지평을 열 수 있으리라는 생각에 기대도 생긴다. 당장의 엔터프라이즈 데이터웨어하우스에 격변이 생기는 것은 아니겠지만 한 4, 5년 뒤면 각종 프로젝트로 겪게 될지도 모르는 기술로 느껴졌다. 현재의 데이터 스피어가 그러하듯이 말이다. 관심을 가지고 지켜봐야 할 기술로 이번 기회에 간단한 내용을 정리해보고자 한다.SAP BDC 소개BDC는 아래 3개의 특징으로 나누어 생각할 수 있다.SAP BDC는 완전 관리형 SaaS이다. 이 점에서는 Data..

개요SAP HANA에 대한 기본적인 개념을 정리해보고자 한다. SAP HANA 개요와 기술적 발전, HANA 플랫폼, 컬럼 로우 저장 방식의 차이, 파티셔닝 및 Insert Only Delta에 대해서 알아보고 정리해볼 예정이다.SAP HANA  개요SAP HANA는 인메모리 기술을 활용하여 디스크가 아닌 메인 메모리에서 데이터를 직접처리한다. 메인 메모리에서 처리하기에 속도가 빠르고 대용량 데이터 분석 성능이 뛰어나다.기존의 3계층 아키텍처를 개선하여 데이터와 애플리케이션 계층을 통합하였다. 기존의 아키텍처는 데이터, 애플리케이션, 프레젠테이션 계층으로 나뉘어서 데이터를 저장하는 계층과 계산하는 계층이 분리되어 있었다. 데이터와 애플리케이션 계층을 통합하여 데이터를 이동시키는 것이 아니라 연산을 데이터..

개요SCD(Slow Change Dimension)처리 유형에 대해서 정리해본다. 차원, 마스터 데이터의 변경 사항을 어떻게 처리할 것인지는 비즈니스 요구사항과 데이터 분석 목적에 따라 다양한 유형으로 나뉠 수 있다. 이를 유형별로 정리 소개해보고자 한다. TYPE 0 : 원래 값 유지절대 변하지 않는 값에 취하는 방식이다.사례: 날짜 차원, 최초 계약 정보 차원TYPE 1 : 덮어쓰기변하는 데이터를 덮어쓴다. 이력 관리가 되지 않기에 이전의 값이 비즈니스 적으로 의미가 없을 때 사용한다.사례: 과거 주소가 필요없을 경우의 고객 주소 등. 히스토리 데이터를 분석할 일이 없을 때.주의사항: 과거 마스터 데이터를 토대로 계산, 집계된 데이터는 재집계의 과정을 거쳐야 한다. 히스토리 분석이 존재할 경우 피해야..