목록개발/데이터 웨어하우스 - 기초 (4)

사진과 음악을 좋아하는 개발자 지망생의 블로그

[데이터 웨어하우스] 4. 데이터 웨어하우스 모델링(사실, 사실 테이블, 차원, 차원 테이블, 가산 사실, 비가산적인 요소, 중간 가산 사실, 스타 스키마, 스노우플레이크 스키마, 키)

이 글은 데이터 웨어하우징의 설계 엔지니어링 측면과 특히 비즈니스 요구사항을 고려하여 데이터를 구조화하고 조직화하는 방법인 차원(dimension) 모델링에 대해 이야기합니다. 데이터 웨어하우스가 어떻게 사용되는지와 비즈니스 인텔리전스(BI)와 데이터 웨어하우징이 어떻게 상호작용하는지 이야기합니다. 또한, 특정 비즈니스 인텔리전스 범주가 데이터 모델을 결정하는 데 어떻게 영향을 미치며, 그에 따른 기본 보고와 온라인 분석 처리가 차원 모델링의 중요성을 설명합니다. 1. 데이터 웨어하우스에서의 '차원 모델링' 차원 모델링은 데이터 웨어하우스의 설계 방법 중 하나로, 데이터를 차원과 척도로 구성하여 분석의 효율성과 이해도를 높이는 방법입니다. 차원 모델링은 데이터 웨어하우스에서 사용되는 중요한 원리입니다. ..
개발/데이터 웨어하우스 - 기초 2023. 5. 24. 12:02
[데이터 웨어하우스] 3. 데이터 웨어하우스 내 데이터 적재(ETL vs ELT, Initial ETL, Incremental ETL, 데이터 변환, Mix-and-Match Incremental ETL)

1. ETL vs ELT ETL과 ELT는 데이터 웨어하우스 환경에서 데이터를 처리하는 방법을 나타내는 용어입니다. ETL은 "Extract, Transform, Load"의 약자로, 데이터를 다양한 소스에서 추출한 다음 변환하여 데이터 웨어하우스나 데이터 마트에 로드하는 작업입니다. 예를 들어, 여러 소스 애플리케이션에서 데이터를 추출하는데 일정한 주기(예: 매 시간, 매주, 매 5분)로 배치 단위로 추출합니다. 추출한 데이터는 원시 상태로 데이터 웨어하우스 환경에 가져옵니다. 그리고 데이터를 사용자가 접근하는 곳이 아닌 스테이징 레이어에 저장합니다. 이후 변환 단계에서는 다양한 소스에서 가져온 데이터를 통일된 형태로 변환하여 사용자 액세스 레이어에 로드할 준비를 합니다. 이 변환 단계는 데이터 구조나..
개발/데이터 웨어하우스 - 기초 2023. 5. 23. 14:04
[데이터 웨어하우스] 2. 데이터 웨어하우스 구조 설계(데이터 마트, 데이터 웨어하우징 아키텍처, 큐브, 운영 데이터 스토어, 스테이징 레이어, 사용자 접근 레이어, 비영속적 스테이징 레이어,..

1. 중앙집중화된 데이터 웨어하우스 (Centralized Data Warehouse) 구축 중앙집중화된 데이터 웨어하우스(Centralized Data Warehouse)는 하나의 데이터 웨어하우징 환경으로, 여러 구성 요소로 구성되는 것이 아니라 단일한 데이터베이스로 이루어진 환경입니다. 이러한 중앙집중화된 데이터 웨어하우스는 데이터를 한 곳에서 쉽게 찾고 사용할 수 있도록 합니다. 중앙집중화된 데이터 웨어하우스 주요 이점은 원스톱 쇼핑을 가능하게 해 줍니다. 즉, 리포팅, 비즈니스 의사결정, 분석에 필요한 모든 데이터가 한 곳에 모여있어 사용자가 효율적으로 데이터를 활용할 수 있습니다. 하지만 중앙집중화된 데이터 웨어하우스 구축은 쉬운 일이 아닙니다. 1980~1990년대에 기술적인 어려움이 많았으..
개발/데이터 웨어하우스 - 기초 2023. 5. 23. 10:33
[데이터 웨어하우스] 1. 데이터 웨어하우스 개념(데이터 웨어하우스, 데이터 웨어하우스를 개발하는 이유, vs. 데이터 레이크, vs. 데이터 가상화)

1. 데이터 웨어하우스(Data Warhouse)란? 물리적인 제품이 아닌 데이터로 채워진 큰 저장소인 데이터 웨어하우스는 데이터베이스와 관련이 있지만, 일반적으로 데이터베이스 위에 구축됩니다. 데이터 웨어하우스는 데이터를 효율적으로 저장하고 플랫폼으로 사용되며, 다양한 소스 시스템과 외부 정보원으로부터 데이터를 받습니다. 이러한 데이터는 소스 시스템에 그대로 남아있고, 데이터 웨어하우스로는 복사본이 만들어집니다. 데이터 웨어하우스는 여러 거래 및 운영 시스템에서 발생하는 다양한 데이터를 수집합니다. 이 데이터는 데이터 웨어하우스로 전송되어 저장됩니다. 수십 개의 데이터 원본을 가지고 있는 경우, 데이터 웨어하우스 환경은 더 복잡해질 수 있습니다. 데이터 웨어하우스는 단순히 데이터를 저장하는 것 뿐만 아..
개발/데이터 웨어하우스 - 기초 2023. 5. 23. 00:44
이전 Prev 1 Next 다음