검색 팝업창

    고품질의 데이터를 통합하고 빠르게 검색하여 활용할 수 있게 하는 데이터 레이크 구축

    데이터 레이크를 구성시, 원천의 이기종 데이터, On-Premises 및 Cloud 데이터 혹은 DW/DM/데이터 레이크와 실시간 데이터 결합이 요구되는 경우가 많습니다.
    다양한 데이터 활용 및 결합 요구에 대응할 수 있는 데이터 레이크 구성 전략이 필요합니다. 또한 데이터 레이크가 구축된 이후에도 데이터 탐색에 대한
    어려움 및 신규 데이터 요청 및 적재에 대한 프로세스가 요구됩니다.

    데이터 레이크 구축 전 검토 사항

    01 데이터 레이크 구성을 위한 Migration 및 동기화, Storage 비용 검토
    02 이기종, 분산된 대용량 원천 데이터 간의 결합 및 분석 요구
    03 기간계, 정보계 분산데이터의 실시간 데이터 정합성 및 품질 검증 요구
    04 암호화된 민감 데이터의 결합 및 복호화 된 민감 데이터의 보호 요구
    05 데이터웨어하우스, 데이터 마트에 대한 다양한 정보 변화(데이터 구조 변경)의 사전 검증 요구
    06 데이터 레이크 구축 전 효율적 운영(Migration, Storage Cost)을 위한 사전 데이터 결합 검증 요구
    07 데이터웨어하우스/데이터 레이크 구축 후, 최신 원천 데이터와 동기화 요구
    08 데이터웨어하우스/데이터 레이크에 불필요한 데이터를 제거를 요구
    09 현업/IT조직/데이터분석가를 위한 안전하고 임시적인 데이터 결합 공간 요구

    데이터 레이크 구축 후 검토 사항

    01 데이터 레이크 내에 존재하는 데이터에 대한 카탈로그 및 탐색 기능 요구
    02 데이터 레이크 내에 존재하지 않는 데이터에 대한 신규데이터 탐색 및 추가 적재 요청

    데이터 레이크 아키텍처

    Physical Data Lake & Logical Data Lake

    고비용과 보안상 문제가 발생할 수 있는 데이터 레이크의 단점을
    보완하는 데이터 가상화 기술 활용

    데이터 가상화는 논리적 데이터 레이크 구성을 위한 방법으로서 효과적인 데이터 결합 공간을 제시합니다.

    데이터 결합을 위해 물리적인 데이터 이동인 ETL과 최신 원천 데이터 동기화를 위한 CDC 방식과 다른 On-Demand의 이기종 분산 데이터 결합이 가능한 데이터 가상화 기술은 사용자가 가상 테이블에 SQL을 수행할 경우에 원천 데이터에서 데이터를 수집하여 재가공하여 전달함으로써 원천데이터에 대한 직접적인 변경을 방지하고, 단순 데이터 조회용으로만 작동하게 됩니다. 사용자에 의해 요청된 데이터는 메모리상에서 구성되어 데이터를 반환한 뒤에 휘발성으로 즉시 사라집니다.

    데이터 가상화