J연구원

Customer Stories

J연구원

데이터 레이크를 구성하고 있는
HDFS 개선과 DLM 구축

빅데이터 플랫폼 활용을 위한 데이터 레이크를
구성하고 있는 하둡 데이터 파일 시스템의
데이터 스키마 개선으로 효율적인 데이터 활용 지원

more

스마트시티 개방형 데이터 레이크의 효율적인 활용을 위한 Data Hub ETL Manager & Data Lifecycle Manager 개발

데이터 레이크의 데이터 스키마 개선과 데이터 추출, 변화, 적재 프로세스 공유로 데이터 처리 프로세스에 필요한 시간과 비용 절감

추진 목적 및 배경

• 데이터의 분석을 위해 분석가의 요구를 수용할 수 있는 전처리 ETL 과정을 정의하고 데이터를 검증하며,
  생성된 데이터 생명 주기를 관리하는 시스템 구축
  * ETL : 데이터추출(Extract), 변환(Transform), 적재(Load)

사업의 특징

• 수집 영역 확대 적용으로 용.복합 데이터 모델 분석 처리
• 데이터 처리 프로세스 유연성 및 분석 모델 도출 성능 향상
• 다중 사용자의 ETL 프로세스 공유를 통해 중복 작업 최소화

적용 기술

• Data Lake를 구성하고 있는 HDFS(Hadoop Distributed File Systems)에 저장되는 데이터 스키마 개선
• Ingest 데이터 처리를 위한 ETL 모듈 개발(Apache NiFi Template 작성)
• Hive를 통한 데이터 마트 및 분석의 효율성 증대
• 데이터의 생명 주기 관리를 위한 DLM(Data Lifecycle Manager) 구축
• 데이터 품질 관리를 위하여 데이터 품질 관리 솔루션 DQ# 활용

On-Premises 또는 Cloud 환경의 오픈소스 기반의 빅데이터 플랫폼을 활용한 데이터 레이크 아키텍처 구현을 위한 서비스 제공

데이터 레이크 구축을 위하여 Horton Works 또는 Cloudera와 같은 다양한 빅데이터 플랫폼의 활용이 가능합니다.
데이터 수집,저장,가공,분석까지 Apache Hadoop Echo System의 기술을 활용하여 데이터 분석 및 활용에 필요한 구성을 제공합니다.
빅데이터 플랫폼 기반에서의 효율적인 데이터 레이크 구축과 고객의 니즈에 최적화된 데이터 분석 및 활용을 위한 전문 컨설팅을 제공합니다.

스마트 시티 구축 시 API와 모듈형 아키텍처로 고객의 니즈에 최적화된 데이터 분석과 활용 환경 구축