METAWEAVER ByMySelf

SSDP(Self Service Data Preparation) 기능을 탑재한 데이터 분석 솔루션

SCROLL DOWN

적용 범위

  • METAWEAVER는 데이터 엔지니어 외 일반 사용자에게 GUI 기반 셀프 서비스 데이터 준비 기능 제공

  • 전처리된 데이터는 데이터 카탈로그를 기반으로 체계적으로 분류하며 다른 사용자와 공유 가능

  • 분석 목적에 따라 다른 사용자가 공유한 데이터를 활용할 수 있고 이는 데이터 준비단계에 소요되는 시간 절약 가능

  • 다양한 데이터 저장소와 포맷의 연동을 지원하며 기존 데이터베이스 시스템과의 연동 용이

  • 파일 수준 메타정보, 테이블 스키마, 데이터 리니지 등의 메타데이터 정보 제공으로 효율적으로 데이터 품질 관리 용이

특장점

  • 그래픽 기반 사용자 인터페이스를 활용한 데이터 정제 기능

  • 데이터 계보를 활용한 데이터 변경 이력 추적

  • 메타데이터 분석을 위한 데이터 미리보기

  • 데이터 필터링과 키워드를 활용한 데이터셋 검색 기능

  • 데이터 레이크 환경 제공

  • 다양한 데이터 저장소 연동 HDFS와 관계형 데이터베이스, 로컬 데이터, 클라우드 저장소 등

  • 다양한 데이터 포맷 처리 지원 테이블 데이터, json 포맷 데이터, columnar 포맷 데이터 등

  • 다양한 데이터 소스 포맷 연동 상용 RDB기반의 DW(DataWarehouse)와 DM(DataMart), 비정형 NoSQL 데이터의 연동

특허출원 등록
  • 특허 제 10-2021-0016945호 (Json 파일의 포맷 변환을 위한 사용자 인터페이스 제공장치 및 방법)
  • 특허 제 10-2018-0145443호 (SQL 구문 기반의 데이터 이관장치 및 방법: Apparatus and Method for Data Migration Based on SQL Sentences)
METAWEAVER
*SSDP (Self Service Data Preparation)

다양한 원시 데이터 소스와 각종 분석 도구의 중간인 데이터 전 처리 과정(데이터 탐색, 통합, 카탈로그, 정제, 변환, 모델링 등)에서 요구되는 복잡도와 소요시간을 줄여주는 도구

제품 주요 기능

    • 데이터 가져오기

    • 데이터 샘플링

    • 스키마 정렬

    • 데이터 프로파일링

    1. Crafting & Wrangling

    원천 데이터에서 데이터를 가져와서 데이터 가공·정제를 통해 분석할 수 있는 형태로 변환하는 기능 제공

    • 카달로그 목록

    • 카달로그 추가

    • 카달로그 상세 목록

    2. Data Catalog

    사용자가 정의한 데이터 분류 별 기준으로 데이터 셋 목록화 기능 제공

    • 리니지

    3. Lineage

    데이터 가져오기 후 사용자가 선택한 데이터의 생성·변환 이력 조회 기능 제공

    • 로컬 저장

    • 테이블 저장

    4. Save

    데이터 가공·정제한 데이터를 로컬 디렉토리 저장 또는 데이터 소스에 연동된 데이터 저장소나 분석을 위한 다른 위치의 저장소에 저장하는 기능 제공

    5. 반정형 데이터 처리 (JSON Editor)

    JSON 데이터와 같은 반정형 데이터에 대한 쿼리 수행 기능과 key-value 트리 구조를 분석하고 JSON 포맷 데이터에 대한 질의 수행 기능 제공

    * 사용자가 원하는 속성을 추출하여 테이블로 변환 가능 / 관련 기술 특허 출원 (출원번호: 제 10-2021-0016945호)