[빅데이터분석기사] 공부 1일차

(2021년 교재로 공부)

 

■ 빅데이터의 주요 특징

  - Volume : 규모의 증가

  - Variety : 다양성

  - Velocity : 처리속도

  - Value : 가치

  - Veracity : 정확성

 ※ 추가로 Validity(유효성)와 Volatility(휘발성) 까지 7V로 표현하기도 함

 

■ 빅데이터의 유형

  - 정형 데이터(Structured Data)

    · 업무 처리, 매개 거래, 로그 데이터, 시계열 데이터 등

  - 반정형 데이터(Semi-Structured Data)

    · 데이터 내부에 데이터 구조에 대한 메타 정보 포함 (HTML, XML, JSON, RSS, 웹로그 등)

  - 비정형 데이터(Unstructured Data)

    · SNS, 고객 서비스, 품질보증, 이메일 등 - 일반 데이터

    · 온도, QR코드, RFID, GPS 등 - 센서 데이터

    · 오디오, 정지화상, 비디오, GPS 매칭 등 - 새로운 데이터 유형

 

■ 빅데이터 시스템 조직 및 운영 체계

  - 조직

    · 시스템 운영을 위한 시스템 엔지니어

    · 데이터베이스 엔지니어

    · 소프트웨어 엔지니어 조직 구성

    · 분석결과의 사용자, 데이터 분석팀, 데이터 시스템 운영팀 사이의 협업을 원활하게 하기 위한 조직 구성

  - 운영체계

    · 시스템 상시 모니터링 체계

    · 장애 발생 시 장애 대응 시나리오 체계

    · 데이터 복구 체계

    · 주기적인 백업 체계 및 복구 테스트 수행

    · 정보보호 규정을 고려한 운영 체

 

■ 빅데이터 분석 기획 능력 (NCS, 국가직무능력표준에서의 정의)

  - 대용량의 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로

    정형/비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무

    · 도메인 이슈 도출하기

    · 분석목표 수립하기

    · 프로젝트 계획하기

    · 보유데이터 자산 확인하

 

 

■ 데이터 마이닝의 개념

  - 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기법

  - 데이터 마이닝 기법의 활용 사례

    · 분류(Classification)

    · 군집화(Clustering)

    · 연관성(Association) : 동시에 발생한 사건들 사이의 관계 정의 (인터넷 쇼핑몰 장바구니에 있는 상품들 사이의 연관성)

    · 연속성(Sequencing) : 특정 기간에 걸쳐 발생하는 관계 규명 (특정 기간 내 동일 상품에 대한 반복 구매 성향 분석)

    · 예측(Forecasting) 

 

(머신러닝, 딥러닝 관련 내용 Skip)

 

★ 개인정보보호 법률 관련 Part는 시험 전에 한번 보고 가기