Big Data의 개요

 

1. 빅데이터의 3V

 - 용량(Volume) : 데이터 용량의 증가 -> 대 단위 분석 이슈

 - 속도(Velocity) : 빠른 속도로 데이터 생성 -> 빠른 데이터 처리

 - 다양성(Variety) : 소셜미디어, 모바일, DB 등 다양한 형태의 데이터 -> 다차원 의사결정

 

2. 빅데이터의 등장배경

 - 스마트폰 및 IT 디지털 기기의 등장과 사용량 증가

 - SNS 확산으로 인한 비정형 데이터 증가

 - 비정형 데이터 처리 기술 향상

 

3. 빅데이터의 정의 및 특징

 - 일반적으로 사용되는 데이터 수집, 관리, 처리 소프트웨어의 수용 한계를 초과한 데이터

 - 기존 데이터베이스의 역량을 넘어서는 대량의 정형, 비정형 데이터의 집합

 - 기존 데이터 규모에서 불가능했던 새로운 통찰이나 새로운 형태의 가치를 추출 및 예측 할 수 있는 데이터 집합체

  * 빅데이터 분석의 목적은 정보가치(Value)를 얻는 것

 

4. 빅데이터 분석 과정

 - 현상 관찰 -> 수량화 -> 추론예측 -> 정보제공

 - 실세계의 현상을 관찰하여 수량화하고 그 안의 패턴을 분석하여 추론, 예측하는 일련의 과정

 - 그 과정에서 하둡과 R 프로그래밍 사용됨

 - 데이터 생성, 수집, 저장, 관리 (하둡 프로그래밍)

 - 데이터 가공, 분석, 시각화 (R 프로그래밍) 

 - 일반적인 분석 절차 :

데이터 전처리 -> 기술통계분석 -> (변수 추출) -> 분석모형선정 -> 데이터 분석(추론통계, 패턴) -> 분석모형평가

 

5. 빅데이터 분석 방법

 - 기술통계분석 : 분석 데이터의 특성 분석 (합계, 평균, 빈도수, 비율, 표준편차, 교차분석 등)

 - 추론 통계분석 : 모집단 표본 분석 및 추론, 집단간 차이 분석 (카이제곱검정, 비율검정, 평균차이검정, 상관분석 등)

 - 텍스트 마이닝 : 키워드 및 연관어 분석

 - 데이터 마이닝 : 지도학습(인과관계 기반 예측분석), 비지도학습(패턴 기반 예측분석)

 

6. 빅데이터의 파급효과

 - 기존 사실에 대한 체계적, 객관적 근거 제시

 - 다변화된 현대 사회를 더욱 정확하게 예측 및 대응 가능

 - 개인화된 현대 사회 구성원마다 맞춤형 정보 제공, 관리, 분석 가능

 - 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치 있는 정보 제공