p.55~57

빅데이터 개념

대규모 데이터를 저장·분석해 숨겨진 가치를 찾는 기술

정의

디지털 환경에서 생성된 수십 테라바이트 이상의 대규모 데이터
다양한 유형의 데이터를 효과적으로 저장하고 데이터 과학 기술로 가치를 추출해 활용하는 포괄적 개념

정형 데이터

고정된 형식과 구조에 맞게 저장된 표,CSV 등

비정형 데이터

고정된 구조가 없는 이미지, 소리, 문서 등

Big
Data

규모Volume

속도Velocity

다양성Variety

정확성Veracity

가치Value

정치·사회

침수 예측·지능형 교통 시스템

의료·보건

맞춤형 정밀 의료·국민 건강 알람

경제·산업

맞춤형 음악 추천·카드 부정 사용 탐지

p.58~60

탐색적 데이터 분석으로 문제를 정의하고, 수집·분석·평가한다

분석 필요성, 요구 사항, 분석 범위를 파악해 구체적인 목적을 정한다.

목적에 맞는 데이터를 자동 수집기, 인터넷 검색, 설문·실험·관찰로 모은다.

전처리

평균·중앙값·최빈값을 확인하고 결측치, 중복값, 이상치를 정리한다.

시각화·분석

시간, 관계, 비교 시각화로 흐름·관계·패턴을 찾아 해석한다.

분석 결과가 의사 결정에 도움을 주는지 검토하고 개선책을 제시한다.

탐색적 데이터 분석(EDA)

데이터를 여러 관점에서 관찰해 구조적 관계를 찾는 분석법

시각화 유형

선그래프·막대그래프·버블 차트·산점도·히트맵·워드 클라우드