1.6 빅데이터의 3V 특성

학습목표

본 장에서는 일반적인 엑셀이나 개인용 PC로는 감당할 수 없을 만큼 거대하고 복잡한 ‘빅데이터(Big Data)’의 3대 본질(Volume, Velocity, Variety)을 명확히 이해합니다. 또한 이 압도적인 데이터를 지휘하기 위한 시각화(Visualization) 기술과, 숫자의 왜곡을 경계하는 분석가의 냉철한 시각을 기릅니다.

목차

이 장에서는 다음의 주제들을 학습합니다:

1.6.1 빅데이터의 3V 특성

기존 데이터베이스 처리 능력의 한계를 붕괴시켜버린 압도적인 3대 요건(크기, 속도, 다양성)의 파괴력을 체감하고 빅데이터의 정의를 확립합니다.

1.6.2 데이터 시각화와 오케스트레이션

난해한 100만 줄의 코드를 1초 만에 이해시키는 시각적 통역 기술(Visualization)과 파편화된 데이터를 하나로 통제하는 시스템 구축의 필요성을 배웁니다.

1.6.3 통계의 함정과 통찰력

화려한 그래프 뒤에 숨겨진 ‘새빨간 거짓말(의도적 왜곡)’을 완벽하게 걸러내고, 도메인 지식으로 진짜 진실(Insight)을 골라내는 해독 능력을 갖춥니다.

정리

통제되지 않은 3V(방대한 양, 엄청난 속도, 뒤엉킨 다양성)의 빅데이터는 축복이 아닌 재앙일 뿐입니다. 이를 막기 위해서는 거친 물살(데이터)을 거대한 파이프라인(오케스트레이션)으로 가두고, 투명한 차트(시각화)를 통해 바라보며 사람의 의도로 오염된 통계의 함정에 빠지지 않는 완벽한 통찰력을 갖춰야 합니다.