1.6.1 빅데이터의 3V 특성

학습목표

본 장에서는 기존의 데이터베이스 관리 도구로는 수집과 분석이 불가능할 만큼 넘쳐흐르는 방대한 양인 ‘빅데이터(Big Data)’의 3대 핵심 특성(3V)을 명확히 이해합니다. Volume(크기), Velocity(속도), Variety(다양성)의 개념을 바탕으로 현대 데이터 생태계의 복잡성을 파악합니다.

빅데이터란?

이제 데이터 하나의 크기에서 거대한 빅데이터로 시야를 넓혀봅시다.

빅데이터 3V의 유래 : 2001년 더글러스 레이니(Douglas Laney)가 처음 제시한 개념으로, 빅데이터의 핵심 특징을 정의합니다.

방대한 양 (Volume)

빅데이터라 불리기 위해서는 3가지의 V조건이 충족되어야 합니다.

• 첫 번째는 방대한 양(Volume)입니다. 테라바이트(TB), 페타바이트(PB) 수준의 압도적인 크기를 말합니다.

속도 (Velocity)

두 번째 V는 속도(Velocity)입니다.

유튜브 채널에 1분마다 업로드되는 500시간 누적분량 영상처럼 무서운 속도로 쏟아지는 스트리밍 생산의 특징입니다.

다양성 (Variety)

세 번째 V는 다양성(Variety)입니다. 아까 말한 정형, 비정형 데이터들이 한 솥에 얽히고설켜 생산된다는 뜻입니다.

정리

데이터가 단순한 정보의 집합을 넘어 강력한 통찰을 지닌 ‘빅데이터’로 진화하기 위해서는 압도적인 양(Volume), 빛의 속도와 같은 빠른 생성(Velocity), 그리고 온갖 형태가 엉킨 다양성(Variety)이라는 세 가지 조건을 갖추어야 합니다.

• 3V의 본질: 이 압도적인 쓰나미 앞에서는 더 이상 엑셀 같은 도구로 무리하게 계산할 수 없으며, 인간의 눈과 수작업만으로는 정보 처리가 불가능해집니다.
• 새로운 처리 패러다임의 필요성: 이렇게 쏟아지는 거대한 데이터 더미 속에서 가치를 찾아내기 위해서는 기존의 방식을 버리고, 새로운 분산 처리 시스템과 시각화 도구, 그리고 자동화된 데이터 파이프라인의 도입이 필수 불가결합니다.

이러한 지독한 3V의 특성을 온전히 이해하는 것이 곧 다가오는 미래 비즈니스 생태계에서 데이터를 통치하기 위한 첫걸음입니다.