1.8.2 빅데이터와 데이터 분석의 관계 (광산과 광부)

학습목표

본 장에서는 가공되지 않은 ‘빅데이터’와 이를 다루는 ‘데이터 분석’ 간의 떼어놓을 수 없는 상호 의존적 관계를 파악합니다. 원석(데이터)과 광부(분석가), 또는 식재료(데이터)와 요리사(분석가)의 직관적인 비유를 통해, 방대한 데이터 속에서 실제 비즈니스 가치를 창출해 내는 분석가의 필수적인 역할을 이해합니다.

빅데이터 그 자체는 아직 캐내지 않은 커다란 거친 ‘다이아몬드 광산’과 같습니다. 돌무더기를 그냥 놔두면 아무 쓸모가 없고 하드디스크 용량만 차지합니다.

광산(빅데이터) 속에 숨겨진 금가루(인사이트)를 찾아내기 위해 파이썬이라는 곡괭이를 들고 들어가는 광부가 바로 데이터 분석가입니다.

맛있는 요리를 위한 거대한 식재료 창고

다른 비유를 들어볼까요? 빅데이터는 세상의 모든 식재료가 산처럼 쌓여 있는 ‘무한대의 식자재 창고’입니다.

그리고 데이터 분석은 그 재료들 중 가장 신선한 토마토와 양파를 골라내어 ‘최고급 파스타’라는 결론(지혜)을 만들어내는 현대판 마법 요리 기술입니다.

정리

데이터와 데이터 분석은 동전의 양면처럼 서로가 없이는 그 가치를 잃어버리는 불변의 짝꿍입니다.

• 잠재된 다이아몬드 광산: 제아무리 페타바이트(PB) 급의 거대한 데이터를 모아 두었더라도, 누군가 파고들어 캐내지 않으면 그것은 그저 서버 비용만 축내는 바위에 불과합니다.
• 분석가라는 광부이자 셰프: 파이썬, 통계학, 머신러닝이라는 날카로운 곡괭이를 들고 이 거친 돌 더미(빅데이터) 속에 뛰어들어, 반짝이는 인사이트(지혜)와 세상에서 가장 맛있는 결론(비즈니스 가치)을 깎아내는 장인이 바로 데이터 분석가입니다.

결국 다가오는 미래에는 창고에 재료(데이터)를 무작정 쌓아두는 자가 아니라, 그 재료를 가장 맛있고 신속하게 요리하여 식탁에 올릴 줄 아는 능력자가 세상을 지배하게 될 것입니다.