[빅데이터가 만드는 세상] 나는 네가 어제 한 일을 알고 있다

 빅데이터에 대한 감을 잡으려면! <빅데이터가 만드는 세상>

 

얼마 전부터 주위에서 '빅데이터, 빅데이터...' 하길래, 도대체 뭔지 싶었다. 빅데이터가 뭐길래, 우리의 삶을 송두리째 바꿔놓을 대혁명이라니, '제 3의 물결'에 버금가는 변화가 올거라느니, 말이 많은지. 빅데이터에 대해 조금 공부를 해보고자 하는 마음에 관련 서적을 찾았다. 인류의 삶을 바꿔놓을 대혁명답게 빅데이터와 관련된 책들이 꽤나 많아 보였다. 그 많고 많은 책 중에서 쉽게 이해할 수 있고 한권으로 빅데이터의 A부터 Z까지 알 수 있는 책으로 고르려고 찾아 보다 <빅데이터가 만드는 세상>으로 결정하였다.

 

<빅데이터가만드는세상>은 빅데이터의 개념정의부터 빅데이터가 인류 사회에 끼칠 긍정적 측면과 부정적 측면, 그리고 이러한 부정적인 측면을 어떻게 하면 개선할 수 있는지 까지 차근차근 쉽게 설명해준다. 소설처럼 쉽게 읽힐 수는 없지만, 중간 중간 흥미로운 예들로 책은 두껍지만, 쉽게 넘어가는 편이다. 다만, 저자가 외국인이어서 해외사례를 들어 설명하기 때문에 한국 사회에 적용하기 어려운 부분도 있다.

 

빅데이터는 결국 전체의 데이터를 말한다. '빅'이라는 말이 오히려 정확한 의미를 이해하는 데 방해가 되는 것 같다. 이제까지 우리의 삶은 어떤 현상을 파악하기 위해 샘플링에 의존해왔다. 즉, 어떤 현상의 문제점을 파악할 때, 표본을 통해 샘플링 방식으로 문제를 이해했다. 예를 들면, 시청률을 조사하기 위해 전국에서 몇 천가구의 패널을 선정하여 그들의 집에 피플미터를 설치하여 시청률을 조사하는 것도 샘플링을 이용한 방법이었다.

 

하지만, 빅데이터의 시대에서는 샘플링의 방식이 아닌 전체의 데이터를 가지고 접근하게 된다. 또한, 데이터로 하여금 스스로 해결 방법을 찾게 하는 것이다. 지금껏 우리는 인과성에 기초해 사고해 왔다. 하지만, 빅데이터의 시대에서는 인과성이 아닌 상관성에 기초해 사고 해야한다. 빅데이터의 시대에서는 데이터들의 상관관계를 분석해 해결 방법을 모색하게 된다. 그래서 빅데이터의 시대에서는 '왜?' 라고 묻고 그것에 대한 대답을 기대한다면, 답을 얻기는 힘들 것이다. 이제는 빅데이터가 분석해 도출된 결론을 얻는 것에 만족해야 한다. 그렇기 때문에 빅데이터의 시대에서는 생각하는 방식이 바뀔 수 밖에 없다. 빅데이터가 도출한 결론을 과연 신뢰할 수 있을지 고민이 될 텐데, 저자는 빅데이터는 전체의 데이터로 말하기 때문에 왜곡될 수 없다고 말한다. 샘플링에서 생기는 오류가 줄어들어 정확도가 높아진다는 것이다.  

 

빅데이터의 시대에서는 빅데이터의 도출을 용이하게 하기 위해 모든 것을 수량화하게 될 것이다. 모든 단어와 정보들을 데이터화 하고, 이러한 데이터들은 사용하는 주체에 따라 다양한 방식으로 사용하게 될 것이다. 즉, 데이터는 한 번 사용되고 버려지는 것이 아니라 재사용될 것이다. 당연히 데이터 자체가 가치를 지니기 때문에 데이터를 사고 팔게 될 뿐만 아니라 오픈 데이터의 요구도 커질 것이다.  

 

빅데이터가 일반화된다면, 데이터 중심의 의사 결정으로 바뀌기 때문에 전문가들의 영역은 축소될 수 있다. 알고리즈미스트라는 신종직업도 생겨날 것이다. 알고리즈미스트는  것쉽게 말해 데이터를 관리하는 사람을 말한다. 빅데이터 시대에서는 데이터 관리가 결국 자금 관리만큼 중요해지기 때문에 회사들은 알고리즈미스트를 고용하게 될 것이다. 또한, 우리의 기초교육에도 변화가 필요할 것 같은데, 우리가 국영수를 필수 과목으로 배웠다면 이제 수학, 통계학, 약간의  프로그래밍과 네트워크과학 같은 과목이 주요 과목으로 선정 될 수 있을 것 같다.

 

빅데이터를 잘 활용한다면, 인류는 구텐베르크가 이동식 활자를 발명한 것 만큼의 또 한 번의 인류의 진화를 경험하게 될 것이다. 하지만, 잘못 활용한다면, 인류 대재앙이 일어날 수도 있다. 조지오웰의 <1984>에 나오는 디스토피아처럼 개인들의 사생활은 사라질 것이다. 책에서는 영화 <마이너리티리포트>를 예로 들었는데, 빅데이터를 활용해 앞으로 일어날 범죄까지 미리 예측하여 일어나지도 않은 범죄의 범인을 잡아 범죄를 예방(?)한다면, 과연 인류사회에 도움이 되는 일일지는 의문이다. 일어나지도 않은 범죄의 범인이 있을 수 있는 건지, 이를 악용한다면, 멀쩡한 사람도 음모에 의해 범죄자가 될 수 있는 상황이 발생할 수 있을 것이다. 하지만 무서운 건, 이미 몇몇 선진국에서는 범죄수사에 빅데이터를 활용하고 있다는 것이다.

 

빅데이터의 시대에서는 데이터의 사용 방식이 화두가 될 것이다. 지금까지는 개인의 데이터를 사용할때마다 사업자가 개개인의 동의를 구하는 방식인데, 이러한 방식으로는 사업자가 수집한 데이터들을 2차적 목적으로는 활용할 수 는 없으니 저자는 그것보다는 데이터를 사용하는 사람에게 재량을 주는 것이 좋다고 말한다. 빅데이터를 활성화시키기위해서는 필요하지만, 반면, 상상할 수 없는 범죄가 일어날 수도 있다.

 

구글이 검색어를 분석해 독감이 유행할 것이라는 것을 실제 독감이 유행하기 2주전 예측했다는 것이나, 아마존에서 소비자에게 책을 추천하기 위해 초반에는 도서비평가를 고용했으나 빅데이터를 활용하면서 자동추천기능으로 바꿔 그 부서를 없앴다는 등 빅데이터를 활용한 실제적인 예들을 보면서, 앞으로 우리 사회가 빅데이터로 인해 어떻게 변화하게 될 지 궁금해진다.