Big data...

빅데이터(Big Data)는 원래 수십에서 수천 테라바이트에 달하는 거대한 데이터 집합 자체만을 지칭하던 양적 개념이었지만 데이터가 급증하면서 대용량 데이터를 활용하고 분석해 가치 있는 정보를 추출하고, 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보 기술 용어로 변화했다.설명대상1)

미국 『와이어드(Wired)』 편집장 크리스 앤더슨(Chris Anderson, 1961~)은 빅데이터가 ‘이론의 종언’을 가져올 것이라고 주장하지만, 빅데이터의 가능성이 과장되었다는 비판도 만만치 않다. 예컨대, 미국 휴스턴대학 라이언 케네디(Ryan Kennedy) 정치학 교수 연구팀은 2014년 3월 세계 최대 인터넷 기업인 구글의 대표적인 빅데이터 서비스인 구글독감트렌드(Google Flu Trends·GFT)가 최근 2년간 실제와 다른 예측치를 내놨다고 지적하면서, “‘빅데이터 혁명’ 대신 빅데이터와 스몰데이터(Small Data, 전통적인 연구조사 정보)를 결합한 ‘올데이터 혁명(All Data Revolution)’을 얘기해야 한다”고 제안했다.

데이터과학 전문가인 KAIST 정하웅(물리학) 교수는 “빅데이터를 이용한 예측과 실제 결과는 인과관계가 아니라 상관관계를 갖는다”며 “정확한 예측을 기대하기보다 경향성을 확인하는 데 만족해야 한다”고 말했다. 빅데이터 분석 업체인 다음소프트 송길영 부사장은 “빅데이터 연구는 현재 좀더 빠르고 정확한 예측 방법을 찾아가는 과정 중에 있다. 지속적인 데이터 미세 조정이나 알고리즘 수정이 필요하다”고 말했다.2)

중국 알리바바그룹 회장인 마윈(馬雲)은 “2030년 세계는 시장경제(market economy)와 계획경제(planned economy)를 놓고 대논쟁을 다시 벌이게 될 것”이라며 “꼬박 100년 전(1930년대)엔 미국이 주장한 시장경제가 이기고 러시아가 졌지만 이젠 상황이 달라졌다”고 단언했다. 그는 데이터를 이유로 들면서 “2030년엔 계획경제가 더 우월한 시스템이 될 것”이라고 말했다. 마윈(馬雲)은 “1930년대엔 사람들이 ‘보이지 않는 손’이 시장에 있다고 믿었기 때문에, 그래서 시장경제가 이긴 것”이라며 “하지만 손에 데이터를 쥐고 있는 지금의 우리는 예전엔 보이지 않던 그 손을 볼 수 있게 됐다”고 말했다. 그는 실시간으로 생기는 엄청난 빅데이터를 수집·분석할 수 있는 데이터 기술(DT·Data Technology)에 주목하며 새로운 개념의 계획경제를 들고 나온 셈이다.3)

크리스티안 루더(Christian Rudder)는 ‘데이터(data)’와 ‘카타클리즘(cataclysm)’의 합성어인 ‘데이터클리즘(Dataclysm)’이란 개념을 제시했다. 그는 대홍수를 의미하는 그리스어 ‘카타클리스모스(Kataklysmos)’에서 유래한 영어 단어 카타클리즘을 다음 2가지 의미로 사용했다. “하나는 물론 전례 없는 데이터 홍수를 뜻한다. 요즘 내린 데이터가 만든 바다는 너무 깊어서 마치 바닥이 없는 듯하다. 옛날의 데이터가 그저 가랑비였다면 최근의 데이터는 40일 밤낮으로 쏟아지는 폭우다. 두 번째는 어제의 정체된 지식과 오늘의 제한된 시야가 홍수에 휩쓸려 내려간 후 새로운 세상이 올 거라는 희망적 의미다."4)

‘사회물리학(social physics)’은 빅데이터를 원동력 삼아 새롭게 대두된 학문이다. 미국 MIT 과학자 알렉스 펜틀런드(Alex Pentland)는 『창조적인 사람들은 어떻게 행동하는가: 빅데이터와 사회물리학』(2014)에서 “사회물리학은 우리가 세상을 통해, 가령 전화 통화나 신용카드 거래 내역, GPS(위성항법장치) 지역 설정을 통해 흘리고 다니는 디지털 빵가루(digital bread crumbs) 속에 담겨 있는 인간들의 경험과 아이디어 교환 패턴에 대한 분석 작업에 바탕을 두고 있다”며 다음과 같이 말한다.

“이처럼 디지털 빵가루를 가지고 패턴을 분석하는 작업을 우리는 현실 마이닝(reality mining)이라고 부르는데, 이를 통해 한 개인의 정체성에 관해 엄청나게 다양한 이야기를 들려줄 수 있다. 나는 학생들과 함께 이 기술을 바탕으로 특정 인물이 당뇨에 걸릴 것인지, 혹은 돈을 잘 갚는 유형인지 판단할 수 있다는 사실을 확인했다. 그리고 많은 사람을 대상으로 그 패턴을 분석함으로써, 과거에는 다만 무작위적인 ‘신의 영역’으로 여겼던 다양한 현상들, 가령 경제 위기나 혁명, 거품과 같은 사건들을 설명해낼 수 있다는 사실을 확인해가고 있다.”5)