인류문명의 경과를 잠시 뒤돌아보면 인류는 한 번도 순탄한 문명 속에 안주하지 않았다. 항상 새로운 변화를 일으켜 새로운 삶을 개척해 왔다. 농경사회에서는 비옥한 땅이 필요했다. 부족을 이끌고 물이 풍부한 강가에 정착하여 관개수로를 만들고 주변 황무지를 옥토로 만들었다. 농작물 수확을 늘리기 위해 퇴비를 활용하고 종자를 개량했다. 자손이 번창해도 충분히 먹고살 수 있는 터전을 구축했다. 비옥한 땅이 없는 민족은 목축업을 통해 식량을 마련했다. 이들에게도 가축들의 먹이를 생산할 수 있는 목초지가 필요했다. 유목민들은 거처를 옮겨 가면서 새로운 땅을 개척했다. 농경목축 사회의 자산은 땅이었다. 땅이 넓어야 부유했다. 이 시대의 전쟁은 경제활동의 원천인 땅을 점령하기 위한 전쟁이었다.
산업혁명이 일어난 후 인류는 자연에서 공급해 주지 않는 자원들을 스스로 만들어내는 기술을 발달시켰다. 광석을 제련하는 기술을 개발해서 광물 속에 감춰진 철강, 동, 아연, 니켈 실리콘 등 금속을 생산해 냈다. 산업혁명의 핵심기술은 에너지 기술이다. 석탄을 태워 물을 끓이고 증기압을 이용해서 터빈을 돌려 전기를 생산했다. 값싸고 풍부한 전기에너지는 식량저장기술을 발달시켰고, 교통기관을 발달시켜 인류의 생존영역을 무한대로 확장시켜줬다. 산업사회가 되고 나서는 전쟁의 양상이 자원이 많은 지역을 차지하려는 전쟁으로 변했다. 자원이 많은 식민지를 많이 가진 국가가 부유했다. 그러나 정보화 사회에선 데이터가 모든 비즈니스의 원료다. 상품과 서비스가 데이터로 만들어진다. 좋은 데이터를 확보하는 길이 좋은 서비스와 상품을 제공하는 길이다. 따라서 데이터를 훔치는 사이버전쟁 시대를 우리는 살고 있다.
비즈니스는 사이버 전쟁 중
시스코(CISCO) 예측에 의하면 2016년 말이 되면 전 세계 인터넷 데이터가 1.1 제타바이트(Zettabyte)를 넘어선다고 한다. 바야흐로 제타바이트 시대가 되었다. 지난 5년 동안 데이터양이 5배로 증가했다. 그리고 다음 5년간은 3배로 더 증가한다고 예상한다. 이젠 PC보다 모바일 기기에서 발생하는 데이터가 더 많다. 올해는 모바일 데이터가 전체 데이터의 53%를 점유할 것이라고 예상한다. 모바일 데이터 트래픽이 2014년에서 2019년까지 5년 동안 10배로 증가할 것이라고 전망한다. 연간 성장률이 57%나 된다. 매초마다 7128건의 트윗이 보내지고, 486건의 사진이 인스타그램에 올려지며, 이메일 발송 건수가 247만535건이다(이 중 3/4은 스팸 메일이다). 1초 동안 발생하는 인터넷 트래픽이 3만3304GB이고, 구글 검색 건수는 5만3113건이며, 유튜브 비디오는 11만7904건이 시청된다고 한다. 개인들은 끊임없이 데이터를 발생시키고 있다. 페이스북이나 카톡 같은 SNS에서 발생하는 데이터, 스마트폰 위치추적 시스템이나 CCTV가 기록하는 데이터 그리고 신용카드 지불에 의해 생성되는 데이터 등 빅 데이터는 PC, 스마트폰, 그리고 클라우드에 저장되고 있다.
빅 데이터 세상에서 가장 치열한 사이버 전쟁터는 비즈니스 영역이다. 좋은 서비스나 상품을 제공하려면 고객의 상세한 정보가 필요하다. 고객의 취향을 재빨리 간파하고 고객맞춤형 상품 추천으로 성공한 기업이 아마존이다. 구글이나 페이스북의 사업이 번창하는 이유는 세상의 변화를 쉽게 읽기 때문이다. 이들은 이용자들이 쏟아내는 데이터를 분석해서 절묘한 시점에 새로운 비즈니스에 진출한다. 검색기술과 소프트웨어기술에 전념하던 구글이 로봇기업들을 입수하고 생명과학에 진출한 사례나 페이스북이 가상현실 기술에 거금을 투자한 사례가 바로 그런 경우다.
전 세계 정보기관들은 정보원을 통해 고급 정보를 입수하던 방식에서 빅 데이터를 모아서 고급정보를 탐색하는 방식으로 방향전환을 했다. 정보기관은 급변하는 정보사회에서 민간의 기술발달을 쫓아가지 못한다는 절박감이 있다. 세상의 흐름을 제대로 읽으려면 시중에 흘러 다니는 빅 데이터를 수집해야만 할 처지다. 2013년에 미국의 CIA 기술담당 총책임자인 이라 헌트(Ira Hunt)가 어느 데이터 학회에 나가서 연설한 내용은 정부기관이 데이터를 어떻게 다루고 있는지 잘 알려준다. 그는 빅 데이터의 3대 원천이 SNS, 스마트폰, 그리고 클라우드 데이터센터라고 노골적으로 말했다.
스마트폰은 모바일 데이터 센타
스마트폰은 소통도구이며 건강측정기이며 동시에 이동측정기기이다. 스마트폰은 특히 센서의 집합체이다. 마이크, 사진기, 3축 가속도계, 터치센서, 광도계, 근접센서, 위치센서 등이 내장되어 있다. 헌트의 말에 의하면 스마트폰이 꺼져 있다 해도 모든 데이터를 추적할 수 있다고 한다. 3축 가속도 센서의 측정치를 보면 남성인지 여성인지 바로 알 수 있고, 키가 큰 사람인지 작은 사람인지 그리고 몸무게가 무거운지 아니면 가벼운지도 쉽게 알 수 있다. 특히 걸음걸이를 정확하게 짐작할 수 있기 때문에 스마트폰 휴대자가 누구인지도 정확하게 알 수 있다. 스마트 폰에는 건강 측정 기능도 있는데 움직이는 속도, 혈당량, 인슐린 제어, 건강 감시, 운동 코치, 심지어 건강 위험경보까지도 가능하다. 이를 결합하면 스마트 폰 휴대자의 사회성, 급진성, 국제적인 관련성, 건강상태, 정보교환 여부 등을 추정할 수 있고 결국 범죄성까지 추정하여 사전조치도 가능하다고 CIA는 믿고 있다. 최근 국내에서도 테러방지법 입법 과정에서 데이터 수집 대상을 임의적으로 선택할 수 있다는 우려 때문에 크게 반대 여론에 부딪혔지만, 정보기관 입장에선 그런 법적인 근거가 있어야 마음 놓고 빅 데이터를 수집할 수가 있다.
스마트폰에 탑재되어 있는 센서들은 무한하고, 이것저것 가리지 않고, 무분별하다고 표현할 만큼 데이터 수집능력이 높다. 사물인터넷 시대가 되면 모든 것들이 연결되고 서로 데이터를 주고받고 모든 것들이 센서가 된다. 정보수집 관점에서 보면 정말로 미래는 형언할 수 없을 만큼 정보로 가득 찬 빅 데이터 세상이 된다. 빅 데이터를 제대로 분석하면 우리가 무엇을 모르고 있는지 알 수 있다고 한다. 그 정보의 간격을 메우기 위해서 제대로 된 목표에 집중할 수 있고 보다 효과적인 정보수집 방법을 채택할 수가 있다고 한다. 정보의 경계는 국경을 넘나든다. 미 CIA는 한국인들을 포함해서 전 세계인들의 모든 스마트폰을 뒤져서 정보를 분석해낼 수 있다. 구글이나 애플에 뒷문이 있다 없다는 논쟁은 어리석은 일이다. 미국은 자국의 이익을 위해선 얼마든지 상호협력이 가능한 나라다. 삼성이나 LG폰이라서 뚫리는 것이 아니다. 모든 개인 데이터는 스마트폰 운영체제를 관리하는 OS 클라우드에 저장한다.
빅 데이터 해석엔 전문가적 시각이 중요
정보기관이 최종적으로 원하는 건 적진의 계획을 제대로 이해하는 것이다. 이를 위해 정보의 점들을 연결할 수 있는 의미 있는 정보를 수집해야만 한다. 하지만 빅 데이터가 모든 것을 제공하지는 않는다. 수많은 데이터가 존재해도 개별 데이터의 미래가치는 사실상 정확하지 않다. 알고 있는 정보와 알지 못하는 정보를 서로 연결할 방법도 없다. 정보기관이 전통적으로 사용하던 방법도 통하지 않는다. 정보수집에 필요하다고 목적성을 가지고 수집한 인위적인 데이터는 빅 데이터 세상에선 쓸모없는 데이터가 될 가능성이 높다. 어떤 데이터가 필요한지도 모르는 데이터를 모조리 다뤄야 한다는 모순이 있다. 그래서 데이터는 많을수록 좋다는 생각이다. 물론 데이터의 본질을 알 수 없는 잡음신호는 판단을 흐리게 한다. 데이터를 많이 열거한다고 모델링이 되지도 않는다. 대부분 사건이 터지고 난 후에야 어떤 데이터가 필요했다고 뒤늦게 깨닫게 된다. 그래서 데이터 수집보다 데이터를 실시간으로 분석해내는 도구가 더 중요하다. CIA의 경우는 빅 데이터 분석을 위해서 아마존의 인공지능 소프트웨어와 아이비엠(IBM)의 왓슨을 구입했다. CIA의 경험에 의하면 데이터 해석에 통찰력과 이해력이 필요하다고 한다. 어떤 의문을 품는가에 따라 답변이 달라지기 때문이다. 어떤 데이터 세트가 가치 있는 정보인지 아는 것이 중요하다. 물론 데이터를 분석하는 인공지능 소프트웨어도 스마트해야 하지만 이를 다루는 사람이 아주 스마트해야 한다. 그래서 사람이 중요하다. 데이터의 가치를 제대로 판별하는 전문가의 시각이 필요하다. 아무리 우수한 인공지능이라도 분석알고리즘에게만 맡길 수 없고 수많은 수작업이 개입되어야만 한다고 한다.
기업도 시장의 변화에 대한 정보 분석력이 뒤처지면 미래가 없다. 기업 특성에 맞는 빅 데이터를 수집하고 분석하여 미래전략을 분기별로 수정해가야만 한다. 기업의 정보 분석가는 먼저 기업의 속성을 잘 이해하고 고객이 무엇을 원하는지 정확히 이해해야 한다. 비즈니스가 성공하려면 고객의 불편함을 확실히 줄여줘야만 한다. 데이터 분석을 잘하기 위해선 사람, 사건, 장소, 개념, 조직, 사물, 시간 등에 대한 데이터 세트가 제대로 갖춰져야 한다. 사람과 사건을 합치면 개념이 잡히고 이를 장소와 시간으로 확장시키면 정보가 탄생한다. 데이터를 분석하는 도구는 사용하기 편해야 한다. 분석 결과는 테이블이 아닌 시각정보로 보여 주어야 한다. 빅 데이터 해석은 데이터를 검색에 목적이 있는 것이 아니고 데이터 간의 연관성을 찾는 데 목적이 있다. 그래서 아이비엠의 블루믹스(Bluemix) 같은 인공지능서비스를 적극 활용할 필요가 있다. 데이터 과학자나 정보처리 엔지니어는 다양한 전문성을 기반으로 할 수 있다. 즉 수학, 통계학, 데이터 공학, 패턴인식과 학습, 컴퓨팅, 디지털 시각화, 불확정 모델링, 데이터 저장, 슈퍼컴퓨팅 등이다. 특히 데이터 해석엔 호기심이 중요하다. 기계가 사람을 대신해서 호기심을 발동할 수는 없기에 인재의 중요성이 강조되지 않을 수 없다.