▲ 출처=네이버

한 의학 전문가가 병원에 등장했다. 이 의사의 진단 정확도는 전문의를 넘어서 96%에 달한다고 알려졌다. 정확한 진단을 내릴 수 있는 배경에는 방대한 양의 데이터와 이를 활용할 수 있는 능력이 있다. 이 의학 전문가는 IBM의 인공지능 왓슨이다.

일반 의사가 확인하는 의료분야에 데이터는 유전학 5%, 치료 임상시험 등 의학 분야가 20%고 나머지 75%는 사람의 행동 등을 포함한 비의료 분야다. 의사는 비의료 분야 데이터를 활용하지 못하지만 왓슨은 비의료분야를 비롯한 다양한 데이터를 활용할 수 있기에 더 정확하다. 왓슨은 진단 후에 개별 맞춤형 암 진료를 제공할 수 있다.

왓슨을 존재하게 하는 건 무엇일까? 바로 빅데이터(Big data)다. 빅데이터란 기존 데이터베이스 관리 도구다. 관리, 수집, 저장, 분석할 수 있는 대량의 정형 또는 비정형 데이터의 집합 및 이런 데이터들로부터 가치를 추출하고 결과를 분석하는 기술을 뜻한다. 빅데이터 기술의 발전은 현대 사회를 더욱 정확하게 예측할 수 있게 하고, 개인화된 현대 사회 구성원들에게 맞춤형 정보를 제공할 수 있게 해준다.

세계 빅데이터 시장은 연평균 35%~40% 정도로 지속적으로 성장할 것으로 보인다. 기술의 진보와 통신의 발달로 수백만 테라바이트에 해당하는 데이터가 다양한 형태로 발생되며 저장되고 있다. 빅데이터의 특성을 말할 때 3V를 언급한다. 3V는 볼륨(Volume), 벨로시티(Velocity), 버라이어티(Variety)를 말한다. 볼륨은 데이터의 크기를 뜻하고, 벨로시티는 데이터의 변화, 축적, 분석의 속도를 말한다. 버라이어티는 데이터의 다양성을 의미한다.

▲ 출처=위키피디아

빅데이터의 표준 플랫폼은 하둡(Hadoop)이다. 하둡은 대용량의 데이터 처리를 위해 개발된 오픈소스 소프트웨어다. 아파치 재단이 개발을 주도하고 있다. 하둡은 기업들이 폐기한 데이터를 저장하고 처리할 수 있게 한다. 스키마가 없어 복잡한 분석을 하기 위해 데이터를 다른 소스들로부터 모을 때 용이하다.

새로운 노드도 쉽게 추가할 수 있고 장애 대처 기능도 있다. 아마존웹서비스(AWS), 구글, 페이스북은 하둡을 도입해 실시간 데이터 처리와 고객 분석을 하고 있으며, IBM, 오라클, SAP, 데이터 등의 기업도 이용하고 있다.

빅데이터를 수집해 분석하는 게 기업에게 왜 필요할까? 빅데이터의 3대 요소는 데이터, 플랫폼, 인력이다. 빅데이터를 잘 활용하는 기업은 데이터를 이용해 생산성을 향상할 수 있으며, 가치 있는 의사 결정을 도출해낼 수 있다.

빅데이터는 기업이 의사결정을 할 때 요긴하다. 기업은 빅데이터를 주요 프로세스 상의 의사 결정 과정에 접목하고 또 분석에 의해 문제 해결의 대안을 도출할 수 있다. 빅데이터를 활용하면 전문가 집단에 의존하던 기존의 방식에서 벗어나 객관적으로 대규모의 이슈를 분석할 수 있다.

글로벌 기업들은 각종 문제 해결을 비롯해 미래 전략까지도 빅데이터를 기반으로 결정하려 하고 있다. IBM은 사내에 200명 이상의 데이터 과학자들이 분석한 핵심 분야를 연구해 500개 이상의 관련 특허를 취득하는 등 전반적인 의사 결정 과정에서 빅데이터를 활용하고 있다.

직원들의 행동 역학 분야에서도 빅데이터는 유용하다. 구글은 데이터를 직원들의 행동 역학 분야에 활용은 대표적인 기업이다. '피플 애널리스틱스'라 불리는 구글의 인재 경영 팀은 다양한 분야의 박사급 인재들로 구성되어 있다. 이들은 직원들의 식사의 종류나 연봉을 바꾸면 직업의 만족도나 생산성에 어떠한 영향을 미치는지 설문조사를 통해 조사하고 분석한다. 

▲ 출처=픽사베이

'구글가이스트'라는 설문조사를 이용해 직원들의 친밀도와 행복감을 파악해 회사 운영 방침에 추가하기도 한다. 그 결과 구글은 2012년 포춘이 선정한 최고의 직장에 선정된 바 있으며, 최고의 인재들을 키워내는 인큐베이터로 자리매김할 수 있게 됐다.  

삼성전자는 2014년 빅데이터 센터를 설립하고 사용자 로그 분석, 웹 보안 로그 분석, 생산 설비 센싱 로그 분석, 소셜 데이터 분석, 콜센터 데이터 분석, 전사적자원관리(ERP)등 6가지 분야에서 빅데이터 분석을 실시하고 있다. 이를 통해 보안 위협 감지, 제품 오류 발생 방지, 공정 과정 오류 탐지, 지역별 이슈 파악 등을 하고 있다.

한편 최근 SAS와 포브스 인사이트(Forbes Insights)가 실시한 조사 결과 데이터를 기반으로 고객 경험을 제공하는 기업들은 수익 창출, 비용 절감, 프로세스 효율성, 품질 향상 효과를 누리는 것으로 밝혀졌다.

조사 결과 91%의 기업이 데이터 분석이 고객에게 더 탁월한 고객 경험 제공을 가능하게 했다고 답변했다. 또한 57% 기업이 특정 고객을 타깃화하고 최적화할 수 있다는 점을 가장 큰 혜택으로 꼽았다. 56%는 다양한 채널에서 일관성을 가지게 된다는 점, 51%는 고객 거래와 계약에서 보다 우수한 상황 정보를 확보할 수 있다는 점을 데이터 분석의 장점으로 들었다.

데이터 분석은 조직에도 긍정적 경험을 제공한다는 평가다. 데이터를 기반으로 기업은 보다 신속한 의사 결정을 내릴 수 있고(62%), 실행 가능한 통찰력을 얻고(51%), 의사 결정에 자신감을 가질 수 있다(51%).

기업의 경쟁력은 실제 데이터를 얼마나 잘 활용하는지, 활용할 수 있는 기반을 갖췄는가에서 나온다. 빅데이터 활용의 장점은 데이터를 분석해 관심 대상에 대한 통찰력과 예지력을 높이는 데 있다. 나아가 이를 기반으로 더 나은 의사 결정을 하는 것이 빅데이터의 진정한 활용이라고 볼 수 있다.