[이코노믹리뷰=김승현 기자]'다크 데이터(Dark Data) 시대가 온다'

시장조사회사 가트너는 '2018 디지털 트렌드'에서 다크 데이터의 중요성을 강조했다.  가트너는 다크 데이터를 기반으로한  인공지능, 블록체인 등 지능형 디지털 매쉬를 2018 디지털 트렌드의 핵심으로 잡았다.  전 세계 AI 스타트업 인수 건수가 2013년 보다 5배가 늘어났고, 국내에선 AI 바둑프로그램 알파고가 이세돌을 물리쳤다. 더 가까이에는 보안, 홈시어터 등 인공지능기술이 집안 곳곳에 있다. AI가 4차 산업 혁명의 핵심으로 꼽히고, 빅데이터와 함께 다크데이터가 중요해졌다. 다크 데이터는 그 단어가 암시하듯 어둠의 데이터인가? 활용되지 않고 사장되는 데이터여서 활용 가능성이 무궁무진한 데이터인가?

답은 후자에 가깝다. ‘다크 데이터’는 구조화되지 않고 다른 데이터와 연결되지 않은 데이터, 심지어는 사용할 수 없는 데이터다. 가트너는 다크 데이터를 “기업의 정기적인 활동에서 수집·처리·저장하지만 다른 용도로 사용되지는 않는 정보 자산”이라고 정의했다. 전 세계 데이터의 80% 이상이 다크 데이터로 추산되지만 활용 방법이 마땅히 없어 대부분 버려졌다. 그러나 최근 인공지능과 센서기술이 발달하면서 다크 데이터를 이용해 새로운 서비스를 발굴하는 사례가 등장하고 있다.

다크 데이터 분석업체 인수한 애플의 속내는?

구글과 페이스북, 애플과 인텔을 비롯한 미국의 거대 기업들은 AI스타업 인수 경쟁을 벌이고 있다. 자동차 업체 포드, 사이버 보안업체 소포스, 그리고 전자상거래 기업체 아마존도 있다.  

스타트업 투자 분석업체 CB인사이츠에 따르면 AI스타트업 인수 건은 2013년 22건에서 2017년 115건으로 5배 늘어났다. 가장 많은 곳을 인수한 기업은 구글로 14개 기업을 인수해 마이크로소프트와 아마존의 근 두 배를 기록했다. 이어 애플이 13개 기업을 인수해 뒤를 이었다.  

구글은 영국의 보컬 IQ,인도의 튜플점프, 이스라엘의 안면인식 기술 기업 리얼페이스 등을 추가하는 등 AI 포트폴리오를 강화하고 있다.

애플은 비정형 데이터 처리 방법을 연구하는 영국 기업 래티스데이터(Rattice Data)를 지난 5월 인수했다. 래티스데이터는 다크데이터를 분석해, 정형데이터로 변환시키는 기술을 보유한 기업이다. IT웹로그 엔가젯은 애플이 SIRI의 능력향상을 위해 래티스데이터를 인수했다고 예상했다. 래티스데이터의 기술로 SIRI가 더 많은 명령을 수행할 수 있도록 만들어, 아마존의 에코와 구글 홈 등 다른 인공지능 음성 스피커 업체와의 경쟁력을 높이는 데 효과적일 것이라는 분석이다.

미국·일본도 다크 데이터 기반 AI개발에 힘써

미국 컴퓨터 전문 업체 IBM은 선수의 몸짓이나, 관중의 호응소리를 활용해 AI '왓슨'으로 제작한 하이라이트 영상 서비스를 선보였다. 왓슨이 제82회 미국프로골프(PGA) 마스터스 대회 4일간의 경기 영상을 전부 분석해 자동으로 정리한 것이다. 왓슨은 갤러리의 함성과 중계진의 뉘앙스, 선수와 캐디의 제스처 등을 데이터로 변환해 집계했다. 주변 소리가 크거나 선수의 몸짓이 클수록 중요한 장면으로 평가했다. 왓슨은 20년치 마스터스 영상에서 몸짓이나 소리 등 다크 데이터를 학습하면서 하이라이트 제작 방법을 스스로 배웠다.

IBM은 왓슨 헬스클라우드에서부터 IoT(사물인터넷) 솔루션에 이르기까지 복수의 분야에서 AI플랫폼의 인수와 확장에 열을 올리고 있다고 해도 무방하다.

일본도 AI기술 개발에 힘쓰고 있다. 히타치제작소는 몸 길이가 1㎜ 정도인 선충(線蟲)의 후각을 활용한 암 검진법을 내년 말 상용화할 계획이다. 선충은 암 환자의 소변 냄새를 맡으면 특이한 움직임을 나타낸다. 췌장암이나 대장암처럼 조기 발견이 어려운 암에 효과가 있을 것으로 기대를 모은다. 컴퓨터 제조회사 후지쓰가 개발 중인 선수의 움직임을 인식하는 ‘AI심판’, 도요하시기술대 연구팀이 개발 중인 5가지 냄새 성분의 비율을 측정해 특정한 도형으로 보여주는 ‘냄새카메라’ 등이 있다.

미국 하버드비즈니스리뷰는 "기업들이 다크 데이터를 제대로 활용하는 경우는 1% 미만"이라면서 "그동안 데이터로 취급하지 않던 정보를 분석 가능한 데이터로 전환·응용하는 능력을 갖춘 기업이 이 시장을 선도할 것"이라고 전망했다.

기업 맞춤형 챗봇 , 감성 AI 등 국내에도 다크 데이터 활용돼

국내에도 다크 데이터를 기반으로 AI 서비스가 나타나고 있다.

인공지능(AI) 전문기업 마인즈랩은 기업 맞춤형 챗봇 서비스 ‘마음 챗봇’을 개발했으며, 실제 상담원과의 라이브 채팅이 결합된 챗봇 서비스, 콜센터 연동 챗봇 서비스 등 다양한 형태의 고객센터 사업을 이어갈 계획이라고 밝혔다. 지난달 11일 리뉴얼된 마음 챗봇은 할인 행사, 채용, 신제품 등을 안내하는 회사 및 제품 소개 챗봇 ‘설리’, 직원들을 대상으로 다양한 사내 정보를 안내하는 인사총무 담당 챗봇 ‘조이’, 교육용 콘텐츠로 활용할 수 있는 지식 백과 챗봇 ‘노아’, 키즈교육 전용 챗봇 ‘미니’ 등 총 네 가지로 구성돼 있다.

국내 최초로 한국어를 기반으로 한 감성 AI ‘조나단’도 있다. 조나단은 개발사인 아크릴이 독자적으로 구축한 감성모델을 기반으로 작동한다. 이 모델에는 기쁨 슬픔 분노 등 사람이 가지는 기본적 감정 30여가지를 기본으로 두고 특정 주제, 단어가 이 감정들과 어떤 상관관계를 가지는지에 대한 분석이 담겨 있다. 아크릴의 박외진 대표는 지난 6월 한 매체와의 인터뷰에서 “지금 대부분의 AI는 지식을 전달하는 게 목적이지만, 이게 끝이 아니다”고 단호하게 말했다. 그는 “사람처럼 공감해 주는 AI를 만드는 건 굉장히 어렵지만 감성 분석이 그 출발점”이라며 “아크릴의 장기적 목표는 힘들다고 말하는 사람을 위로해 줄 수 있는 AI를 만드는 것”이라고 말했다.

이외에도 신한은행이 비재무 평가 기준에 담당자의 주관을 배제하기위해 계발하는 ‘비재무리스크분석’ 등 기업관리와 상담 분야에서 다크 데이터를 활용하고 있다. 그러나 발 빠르게 움직이는 외국에 비해 더딘 것으로 보여, 좀 더 빠르게 대응할 필요가 있는 것으로 보인다.