[이코노믹리뷰=홍석윤 기자] 인공지능(AI)의 투명성과 윤리에 대한 우려가 높아짐에 따라, 클라우드 서비스 회사들이 AI 알고리즘 뒤에 있는 의사 결정 과정을 해독해 주는 새로운 도구의 개발에 나서고 있다고 월스트리트저널(WSJ)이 26일(현지시간) 보도했다.

회계나 재무 같이 규제가 강한 산업 분야의 경영진들은 데이터 과학자나 기술직이 아닌 일반 회사 임원들도 알고리즘 이면의 의사 결정 과정을 이해하는 능력(explainability)를 갖는 것이 중요하다고 말한다. 기업용 인공지능 보급이 점차 확산되면서, 그 과정을 알아야만 인공지능이 저지를 가능성이 있는 윤리 및 규정 위반과 그로 인한 광범위한 영향에 대비할 수 있다는 것이다.

회계법인 KPMG의 혁신 및 기업 솔루션 전담팀에서 지능형 자동화와 인지 및 인공지능 부문을 맡고 있는 비노드 스와미나탄은 "인공지능의 의사 결정 과정을 이해하는 능력이 없다면, AI가 기업에서 수 백 가지의 목적으로 확장할 수 없을 것”이라고 주장한다.

이것이 IBM과 구글 같은 회사들이, AI가 투명성과 윤리를 지킬 수 있도록 하는 도구를 클라우드 기반 AI 서비스 제공에 통합시키는 이유다.

IBM의 기업가치 연구소(Institute of Business Value)의 최근 조사에 따르면, 조사 대상인 5000명의 업계 임원 중 약 60%가 AI가 규제 및 규정 준수 기준을 충족하기 위해 데이터를 어떻게 사용하고 어떻게 의사 결정을 내릴 수 있는지 이해할 수 있어야 한다고 우려를 표명했다. 2016년 조사에서는 29%만이 그런 우려를 나타냈다.

AI의 의사 결정을 이해하는 능력은 인공지능을 개발하는 데이터 과학자나 인공지능의 장점을 지지하는 기업 임원들에게는 일종의 블랙 박스 역할을 할 수 있다. 특히 데이터에서 패턴을 식별하기 위해 사용되는 신경망 같은 딥 러닝 도구에서는 더욱 그렇다. 신경망 구조는 인간의 두뇌 작업을 모방하려고 노력하기 때문이다.

이러한 시스템은 전례 없는 정확도와 속도로 어떤 결론을 도출하지만, 신경망의 복잡한 그물망이 어떤 과정으로 특정 결정에 도달하는지는 명확하지 않다.

KPMG는 사내 데이터 과학자로 하여금, IBM의 새로운 투명성 도구를 이용해 자체적으로 AI 의사결정 과정을 이해할 수 있는 도구를 구축하고 있다. 목표는 “기술 담당 엔지니어뿐 아니라 비기술 업무를 수행하는 직원들이 ‘블랙 박스를 열고’ AI 알고리즘이 어떻게 결론에 도달하는지를 정확하게 결정하고 이해하도록 하는 것”이라고 스와미나탄은 설명했다.

지난 주에 발표된 IBM의 새로운 클라우드 기반 인공지능 투명성 도구는, AI가 자신이 주장하는 의견에 도달한 주요 요인이 무엇인지를 사용자에게 보여준다. 이 도구는 또 인공지능의 의사 결정을 실시간으로 분석해, 편향성이 내재되었는지를 확인하고, 그런 편견을 다루기 위해 어떤 데이터와 방법을 사용할 지도 AI에게 권장할 수 있다. 이 도구는 IBM의 인공지능 서비스는 물론, 구글 등 다른 클라우드 서비스 제공 업체의 서비스와도 연동될 수 있다고 IBM의 데이비드 케니 인지 솔루션 부문 수석 부사장은 전했다.

그는 "그런 인공지능을 처음부터 분석하고 모든 것이 어디서 왔는지 이해하면, 인공지능의 의사 결정 방법을 이해하는 데 도움이 될 수 있다”고 설명했다.

구글도 지난 해부터 자체의 오픈 소스 머신 러닝 코드용 새 도구를 공개하기 시작했다. 구글의 연구 과학자들과 소프트웨어 엔지니어들의 블로그 게시문에 따르면, 이 도구의 공개는 "AI의 의사결정 과정을 해석하기 위한 보다 더 큰 연구 노력의 일환이며, 그것이 구글의 정책 목표에 부합하는 것”이다. 이달 초에 공개된 또 다른 구글의 AI 도구도, 프로그래머가 아닌 사람들이 알고리즘의 공정성을 평가하기 위해 머신러닝 시스템을 검사하고 디버깅할 수 있도록 설계되었다.

애저(Azure) 클라우드를 통해 인공지능 서비스를 제공하는 마이크로소프트사의 대변인은, 모든 인공지능 시스템은 공평성, 투명성, 안전을 보장하도록 설계되어야 하며, 개발 회사들은 지속적인 노력을 통해 신뢰를 확보해야 한다고 주장했다. 역시 인공지능 클라우드 서비스를 제공하는 아마존은 WSJ의 요청에 응답하지 않았다.

미국의 금융 그룹 캐피털 원(Capital One Financial Corp.)과 뱅크오브아메리카(Bank of America Corp.)도 AI 알고리즘이 자신이 내린 해답의 근거를 설명하게 하는 방법을 연구하고 있는, 고도로 규제된 금융 업계의 기업들이다. 두 회사는 “금융 사기 탐지 기능을 높이기 위해 인공지능을 사용하려고 하지만, 우선 알고리즘이 실제로 어떻게 작동하는지 이해할 필요가 있다”고 말했다.

캐피털 원의 밥 알렉산더 기술운영책임자(CIO)는 "AI의 의사 결정 과정을 이해할 수 있는 능력에 확신을 가질 때까지는 사용하는 알고리즘에 대해 신중해야 한다.”고 주장한다.

AI의 의사 결정 과정을 이해해야 한다는 우려는 민간 부문만이 아니다. 예를 들어 미 국방부 산하의 연구소들도 복잡한 알고리즘이 만들어내는 결정을 인간이 이해할 수 있는 언어로 번역할 수 있는, 이른바 설명 가능한 AI 시스템을 구축하기 위해 다른 나라와 공조하는 국제적인 노력을 기울이고 있다.