[이코노믹리뷰=홍석윤 기자] 기계(또는 머신 러닝)에 대한 맹목적인 믿음은, 편향적이고 일관성 없는 AI에 대한 우리의 취약성을 그대로 보여주고 있다. 이에 대한 해결책은 AI에 대한 건전한 의심과 인간의 감독 의무를 게을리 하지 않는 것뿐이다.

노팅힐 카니발(Notting Hill Carnival)은 유럽에서 가장 큰 거리 축제다. 흑인들의 영국 문화를 축하하는 이 행사에는 2백만 명의 구경꾼들이 모임에 따라 수 천 명의 경찰이 이 축제를 감시한다. 지난해 런던 경찰청은 새로운 탐지 장치를 이 행사에 배치했다. 바로 군중 속에서 500여 명의 수배자들을 찾기 위해 안면 인식 알고리즘을 사용한 것이다. 경찰은 CCTV가 장착된 밴을 몰고 다니면서 수배자들을 체포하거나 일어날 수 있는 범죄를 예방하기를 바랬다.

그러나 결과는 그리 좋지 않았다. 이 알고리즘이 지적한 96명의 용의자들 중 수배자와 일치한 사람은 단 1명 뿐이었다. 심지어는 젊은 여성을 대머리 수배자로 지적하는 명백한 오류도 있었다.  경찰은 잘 못 체포한 사람을 곧 석방했지만, 축제 군중들은 자신들이 알고리즘에 의해 식별되고 있다는 사실을 전혀 몰랐다. 하지만 많은 검문을 당하고 심문을 받은 후 석방되었다.

이와 같이 형편 없는 성공률을 보면, 런던 경찰청이 그 실험에 대해 당황해 하거나 후회할 것이라고 생각되지 않는가? 그러나 정반대였다. 영국의 경찰청 최고위 간부인 크레시다 딕은, 국민들은 경찰이 첨단 시스템을 사용하기를 기대한다면서, 노팅힐 카니발 같은 큰 행사에 이런 기술을 사용한 것에 대해 “대단히 만족한다”고 말했다. 딕 같은 경찰 간부에게는 알고리즘이 얼마나 효과적이지 못하느냐보다 알고리즘의 매력 자체가 더 중요했다.

그렇게 생각하는 사람은 딕 뿐만이 아니다. 영국 웨일스 지역에서 테스트한 유사한 시스템도 정확도는 7%에 불과했다. 웨일스에서는 축구 경기장을 찾은 관중 들 중 2470명을 수배자로 지적했는데, 이중 실제 수배자는 173명 뿐이었다. 웨일스 경찰은 블로그에 올린 글에서 “모든 상황에서 100% 정확하게 인식할 수 있는 안면 인식 시스템은 없다”면서 이 기술을 옹호했다. 영국 경찰은 향후 몇 달 내에 이 기술의 사용을 확대할 것이라고 발표했고, 다른 지역의 경찰들도 이를 따를 것으로 보인다. 뉴욕 경찰청(NYPD)도 이 안면 인식 프로그램을 지원하기 위해 운전 면허증의 전체 데이터에 접근하고 있는 것으로 알려졌다.

이와 같은 미숙한 기술을 사용하려는 경찰의 열정이 다른 법 집행 기관으로까지 확산될 것을 우려하지 않을 수 없다. 인간은 결과에 대해 고민하지 않고, 알고리즘이 도출해 낸 결과물을 신뢰하는 습관이 있다. 우리는 알고리즘의 오류, 즉 철자 검사를 제대로 하지 못하거나 GPS를 따라가다가 절벽 낭떠러지를 만난 사람들의 이야기를 종종 듣는다. 또 여권 검사소의 안면 인식 부스는, 그것이 국경에 설치되었다는 이유만으로, 반드시 정확할 것이라고 생각한다.

수학자로서 데이터와 알고리즘을 수년 동안 연구하면서, 나는 알고리즘을 신뢰할 수 있는지 객관적으로 판단할 수 있는 유일한 방법은, 알고리즘이 어떻게 작동하는지를 분석하는 것이라는 생각에 도달했다. 알고리즘은 마술의 환상과 매우 비슷한 점이 많다. 처음에는 알고리즘은 그저 신기한 마법처럼 보이지만, 그 트릭이 어떻게 이루어지는지 알게 되면, 그 신비는 사라지기 때문이다. 거창한 겉모습 뒤에는 우스울 정도로 단순한(또는 무모한) 것이 숨겨져 있는 경우가 많다.

알고리즘이 우리 삶에 끼친 깊은 긍정적인 영향에 대해서는 의심의 여지가 없다. 지금까지 우리가 이룬 것만 해도 놀라운 성취다. 알고리즘은 우리가 유방암을 진단하고, 연쇄 살인범을 잡고, 비행기 사고를 피할 수 있도록 도와준다. 그러나 우리가 서둘러 모든 것을 자동화하려고 하면서, 우리는 하나의 문제를 다른 문제로 바꾼 셈이 되었다. 그 유용하고 인상적인 알고리즘이 이미 우리에게 얽히고 설킨 복잡한 문제를 안겨준 것이다.

우리가 기계의 힘에 대해 의문을 제기하는 것을 주저함으로써, 이른 바 허접한 정크 알고리즘(junk algorithms)에 생명을 바꾸는 결정을 할 수 있는 권한을 줄 뿐 아니라, 엉터리 물건 판매자들이 사람들을 속여 근거 없는 믿음을 갖게 하고 이익을 챙기게 만들고 있다. 그런 주장을 뒷받침할 과학적 증거가 부족함에도 불구하고, 기업들은 얼굴 특성만으로 누가 테러범인지 또는 누가 아동 성추행자 인지 여부를 ‘예측할 수 있다’고 주장하는 알고리즘을 경찰과 정부에 판매하고 있는 것이다. 또 어떤 기업들은 자신들이 개발한 알고리즘이 영화 대본의 단 한 줄만 바꿔도 박스 오피스에서 더 많은 수익을 낼 수 있다고 주장한다. 중매 서비스 회사들은 그들의 알고리즘이 당신의 진정한 사랑을 찾아 줄 것이라고 주장한다.

게다가, 실제로 기업들이 주장하는 대로 약속을 이행하는 알고리즘도 문제가 있기는 마찬가지다. 맨체스터 공항에서 안면 인식 알고리즘은 남편과 아내가 우연히 서로의 여권을 바꿔 스캐너에 제시했는데도 이를 알아차리지 못했다. 법정에서 사용된 재범 가능성 판단 알고리즘은 흑인 피고인들이 재범자가 될 가능성을 과대평가했고, 백인 피고의 재범 가능성은 과소평가했다. 소매 회사들이 임산부를 정확히 찾아내 그들을 위한 표적 광고를 하기 위해 사용하는 알고리즘은 대상 임산부들이 유산이나 사산을 한 후에도 그칠 줄 모르고 계속 광고를 보낸다.

결함이 있거나 편향된 알고리즘 외에도, 사람들이 의도하지 않은 목적에 알고리즘을 사용하는 사례는 무수히 많다. 미래의 총기 범죄에 연루될 가능성이 있는 사람들을 확인하기 위해 고안된 알고리즘은, 시카고 경찰로 하여금 살인 사건이 발생할 때마다 모든 용의자 명단을 공개 조사하는 오류를 범했다.

알고리즘의 본질적인 문제는, 알고리즘이 인간과 관련된 문제를 다룰 때, 그리고 우리가 알고리즘이 만든 인공적인 권위를 쉽게 받아들일 때, 더욱 커진다.

바로 그것이 이 글의 요점이다. 아마도 알고리즘을 일종의 권위라고 생각하는 것에서부터 우리는 잘못되기 시작했다. 

사실 알고리즘이 개입되지 않았던 때에도, 완벽하고 정확한 시스템은 거의 없었으니까. 어디를 보든, 어떤 영역에서든, 깊이 파고들다 보면, 어떤 종류든 편견은 있게 마련이었다.

우리가 완벽한 것은 존재할 수 없다는 것을 인정해 보자. 알고리즘도 실수를 할 수 있고, 불공평할 수 있다는 것을 말이다. 물론 시간이 지나면, 조금씩 개선되겠지만. 그러나 알고리즘도 인간처럼 결점이 있을 수 있다고 인정한다면, 우리는 알고리즘의 권위에 대한 맹목적인 신뢰를 줄일 수 있고 그 만큼 실수도 덜 하게 될 것이다. 내 생각에, 최고의 알고리즘은 모든 단계에서 자신을 만든 사람들의 의도를 고려하고 있다. 알고리즘은 인간이 기계를 과신하는 경향이 있음을 알고 있다. 그리고 자신의 불확실한 운명을 받아들인다.

IBM의 왓슨(Watson)은 미국 NBC TV 퀴즈쇼 ‘제퍼디!’(Jeopardy!)에 출연해, 자신이 맞춘 답에 대해 얼마나 확신하고 있는지 자신감을 표현하며 우승함으로써 사람들의 기계에 대한 신뢰를 부추겼다. 만약 재범 가능성을 판단하는 알고리즘이 이와 같이 정확한 답을 낼 수 있다면, 판사들은 당사자들에게 (재범 가능성을) 묻는 것보다 알고리즘에 묻는 것이 더 쉬울 것이다. 만약 경찰이 사용하는 안면 인식 알고리즘이 얼굴 특징 하나만으로 판단하지 않고 가능한 많은 대조 결과를 제시한다면, 사람을 잘못 지적하는 오류는 문제가 되지 않을 것이다.

최고의 결과는 인간과 알고리즘이 함께 일할 때 얻을 수 있다. 유방암 슬라이드를 검사하는 신경망은 종양 자체를 진단하기 위한 것이 아니라, 병리학자가 검사할 방대한 양의 세포 배열을 의심스러운 영역 몇 가지로 좁히기 위한 것이다. 알고리즘이 이 작업의 가장 중요한 역할을 수행하되, 마지막에는 인간의 전문 지식이 동원되는 것이다. 그럴 때, 기계와 인간은 함께 조화롭게 협력하여 서로의 장점을 이용하고 서로의 결점을 보완하게 되는 것이다.

이것이 우리가 바라는 미래다. 알고리즘이 거만하고 독재적인 존재로 군림하는 시대는 이제 지났다. 우리는 기계를 전지 전능의 주인으로 보는 것을 멈추고, 여러 다양한 기능원(source of power)으로 대해야 한다.

우리는 알고리즘의 결정에 의문을 제기하고, 그 동기를 면밀히 조사하고, 우리의 감정을 인정하고, 그 결정으로부터 누가 이익을 얻는지 알아야 한다고 당당히 요구하고, 기계들이 그들의 실수에 대해 책임을 지도록 하고, 제대로 성능을 발휘하지 못할 때에는 과감하게 거부해야 한다. 이것이 미래 사회에서 알고리즘의 순효과(net effect)가 사회의 긍정적인 힘으로 작동하기 위한 핵심이다. 우리 모두가 그 책임을 공평하게 맡아야 한다. 한 가지는 확실하다. 알고리즘의 시대에 인간의 역할은 그 어느 때보다 더 중요할 것이라는 것이다.

본 기사는 유니버시티 칼리지 런던(University College London)의 한나 프라이(Hannah Fry) 교수가 펴낸 책 <알고리즘 시대에 인간의 역할>(Hello World: Being Human in the Age of Algorithms,)에서 월스트리트저널(WSJ)이 발췌한 것이다.