딥페이크와 딥보이스 같은 AI 기술이 빠르게 발전하면서 위조와 사기 등으로 악용하는 사례가 늘어나고 있다. 대선을 앞둔 포털에 퍼진 허위정보, 목소리를 위조한 보이스피싱, 테일러 스위프트 같은 유명인에 대한 음란 영상 제작, 생성형 AI 이용한 가짜 탄원서와 가짜 신분증, 그리고 AI가 사람의 필체를 모방해 작성한 가짜 문서까지 다양한 형태의 위조와 사기 위험이 등장하는 상황이다. 

선거의 해에 활개치는 'AI 위조'

올해는 선거의 해다. 4월 한국 총선, 11월 미국 대선 등 세계 곳곳에서 중요한 선거가 예정돼 있다. 국가의 중요한 선거들이 몰린 2024년, 세계경제포럼은 '글로벌 위험보고서 2024'에서 세계가 직면할 위험 요인 중 하나로 AI가 생성하는 허위정보를 꼽았다. 다양한 형태의 허위정보로 인해 정치나 사회적인 혼란이 일어날 수 있다는 경고다. 

벌써부터 사례들이 나온다. 실제 지난 1월 대만에서 선거가 치러진 후, 중국 동영상 플랫폼 틱톡과 더우인에서 대만 총통 선거 개표 조작 영상이 돌아다녔다. 대만 중앙선거관리위원회가 나서서 해명했으나, 사람들은 대만에서 부정선거가 이뤄져다고 믿고 있다. 특히 틱톡과 더우인 사용량의 35.7%를 차지하는 18~29세의 젊은 연령층에게 영향을 미치고 있다.

미국 예비 선거에서는 허위전화가 떠돌기도 했다. 지난 1월 뉴햄프셔 예비경선 전날 민주당 당원에게 투표 거부를 독려하는 가짜 바이든 대통령의 전화가 걸려왔다. 자동녹음전화는 "이번 화요일 투표는 공화당이 도널드 트럼프를 다시 선출할 수 있는 기회를 제공할 뿐입니다"라는 메시지를 담았으며, 바이든 대통령의 말투를 사용해 혼란을 일으켰다.

워싱턴타임즈는 같은 날 보도를 통해 '전 세계 정치인들이 의혹을 피하기 위해 AI를 비난한다'고 했다. 도널드 트럼프 전 대통령은 자신의 실수 장면이 담긴 비디오를 최근 '딥페이크'라고 주장했으며, 대만 공무원도 자신의 불륜 장면이 담긴 영상을 '딥페이크'라고 주장했다고 전했다. 이에 2024년 선거에서 진실이라는 개념 자체가 흔들리고 있다는 지적이 나오고 있다.  

범위를 종잡을 수 없다... "AI 위조, 어디까지?"

미국의 팝스타 테일러 스위프트 얼굴로 음란물을 만든 사례가 나오며 팬들을  충격에 빠뜨렸다. 뉴욕타임스 등의 외신은 지난달 26일(현지시간) X(옛 트위터)에서 테일러 스위프트의 얼굴을 합성한 음란 사진이 광범위하게 확산됐다고 전했다. 가짜 이미지는 X에서만 4700만회 조회됐으며, 다른 소셜미디어로 전파됐다. 명령어 몇 줄로 가짜 이미지를 생성할 수 있게 되며 생긴 대표적 악용 사례인 셈이다.

국내에서는 마약사범이 탄원서를 챗GPT로 작성한 사실이 적발되기도 했다. A씨가 지난해 11월 제출한 탄원서의 진위를 확인하고자 검사는 체육회 및 구치소에 사실조회를 하는 등 수사를 벌였다. 그 결과 A씨가 지인에게 각종 키워드를 주면서 챗GPT로 탄원서를 만들어달라고 한 것으로 밝혀졌다. A씨는 자신이 직접 쓰지 않고 지인에게 전달받은 탄원서 샘플에 자신의 지장을 찍어 법원과 검찰에 그대로 제출한 것이다.  

AI가 만든 가짜 신분증이 통과되기도 했다. 크립토 인텔리전스는 지난 8일(현지시간) AI를 이용해 단돈 15달러로 가짜 신분증을 만들어주는 서비스가 등장했다고 보도했다. 이 신분증이 여러 암호화폐 거래소에서 고객확인(KYC) 검사를 성공적으로 통과한 것으로 알려지면서 암호화폐 사기꾼과 해커가 위조 문서를 이용해 거래소 계좌와 은행 계좌를 개설하고 신원 추적을 어렵게 만드는 데 악용될 수 있다는 지적이 나온다.

사람의 필체를 모방하는 AI 기술도 나왔다. 블룸버그통신은 지난달 15일(현지시간) 인공지능 대학인 아랍에미리트의 모하메드 빈 자예드 AI대학교 연구진이 단 몇 문단의 글만으로 사람의 필체를 모방할 수 있는 기술을 개발했다고 보도했다. 이 기술에 대해 필체 해독 및 맞춤형 광고 등의 잠재력을 높이 평가하는 한편, 일각에서는 이를 활용한 대량 위조나 오용의 위험성을 우려하고 있다.

이처럼 AI 위조 행위는 점차 정교해지고 있다. 허위정보의 확산이 혼란을 불러일으킬 수 있다는 우려가 나오는 이유다. 실제 지난해 3월 우크라이나 대통령이 러시아에 무조건 항복한다는 딥페이크 영상은 전세계에 혼란을 일으켰으며, 유명 배우 톰 크루즈의 딥페이크 목소리와 영상및 사진 일부를 조작해 만든 다큐멘터리가 공개되면서 AI 위조에 대한 대비책이 필요하다는 목소리가 지속적으로 나오고 있다.

AI로 위조 잡아낸다

최근 AI 위조에 대응하기 위한 다양한 노력이 펼쳐지고 있다. 

메타는 AI가 만들었다는 사실을 표시하도록 했다. 지난 6일(현지시간) IT매체 아스테크니카에 따르면 메타는 AI가 생성한 이미지에 라벨을 붙이겠다는 계획을 발표했다. AI 가짜 이미지 논란이 이슈가 되는 요즘, 사용자가 보는 콘텐츠가 실제 사진이나 동영상이 아닌 디지털 합성 미디어라는 사실을 알려주겠다는 목적이다. 일각에서는 이미지 진위여부에 대한 투명성을 강화하는 데 도움을 줄 것이라는 평가가 나온다. 

딥페이크 목소리를 탐지하는 기술도 개발되고 있다. 2023년 정보통신기획평가원 주간기술동향에 따르면 정수환 숭실대 정보통신전자공학부 교수가 특정인의 목소리를 딥페이크로 모방한 음성을 탐지하는 소프트웨어 기술을 2024년 12월을 목표로 개발하고 있다. 음성의 딥페이크 조작 여부를 조작된 음성과 실제 음성의 특징을 딥러닝 학습을 해서 차이점을 탐지하는 기술이다. 단말기에 이 기술을 탑재함으로써 사고를 예방하려는 움직임이다. 

이외에도 인텔에서는 2022년 '페이크 캐처'라는 딥페이크 탐지기를 공개했으며, AI 플랫폼 기업 '센티널'에서는 딥페이크 탐지 AI 모델 '센티널'을 공개하기도 했다. 전자는 96% 정확도로 딥페이크 영상을 탐지할 수 있다고 알려졌으며, 후자는 영상이 조작된 위치와 방법을 정확히 파악할 수 있도록 제작됐다고 전해진다. 

AI로 허위 정보 잡아내기... "쉽지 않을 것"

다만 전문가들은 AI로 제작된 위조물을 탐지하는 것이 쉽지 않은 일이라고 지적한다. AI로 악용된 범죄를 AI 기술로 막는데 한계가 존재한다는 의미다.

탐지가 쉽지 않은 이유는 딥페이크 원리에 있다. 딥페이크는 '생성적 적대 신경망(GAN)'은 가짜 정보를 만드는 AI 모델과 이를 탐지하는 AI를 경쟁시키는 신경망이다. AI 모델 내부에서는 이 두가지 AI가 싸우면서 '가장 현실적인' 허위정보를 만든다. 즉, 위조결과물은 위조하는 사람과 경찰의 합작인 셈이다. 이 때문에 딥페이크 기술이 발전할수록 딥페이크를 잡기 어려워진다. 기술개발 뿐만 아니라 법적 규제, AI 윤리 원칙 확립 등 대책 마련이 시급하다는 목소리가 나오는 이유다.

실제 국가 차원에서 여러 국가가 AI 위조 대응을 위해 노력을 기울이고 있다.

미국에서는 조 바이든 대통령의 허위 전화와 테일러 스위프트의 딥페이크 음란물 사건 이후 AI 조작 단속에 나섰다. 월스트리트저널은 지난 8일(현지시간) 미국 연방정부가 전화 마케팅에 AI를 활용한 '오디오 딥페이크' 사용을 금지했다고 보도했다. 또한 미국에서는 올해만 10여개 주의회가 AI를 활용한 가짜 이미지나 오디오로 선거운동을 하는 것을 금지하는 법안을 추진하는 등 연방 정부가 아닌 개별 주 차원에서도 AI를 활용한 허위 정보 확산을 막으려는 움직임이 본격화되고 있다. 

국내에서도 대응에 나섰다. 중앙선거관리위원회는 오는 4월 10일 국회의원 총선거를 앞두고 AI 기반 딥페이크 영상을 이용한 선거운동을 금지시켰다. 또한 보안 업계는 근본적인 대책 마련에 집중하며 AI로 만든 목소리나 영상을 구별하는 기술과 함께 생성형 AI의 공격을 막기 위한 연구개발도 진행하고 있다.

아울러 국내에서는 디지털 시대 핵심 쟁점 8개를 선별해 집중 관리할 예정이다. 정부는 과학기술정통부를 중심으로 3월까지 '범부처 디지털 신질서 정립 추진계획'을 발표할 계획이다.과기정통부는 쟁점별 특성에 맞춰 심층 연구와 전문가 자문, 콜로키움, 오픈 포럼 등을 통해 사회적 논의를 지원할 예정이다.