배우가 ‘머털도사’처럼 변신한다. <듄>의 사막을 일반관에서도 IMAX처럼 볼 수 있다.

<신과 함께>의 덱스터스튜디오가 AI를 활용한 시각특수효과(VFX) 기술 4건에 대한 특허를 확보하며, 국내에서도 AI 기술이 영상 제작에 본격적으로 접목되고 있다.

덱스터는 VFX를 중심으로 콘텐츠 기획과 제작 전반을 수행하는 코스닥 상장 종합 스튜디오다. 영화뿐 아니라 넷플릭스 <승리호>, <오징어게임2>의 시각특수효과에도 참여했다.

덱스터가 등록한 특허는 ▲비디오 시퀀스 디에이징 항상성 유지 ▲멀티 레이어 이미지 고품질 업스케일링 ▲풀바디 스캔 및 모션 캡처 기반 3D 바디 프로필 제작 ▲디지털 휴먼 기반 버추얼 프로덕션 기술이다. 이 가운데 디에이징 기술과 멀티 레이어 업스케일링 기술이 핵심이다.

디에이징(De-aging·역노화)이란 배우의 얼굴을 AI로 젊게 보이게 하는 기술로, 분장이나 CG 없이도 동일 인물이 과거와 현재를 자연스럽게 연기할 수 있다.

일반적으로 디에이징은 각 프레임을 따로 처리해 장면 간 항상성 유지에 한계가 있었다. 덱스터의 특허는 AI가 키프레임(대표 장면)의 얼굴 표정과 조명 정보를 학습해 전체 영상에 적용해 항상성을 유지할 수 있다. 또한 나이, 성별 등 개인별로 인식해 디에이징 강도를 조절할 수 있어, 에이징(Aging·노화)도 가능하다. 촬영한 배우의 얼굴을 다른 얼굴로 바꾸는 ‘페이스 스왑(Face Swap)’ 기술에도 적용할 수 있다.

가령, 덱스터가 준비 중인 <머털도사>의 실사화에 적용하면, 변신 장면에서 기존처럼 배역을 서로 바꾸어 연기할 필요가 없어진다. 한 배우가 머털도사처럼 다양한 모습을 연기할 수 있다.

멀티 레이어 업스케일링 기술이란 영상이나 이미지를 색상, 조명, 깊이, 위치 등 각 층(레이어)으로 분리한 뒤, 이를 각각 고해상도로 변환하는 방식이다.

기존 통합 처리 방식에서는 색상·조명 정보가 섞이거나 경계가 뭉개져, TV 모니터 등에서는 CG 티가 나는 문제가 있었다. 덱스터의 특허 기술은 각 레이어의 고유값을 유지해 다양한 디스플레이 환경에서도 선명하고 입체적인 화면을 구현할 수 있다.

예컨대, 영화 <듄>(2021)의 사막 장면처럼 배경, 인물, 광원 효과가 층별로 나뉘는 구조에서는 각 요소의 해상도를 따로 끌어올려, 마치 IMAX 효과처럼 더 깊은 공간성과 깊이감을 만들 수 있다.

무엇보다 이번 특허는 ‘한국형’ AI 영상 기술이라는 점에서 의미가 있다.

기존 생성형 AI는 ‘한국인’이 아닌 ‘동양인’ 범주로 처리되는 한계가 있으며, 그마저도 서구적 오리엔탈리즘 시각이 반영된다. 이에 반해 덱스터는 한국인 모델을 기반으로 데이터셋을 구성해, 한국 배우와 공간 배경에 최적화된 시각효과 구현이 가능하다.