축구에서 공의 궤적을 추적하는 호크-아이(Hawk-Eye) 카메라 기술이 있다. 경기장 관중석 지붕 밑에 일정한 간격으로 여러 대의 카메라를 설치해 서로 다른 각도로 골대를 향해 비추도록 설치하고 공의 위치를 추적하는 기술이다. 카메라 대수와 배치 위치는 경기장 환경에 따라서 바뀐다. 각 카메라에서 포착한 이미지들을 종합해서 볼의 정확한 위치를 파악할 수 있다. 여러 카메라의 각도로 공을 촬영하므로 경기 중에 볼이 골라인을 넘어 들어갔는지 여부를 ㎜의 정확도로 측정해낸다. 볼에 진흙이 묻었거나 날씨가 나빠도 볼을 확인할 수가 있다. 만약 공의 현재 위치가 모든 카메라에서 골대 경계선 안쪽으로 보였다면 곧바로 심판이 차고 있는 손목시계에 ‘골인’이란 메시지가 뜬다. 방송 화면에서 사람들을 모두 제외하고 공만을 추적해서 골대 속으로 들어가는 골인 장면을 재연해볼 수도 있다.

호크-아이 기술은 2001년에 크리켓 방송에서 처음 사용된 이후로 각종 스포츠 중계방송에서 널리 사용되고 있다. FIFA는 골라인 판정을 공식적으로 이 기술에 의존한다. NBA 농구에서는 경기 종료 마지막 2분 동안 벌어지는 마지막 터치 순간을 결정하는 데 이 기술이 활용된다. 골프 중계방송에선 퍼팅 그린의 울퉁불퉁한 곡면을 음영으로 구분해줘 시청자가 퍼팅 곡면을 실감할 수 있게 해주며 홀까지의 퍼팅 경로를 중계 화면에 예측해서 보여 주기도 한다. 럭비, 배드민턴, 아이스하키, 야구, 크리켓, 필드하키, 승마, 미식축구, 배구 등에서도 이 기술을 공식적으로 채택해 심판의 오심을 방지하고 있다. 경기가 진행되는 동안 공 궤도만 추적하는 것이 아니라 선수들의 움직임이나 경기 기여도를 매초마다 기록하게 되므로 이를 분석하면 팀의 경기력 향상을 위한 다양한 전술 및 전략 수립에 활용할 수 있다. 이 기술은 선수들의 경기력 분석과 향상 방안 수립, 선수 건강관리, 그리고 경기전술전략을 수립하는 코칭기술 향상에 주로 활용된다.

3D 슬로우 모션 재생기술 출현

2013년 겨울에 영국 런던의 어느 선술집에 모인 이스라엘계 무인항공시스템 엔지니어들이 점심을 먹으면서 맨체스터 유나이티드의 축구경기를 관람했다. 이때 한 명이 “만약 축구를 공의 입장에서 보면 어떻게 달라질까?”라고 의문을 갖게 되었다. 그리고 얼마 되지 않아서 이들이 설립한 리플레이 테크놀로지(Replay Technologies)는 ‘freeD’ 기술을 탄생시켰다. 이 기술은 여러 대(24~32)의 카메라를 경기장 둘레에 설치해 경기장 밖에서 360도 각도로 경기장면을 동시에 촬영하고 그 영상을 바로 3D 영상으로 렌더링하면, 특정 시점의 하이라이트 장면을 정지화면 상태로 360도로 돌려가면서 슬로우 모션으로 재생해볼 수 있다. 이들이 개발한 ‘freeD’ 기술은 스포츠 중계방송을 보는 방식을 근본적으로 바꿔버렸다. 3D 슬로우 모션 기술은 공상과학 영화 <매트릭스>에서 주인공 레오가 총알을 피하는 장면으로 잘 알려져 왔다. 영화에서와 마찬가지로 ‘freeD’ 기술은 프로농구, 프로야구, 프로 미식축구, 육상 등 다양한 스포츠 행사에서 관객에게 3D 영상의 진면목을 유감없이 과시했다. 리플레이 테크놀로지는 NFL, MLB 및 NCAA 축구 및 농구 경기를 방영하기 위해 뉴욕의 양키스 스타디움, LA의 다저스 스타디움, 텍사스 알링턴의 AT & T 스타디움 등에 방송장비를 고정으로 설치했다.

획기적인 ‘freeD’ 장면을 제공하려면 초고화질 카메라 영상들을 순간적으로 렌더링해서 3D 이미지로 만들어야 한다. 360도 이미지를 확보하고 이를 합성하는 과정이 매우 복잡할 뿐만 아니라 초고속 프로세싱 칩과 고속 컴퓨터 서버가 필요하다. 더욱이 32대의 카메라가 1초 동안 촬영해내는 데이터가 무려 1테라바이트나 된다. 이런 하드웨어 집중 시스템의 중요성을 간파한 반도체기업 인텔(Intel)은 2016년 3월에 리플레이 테크놀로지(Replay Technologies)를 인수해 버렸다.

인텔은 TV 모니터뿐만 아니라 모바일 장비에서도 360도 슬로우 모션 장면을 선택적으로 재생해볼 수 있는 몰입형 중계방송이 가능하도록 고용량 데이터를 모바일 장비에 보낼 수 있는 5G급 통신 인프라가 필요했다. 이를 위해 통신사업자 AT&T와 협력해 광속으로 고용량 데이터를 지연시간 없이 실시간으로 영상을 클라우드에 연결된 단말기들로 전달해줄 수 있는 5G네트워크 기술을 확보하게 됐다. AT&T는 거꾸로 인텔의 초고속 제논 프로세서를 활용해서 서버 수를 줄이고 데이터 처리량을 늘리는 효과를 얻었다. 인텔의 ‘freeD’ 기술은 선수들은 물론이고 코치, 방송 중계자, 스포츠팬 모두에게 3차원 경기 장면을 공유하고 새로운 차원의 스포츠 세계에 몰입할 수 있게 해줬다.

VR 중계로 보는 메이저 야구 경기

인텔과 메이저리그 프로야구는 야구 시합의 흥미를 높이기 위해서 3차원 가상현실 중계기술을 활용하기로 했다. 인텔은 6월 6일부터 3년 계약으로 매주 화요일에 비공개 경기를 대상으로 무료로 VR 실황중계를 해주는 서비스를 하고 있다. 인텔이 여론조사기관을 통해 조사해본 바에 의하면 18~64세 사이의 메이저리그 팬들 500명 중 71%가 실제 경기장에 갈 수 없는 경우 가상현실 안경을 쓰고 경기를 관람하고 싶다는 의견을 보였다. 인텔은 메이저리그 경기를 선별해서 VR 중계를 하는데 최대 4개까지 동시에 카메라를 선택해서 시청할 수 있게 했다. 실시간으로 경기상황을 해설해주며 동시에 실시간 타자와 투수의 실적 등 통계자료를 제공해준다. 세부 동작을 즉각 재현해볼 수도 있는 진정한 가상현실이라고 소개하는 인텔 VR 프로야구중계는 야구에 열광하는 팬들이 충분히 몰입감을 느끼며 흥분할 만한 입체장면을 4K 초고화질 화면으로 전해준다. 이 중계방송은 오큘러스 스토어에서 ‘Intel True VR’ 앱을 무료로 다운로드하고 삼성 기어 헤드셋에서 무료로 시청할 수 있다.

인텔은 최근 국제올림픽(IOC) 위원회와 2018년 평창올림픽부터 2024년 올림픽까지 공식후원사 계약을 체결했다. 인텔은 올림픽을 통해 최첨단 기술들을 올림픽에 접목해 기술력을 과시할 것임을 공표하고 있다. 토마스 바흐 IOC위원장도 인텔이 올림픽 대회의 미래를 이끌게 됐다며 인텔의 기술적 역할에 기대를 표현했다. 인텔은 5G 통신, 가상현실, 인공지능, 드론 기술 등을 올림픽 개회식과 폐회식 행사에 투입해 생중계하는 계획을 공개했다.

국내 ICT 기술개발 성과들이 빛을 잃을 판

올림픽 후원사로 인텔이 등장하면서 평창올림픽 중계에 새로운 돌발변수가 생겼다. 우선 당장은 정부가 지원해온 ‘평창 ICT 동계올림픽’ 계획이 상당 부분 빛을 잃는 것이 아닌가 하는 의구심이 생긴다. 물론 전체적인 기술 향연으로 보면 인텔이 보유한 다양한 ICT 기술들이 평창올림픽을 돋보이게 할 것이라고 판단한다. 반면 국내 기술진들이 오랜 기간 동안 심혈을 기울여 개발해온 ICT 기술들이 주목을 덜 받게 되는 상황이 연출될 수도 있다. 평창 동계올림픽을 Korea ICT 올림픽으로 만들기 위한 수년간의 노력들이 제대로 빛을 발휘하지 못하는 상황이 우려된다.

KT를 중심으로 한 평창올림픽 중계기술 개발팀은 5G 통신 시범망을 구축하고 초고속 무선통신망을 이용해 홀로그램, 초다시점 입체 중계, 그리고 가상현실 등 실감미디어 서비스를 체험할 수 있는 ICT 올림픽을 준비해왔다. 5G 시범망은 올림픽 행사장소 예를 들면 인천공항이나 광화문, 평창 그리고 강릉에서 초고속통신 방송중계를 실시할 계획을 갖고 있다. 또 인천공항과 평창 그리고 강릉에선 기가와이파이 존이 구축될 예정이다. 경기장엔 멀티 카메라를 설치하고 원하는 위치와 원하는 순간을 시청자가 시청방향을 조정해서 시청할 수 있는 중계환경도 계획하고 있다. 인텔의 ‘freeD’ 기술은 특정 시점을 슬로우 모션으로 순간적으로 피사체를 360도 돌려서 재생해 보는 순간 정지동작 입체중계 기술이라면 국내 기술진이 준비하는 멀티뷰 중계기술은 관객이 경기장 스탠드 위치를 순간 이동해 옮겨 가듯이 중계카메라의 위치를 선택해서 임의의 각도에서 경기실황을 다른 각도에서 시청할 수 있는 기술이다.

국내 기술진들이 중점을 둔 중계 기술 중에는 가상현실 경기상황 중계기술도 포함되어 있다. SBS를 비롯한 지상파 방송사들은 VR 기기로 감상이 가능한 360도 VR 경기중계 서비스를 추진 중이다. 하지만 국내 개발기술들이 인텔이 보유한 True VR 기술과 대비될 것으로 판단된다. 국내에서 추진 중니 VR 기술은 선수나 심판의 헬멧에 부착된 중계 카메라에서 송출되는 실시간 영상을 VR 중계로 보는 싱크뷰 기술이나, 여러 선수들 중에서 원하는 선수만을 추적해서 경기를 관찰하는 포인트 뷰 기술, 그리고 원하는 위치의 카메라를 원하는 순간에 돌려서 시청하는 멀티 뷰 기술 등이 있다.

평창올림픽 공식주관방송사인 미국 NBC는 동계올림픽의 중계료 수입을 늘리려면 획기적인 중계기술을 채용해 세계적인 주목을 받아야만 한다. 따라서 인텔이 공식 후원사로 참여하고 인텔이 보유한 VR 중계기술이나 ‘freeD’ 기술을 평창 올림픽에서 적극적으로 활용하게 되면 NBC는 주관방송사로서 은인을 만난 셈이다. 동계올림픽을 유치한 강원도 역시 인텔의 적극적인 참여는 올림픽 행사를 훨씬 풍성하게 해주는 효과를 거둘 수 있다. 나머지 약 200일 동안 국내 개발 기술들과 인텔이 투입할 기술이 서로 조화롭게 어울리도록 세심한 기술교류와 상호 협력이 필요하다고 본다. 시청자들은 4K 중계방송을 시청할 수 있는 UHD TV 모니터로 기존 HD 모니터들을 교체할 시점에 이르렀다. 집안에 한두 대쯤 VR 헤드셋을 장만해야 할 때도 된 것 같다. 동계올림픽이 종료된 이후라도 이번에 시범 적용될 방송 중계기술들은 계속해서 핵심 방송기술로 자리 잡을 것이기 때문이다.