김준수 ETRI 실감미디어연구실 선임연구원
영상 콘텐츠들은 연출 방식에 따라 다양한 방식으로 시청자들에게 즐거움을 줄 수 있다. 예를 들어, 특정한 감정과 연관된 기억을 떠올리게 한다거나 장엄함을 느끼게 하는 풍경을 화면에 담는 등 여러 방식으로 시청자의 반응을 끌어낼 수 있다.
또한 다른 한 방법으로 시청자들에게 임팩트를 주기 위해 많이 사용되는 접근은 실제 공간을 설득력 있게 재현하여 강한 현장감을 제공하는 것이다.
이러한 목적을 달성하기 위해서는 카메라 및 디스플레이 개선을 통한 초고화질 구현 외에도 사람이 현장감을 느끼는 원인에 대한 추가적인 고려가 필요하다. 아이맥스(IMAX)나 365도 영상과 같이 시청자의 시야를 영상으로 완전히 커버하여 몰입감을 증대한 사례가 대표적이다. 시야각 못지않게 핵심적인 요소 중 하나가 시간에 따라 변화하는 시청자의 시선 변화를 즉각적으로 반영해 시점 이동을 사실적으로 재현할 수 있는지 여부이다.
이를 위해 고해상도 실사 영상 품질의 렌더링이 가능한 3차원 공간정보를 생성해 내야 한다. 다행히 공간정보 생성 기술은 최근 컴퓨터 그래픽 기술의 고도화, AI 기반 공간표현 획득 기술 등에 힘입어 상당히 빠른 속도로 진전되고 있다.
다만, 상용화로 가는 길에는 데이터양이라는 또 하나의 장애물이 있다. 3차원 공간정보가 도저히 통상적인 통신망으로 전송이 불가한 수준으로 큰 대역폭을 요구한다면 제공될 수 있는 서비스의 범주가 크게 제한될 것이다. 엠펙(MPEG) 이머시브 비디오 표준, 줄여서 MIV 표준 기술은 이러한 대역폭 문제에 대응하기 위한 데이터 압축 기술의 하나다. 필자가 소속된 ETRI 실감미디어연구실이 적극적으로 표준 개발에 참여하였기에 여기에서는 해당 기술에 대해 간략히 소개하고자 한다.
MIV 표준 기술에 기반한 3차원 공간 데이터 압축을 단순화하여 표현하면, 3차원 물체들의 전개도를 모아 2차원 지도(atlas)를 만든 뒤, 이를 일반적인 2차원 동영상 압축 기술로 압축한다고 할 수 있다.
MIV 표준은 전개도를 다시 조립하는 방법에 대한 약속을 정의하고 있다.
이에 따라 MIV 표준을 따르도록 작성된 2차원 지도가 주어지면 복원된 3차원 공간 정보에 기반해 임의의 시점에 대한 영상을 합성해낼 수 있다. 3차원 데이터를 2차원 영상 형태로 변형하는 이유는 첫째로 우수한 성능의 표준 동영상 압축 기술을 활용할 수 있다는 점, 둘째로 3차원 공간 데이터 조각들에 대한 색상 정보 및 굴곡 정보가 상기 표준 압축 기술에 의해 효과적으로 압축되는 데이터의 특성을 보이기 때문이다. MIV 표준은 3차원 공간정보의 원천이 되는 멀티 카메라 영상과 비교해 수 배 데이터양을 저감하는 효과가 있다. 대략 4K 영상 2~3장 정도에 해당하는 데이터를 기반으로 사용자 시점 이동 재현을 구현 가능하다.
MIV 표준은 스트리밍 기반 3차원 공간 재현의 가능성을 보여주고 있으나, 향후 개발이 필요한 부분도 많다. 예를 들어, 앞서 언급한 AI 기반 공간표현 기술의 진전으로 인해 기존에는 볼 수 없었던 수준의 공간 형상 복원 능력 및 렌더링 품질을 보여주는 다양한 체적형 공간표현이 제안되고 있어, 이에 대한 적절한 대응이 필요한 상황이다.
빠른 환경 변화로 인해 방향 설정에 어려움을 겪는 부분도 있지만, 이번에야말로 실감 영상 기술이 큰 시장을 창출할 수 있지 않을까 기대가 되기도 한다.