Fraunhofer 집적회로연구소 (IIS)MPEG-I 소개
MPEG-I는 현재 개발 중인 VR/AR 표준으로서, VR/AR 기기에서 보다 현실감 있고 생동감 넘치는 시청 및 청취 경험을 제공하는 것을 목표로 하고 있습니다.
VR 콘서트 감상 시, 한 곳에 머물러 있는 것이 아니라 콘서트장을 마음껏 누빌 수 있다고 생각해보세요. E스포츠나 일반 스포츠 경기 중계방송에서 경기를 지켜보며 경기장 곳곳을 돌아다닐 수도 있습니다. 이것이 바로 MPEG-I 기술이 제시하는 미래입니다.
© Photo Fraunhofer IIS
MPEG-I
새로운 가능성
기존의 기술은 특정 지점에서 시각 또는 음향을 감상할 수 있는 3자유도(3DoF, three degrees of freedom)를 지원했습니다. MPEG-I 표준에는 6자유도(3DoF)가 적용됩니다. 3자유도에서 머리를 자유롭게 움직이며 모든 방향에서 컨텐츠 감상이 가능했다면, 6자유도에서는 가상 공간을 걸어 다니며 여러 시점에서 컨텐츠를 즐기고 심지어 가상세계와 상호작용을 할 수도 있습니다. 이는 현실 세계에 가상 물체를 겹쳐 보여주는 AR 기술과 유사합니다. 예를 들어, 거실에서 가상 음악가들을 모아 맞춤형 콘서트를 즐길 수 있게 됩니다.
이 같이 몰입감 높은 오디오 기술을 개발하려면 음향에 대한 여러 측면을 고려해야 합니다. 여기에는 실내와 장애물 주변에서의 소리 전파, 정적/동적 음원 등이 포함됩니다(동적 음원의 경우 도플러 효과가 발생합니다). 이 때 음원의 방사(radiation) 패턴 및 규모는 현실적이어야 합니다. 예를 들어, 해변의 파도 소리를 청각화하려면, 음원은 1킬로미터 이상 확장되어야 합니다. 현재 프라운호퍼 IIS는 장애물이나 모퉁이에서의 회절(diffraction) 효과에 대한 효율적인 실시간 렌더링 기술을 연구하고 있습니다.
아래 데모 영상은 기본 렌더링으로 MPEG-I 기술의 가능성을 보여줍니다. 이어폰을 사용해서 감상해보세요.
향후 계획
MPEG-I 기술이 구현되려면 시간이 필요합니다. 3자유도 어플리케이션 표준화의 경우, 6자유도 사운드의 몰입형 렌더링을 위해서는 MPEG-H 기술을 접목시키는 것 외에도 기타 다양한 기술 개발이 수반되어야 합니다. 모든 것이 잘 될 경우 2025년에는 소비자 기기에서 MPEG-I 기술을 만나볼 수 있을 것으로 예상됩니다. 프라운호퍼 IIS에서는 향후 10~20년간 사용할 수 있는 장기적으로 안정적인 VR/AR 콘텐츠 포맷을 개발하고자 합니다. mp3 기술이 표준화 이후 30년이 지난 오늘날까지 널리 사용되고 있는 것처럼 말입니다. MPEG-I 콘텐츠는 전용 수신기 및 스마트폰에서 재생이 가능할 것으로 예상됩니다. 이에 따라 기존 송출채널을 통해 차세대 영상 서비스인 VR/AR 콘텐츠를 송출할 수 있게 됩니다. 콘텐츠 사업자는 엔터테인먼트, 다큐멘터리, 교육, 스포츠 등 다양한 콘텐츠와 관련된 몰입감 넘치는 경험을 제공할 수 있게 됩니다.