엔비디아, 영상·음성 기능 강화한 VR 저작도구 공개

엔비디아가 미국 캘리포니아에서 열리고 있는 ‘엔비디아 GPU 테크놀로지 컨퍼런스‘ 이튿날인 5월9일(현지시간), 가상현실(VR) 오디오 및 360 동영상 스티칭을 VR웍스 소프트웨어 개발도구(이하 SDK)의 새로운 구성 요소로 공개했다.

VR웍스는 VR 애플리케이션 및 헤드셋 개발업체들이 보다 쉽게 VR 경험을 만들 수 있도록 애플리케이션 프로그래밍 인터페이스(API), 라이브러리, 엔진 등을 제공하는 제품군이다.

▲공간에서 음향이 작용하는 방식 (출처=엔비디아)

VR웍스 오디오 SDK는 가상 환경에서 재생되는 오디오의 실시간 레이 트레이싱을 제공하며 에픽게임즈의 ‘언리얼엔진4’를 지원한다.

기존 VR 오디오는 가상 환경 안에서 음원의 실제 3D 위치만 제공해왔다. 음원의 단순 위치뿐만 아니라 음원이 발생하는 물리적 환경의 실제 규모와 물질 특성 등을 반영해 구성되는 현실 세계의 음향에 훨씬 못 미친다.

엔비디아 VR웍스는 기존 VR 오디오에서 나아가 물리적으로 정확한 오디오를 구현할 수 있도록 지원한다. 이는 반사, 굴절 등 음향 전파 현상을 모델링하고 엔비디아 옵틱스 레이 트레이싱 기술을 활용해 음향의 이동 경로를 실시간 추적함으로써 가능하다. VR웍스 오디오는 또 장면에 대한 사전처리 정보 없이 실시간으로 특정 환경의 전체 음향 이미지를 생성하도록 지원한다. 이번 소프트웨어 공개에는 엔진 및 애플리케이션 종류와 관계없이 탑재할 수 있도록 지원하는 C-API 세트가 포함돼 있다.

▲Z캠의 V1 PRO VR 카메라 시스템 (출처=엔비디아)

VR웍스 360 비디오 SDK는 실시간 동영상 스티칭 문제를 해결한다. 실시간으로 4K 360 동영상을 캡처하고 스티칭 및 스트리밍을 지원한다.

실시간 스티칭 스테레오로 구현하는 VR웍스 360 비디오 SDK 후속 버전 시연에는 Z캠의 V1 PRO VR 카메라 시스템이 활용됐다.

킨슨 루 Z캠 최고경영자(CEO)는 “엔비디아의 4K 360 스테레오 방식 동영상 실시간 스치팅은 라이브 스트리밍을 가능하게 해 프로덕션 파이프라인에 변화를 가져오고 VR의 완전히 새로운 사용자 사례를 만들어낸다”라고 말했다.

VR웍스 360 비디오 및 오디오 SDK는 엔비디아 홈페이지에 공개된 상태다. 모든 개발자들이 이용할 수 있다. 모노 지원 VR웍스 비디오 SDK는 현재 공개 베타 형태로 제공되고 있으며, 스테레오 지원 VR웍스 360 비디오 SDK는 빠른 시일 안에 공개될 예정이다.