Как работает звук в VR

Тренд квестов в реальном мире медленно подошел к концу, но в некоторых подвальных помещениях все еще можно отлично повеселиться. Речь идет об играх в VR, — теперь вместо множества декораций вам достаточно надеть специальные очки и наушники, которые погрузят вас в совершенно новый мир. Но не все так просто: под определением «виртуальная реальность» мы часто понимаем совершенно разные вещи, так что стоит сперва классифицировать «виртуальность».
 

Какая бывает виртуальная реальность?

Иллюстрация: Metaverse
 

• VR (Virtual Reality) — этот термин наиболее часто используется, когда речь идет о трехмерных объектах, которые «врываются» в наш мир, однако не все так просто. VR подразумевает полное погружение пользователя в виртуальную среду посредством, например, специальных очков. Это полностью цифровая среда, которая никак не соприкасается с реальным миром.
• AG (Augmented Reality) — дополненная реальность накладывает какие-либо объекты на реальный мир, на наше окружение — посредством технических средств вроде телефона или очков Google Glass. Отличным примером является нашумевшая в прошлом игра Pokemon GO.
• MR (Merged Reality) — смешанная реальность — это синтез VR и AR. В реальный мир встраиваются виртуальные объекты и адаптируются под наше окружение. Понять, что же такое смешанная реальность, помогут средства Google, вроде фотопереводчика, или сервисы IKEA, которые позволяют «примерить» новую мебель в вашей квартире заранее.

Что такое 3D-звук?

Как вы уже догадались, невозможно обойтись простым стерео-треком, когда вокруг вас буквально летают самые разные объекты, а мир и вовсе может быть совсем не похож на наш. Чтобы добиться максимального погружения во вселенную VR, применяют специальный подход.

Говоря максимально просто, 3D-звук (он же пространственный или звук 360°) — это тот звук, который изменяется от положения головы пользователя или же его точки зрения. Это своего рода имитация реального мира: если вы наблюдаете взрыв машины прямо перед собой, то вы услышите все происходящее обоими ушами, однако если вы повернете голову в левую сторону, гораздо больше сигнала попадет вам в правое ухо. Именно поэтому разработчики так рекомендуют наушники при погружении в виртуальную реальность.
 

VR видео

К сожалению, сейчас 3D-звук еще не развился полностью. Множество контента 360° хоть и позволяет «крутить головой», однако звук от этого никак не меняется.
 

VR видео

При этом не стоит забывать, что пространственный звук, как и любой другой — это отличный инструмент, позволяющий дополнить историю или даже рассказать новую.
 

VR видео
 

Какой формат нужен для 3D-звука?

Когда впервые берешься за запись или сведение звука в 3D-формате, попросту не понимаешь, каким образом «привязать» к какому-то объекту звук так, чтобы пользователь мог «крутить головой», а источник звука при этом перемещался и даже «глушился». Начнем с того, что наиболее распространенным форматом пространственного звука стал Ambisonics B-format. Разбираясь в звуковых технологиях, легко запутаться и начать путать объемный звук и Ambisonics.

Звук в формате Ambisonics

Объемный звук формата 5.1/7.1 (и так далее) представляет из себя определенное количество звуковых каналов, также «привязанных» к громкоговорителям. Основное отличие от Ambisonics в том, что там не существует привязки к динамикам. Четыре канала B-format вместе представляют собой сферическое 3D-звуковое поле.

Объемный звук формата 5.1/7.1

Как же получить запись этого формата? Есть пара вариантов. Первый — записать все сразу на соотвествующий бинауральный микрофон, после чего вы сразу же получите аудио нужного формата. Конечно, на съемочной площадке часто все не так идеально, так что приходится записывать множество звуков отдельно.

Здесь приходит на помощь второй вариант. Допустим, вы собрали микс в 5.1, однако вам необходимо пересвести его под формат 3D. Как вы уже знаете, принцип шести каналов здесь работать не будет. Сейчас есть множество конвертеров, которые помогут легко перевести многоканальный звук в пространственный. Например, плагин Waves B 360 Ambisonics Encoder поможет это сделать всего в несколько шагов. Дополнительные параметры также позволяют отрегулировать некоторые нюансы в миксе.

Плагин Waves B 360 Ambisonics Encoder / Фото: Waves

Также вы можете использовать этот плагин в качестве иснтрумента для 3D-панорамирования. Задействовав плагин на каждом из каналов, можно максимально точно локализовать звук в виртуальном пространстве.
 

Особенности Ambisonics B-Format 

Мы все еще не знаем, как «привязать» звук к определенной точке. Для таких целей существуют утилиты вроде G’Audio или FB360 Spatial Workstation, в которые встроены инструменты для трекинга.
 

О Spatial Workstation
 

Сведение 360° звука

Пространственный звук интересен тем, что он нелинейный. Вы не можете предугадать, куда именно посмотрит пользователь через пару мгновений. Именно поэтому необходимо тщательно отрабатывать каждую деталь. Например, если мимо проезжает машина, — вам стоит обязательно ее подзвучить, вдруг внимание слушателя будет направлено именно на нее. В общем, никаких лишних звуков здесь не может быть. Вам нужно быть крайне аккуратным и внимательным при работе с точечными звуками.

Не менее важен и хороший мониторинг. У 3D-звук не имеет привязки к конкретным громкоговорителям, однако для полного погружения необходима весьма дорогостоящая аудиосистема. Компания Waves легко решила этот вопрос, выпустив довольно дешевый плагин (99$) NX — Virtual Room, который позволяет точно контролировать звуковое поле прямо в ваших наушниках. Это достигается благодаря трекингу вашей головы с помощью веб-камеры.
 

О NX – Virtual Room

Виртуальная реальность — новая ступень в развитии аудио и видеотехнологий. С помощью пространственного звука можно добиться сильной вовлеченности зрителя в контент, будь то видео на YouTube, игра или кино.
 

Обложка: RBC / TASS