Практика

Как работает звук в VR

Игры, фильмы, музеи — все это объединяет распространенная аббревиатура VR. Но что она значит самом деле и каковы особенности работы со звуком в этой сфере?

Еще больше полезных статей на tvkinoradio.ru для сценаристов, режиссеров, операторов, монтажеров, художников-постановщиков, художников по костюмам, звукорежиссеров, композиторов, супервайзеров визуальных эффектов и продюсеров.
 
Тренд квестов в реальном мире медленно подошел к концу, но в некоторых подвальных помещениях все еще можно отлично повеселиться. Речь идет об играх в VR, — теперь вместо множества декораций вам достаточно надеть специальные очки и наушники, которые погрузят вас в совершенно новый мир. Но не все так просто: под определением «виртуальная реальность» мы часто понимаем совершенно разные вещи, так что стоит сперва классифицировать «виртуальность».
 

Какая бывает виртуальная реальность?


Иллюстрация: Metaverse
Иллюстрация: Metaverse
 
  • VR (Virtual Reality) — этот термин наиболее часто используется, когда речь идет о трехмерных объектах, которые «врываются» в наш мир, однако не все так просто. VR подразумевает полное погружение пользователя в виртуальную среду посредством, например, специальных очков. Это полностью цифровая среда, которая никак не соприкасается с реальным миром.
  • AG (Augmented Reality) — дополненная реальность накладывает какие-либо объекты на реальный мир, на наше окружение — посредством технических средств вроде телефона или очков Google Glass. Отличным примером является нашумевшая в прошлом игра Pokemon GO.
  • MR (Merged Reality) — смешанная реальность — это синтез VR и AR. В реальный мир встраиваются виртуальные объекты и адаптируются под наше окружение. Понять, что же такое смешанная реальность, помогут средства Google, вроде фотопереводчика, или сервисы IKEA, которые позволяют «примерить» новую мебель в вашей квартире заранее.
 

Что такое 3D-звук?


Как вы уже догадались, невозможно обойтись простым стерео-треком, когда вокруг вас буквально летают самые разные объекты, а мир и вовсе может быть совсем не похож на наш. Чтобы добиться максимального погружения во вселенную VR, применяют специальный подход.

Говоря максимально просто, 3D-звук (он же пространственный или звук 360°) — это тот звук, который изменяется от положения головы пользователя или же его точки зрения. Это своего рода имитация реального мира: если вы наблюдаете взрыв машины прямо перед собой, то вы услышите все происходящее обоими ушами, однако если вы повернете голову в левую сторону, гораздо больше сигнала попадет вам в правое ухо. Именно поэтому разработчики так рекомендуют наушники при погружении в виртуальную реальность.
 
VR видео

К сожалению, сейчас 3D-звук еще не развился полностью. Множество контента 360° хоть и позволяет «крутить головой», однако звук от этого никак не меняется.
 
VR видео

При этом не стоит забывать, что пространственный звук, как и любой другой — это отличный инструмент, позволяющий дополнить историю или даже рассказать новую.
 
VR видео
 

Какой формат нужен для 3D-звука?


Когда впервые берешься за запись или сведение звука в 3D-формате, попросту не понимаешь, каким образом «привязать» к какому-то объекту звук так, чтобы пользователь мог «крутить головой», а источник звука при этом перемещался и даже «глушился». Начнем с того, что наиболее распространенным форматом пространственного звука стал Ambisonics B-format. Разбираясь в звуковых технологиях, легко запутаться и начать путать объемный звук и Ambisonics.


Звук в формате Ambisonics

Объемный звук формата 5.1/7.1 (и так далее) представляет из себя определенное количество звуковых каналов, также «привязанных» к громкоговорителям. Основное отличие от Ambisonics в том, что там не существует привязки к динамикам. Четыре канала B-format вместе представляют собой сферическое 3D-звуковое поле.


Объемный звук формата 5.1/7.1

Как же получить запись этого формата? Есть пара вариантов. Первый — записать все сразу на соотвествующий бинауральный микрофон, после чего вы сразу же получите аудио нужного формата. Конечно, на съемочной площадке часто все не так идеально, так что приходится записывать множество звуков отдельно.

Здесь приходит на помощь второй вариант. Допустим, вы собрали микс в 5.1, однако вам необходимо пересвести его под формат 3D. Как вы уже знаете, принцип шести каналов здесь работать не будет. Сейчас есть множество конвертеров, которые помогут легко перевести многоканальный звук в пространственный. Например, плагин Waves B 360 Ambisonics Encoder поможет это сделать всего в несколько шагов. Дополнительные параметры также позволяют отрегулировать некоторые нюансы в миксе.

Плагин Waves B 360 Ambisonics Encoder / Фото: Waves
Плагин Waves B 360 Ambisonics Encoder / Фото: Waves

Также вы можете использовать этот плагин в качестве иснтрумента для 3D-панорамирования. Задействовав плагин на каждом из каналов, можно максимально точно локализовать звук в виртуальном пространстве.
 
Особенности Ambisonics B-Format 

Мы все еще не знаем, как «привязать» звук к определенной точке. Для таких целей существуют утилиты вроде G'Audio или FB360 Spatial Workstation, в которые встроены инструменты для трекинга.
 
О Spatial Workstation
 

Сведение 360° звука


Пространственный звук интересен тем, что он нелинейный. Вы не можете предугадать, куда именно посмотрит пользователь через пару мгновений. Именно поэтому необходимо тщательно отрабатывать каждую деталь. Например, если мимо проезжает машина, — вам стоит обязательно ее подзвучить, вдруг внимание слушателя будет направлено именно на нее. В общем, никаких лишних звуков здесь не может быть. Вам нужно быть крайне аккуратным и внимательным при работе с точечными звуками.

Не менее важен и хороший мониторинг. У 3D-звук не имеет привязки к конкретным громкоговорителям, однако для полного погружения необходима весьма дорогостоящая аудиосистема. Компания Waves легко решила этот вопрос, выпустив довольно дешевый плагин (99$) NX — Virtual Room, который позволяет точно контролировать звуковое поле прямо в ваших наушниках. Это достигается благодаря трекингу вашей головы с помощью веб-камеры.
 
О NX – Virtual Room

Виртуальная реальность — новая ступень в развитии аудио и видеотехнологий. С помощью пространственного звука можно добиться сильной вовлеченности зрителя в контент, будь то видео на YouTube, игра или кино.
 

Обложка: RBC / TASS

 

Комментарии

Напишите комментарий первым!

Смотрите также

Популярное
Слова

«Мосфильм. Золотая коллекция»: киноклассика и современные блокбастеры на одной кнопке

Почему «Мосфильм» решил создать свой киноканал совместно с холдингом ВГТРК и АО «ЦТВ», чем удивит, как монетизирован и планируется ли выход на международный рынок, рассказал Роберт Гндолян, генеральный директор медиахолдинга «Цифровое Телевидение»

6 октября 691
Техника

Телевизионные технологии в спорте: как обеспечить справедливое судейство без влияния на игровой процесс

Видеоповторы, видеосудейство, увеличение каналов записи, синхронизация потока, SuperMo-камеры: как современные broadcast-технологии помогают спортивным судьям, рассказывает Игорь Витиорец, технический директор slomo.tv

1 октября 495
Обзоры

7 нестандартных фильмов о социальном протесте в России: от «Прощания» до «Завода»

Пролетарии, рассуждающие о Брехте, дальнобойщики, штурмующие Москву, и фон триеровские мотивы Юрия Быкова: в честь успеха «Дорогих товарищей!» в Венеции выбрали самые нестандартные и яркие картины о социальном протесте в России

28 сентября 2285
Слова

Филипп Юрьев: «Наше кино запало венецианскому жюри в самое сердце»

Режиссер российского фильма «Китобой», получившего приз на Венецианском кинофестивале, рассказал, как снимать кино на краю света, легко ли договориться с местными жителями и почему Джонни Кэш и серф-рок — лучший саундтрек к картине про Чукотку

24 сентября 2226
Мнение

Индустрия на удаленке: выставки под вопросом, спорт на экране

Естественный протекционизм, смена источников монетизации, VR и иммерсивный звук — эксперт в сфере телекоммуникаций Андрей Гайнулин рассказывает, как медиаиндустрия выживает во время пандемии и борется за своего зрителя

23 сентября 1117
Репортаж

Чем нас порадовала 72-я церемония вручения премии «Эмми»

Давно комедия не собирала такого «урожая» теленаград, как сегодня. Редко когда вручение оказывалось таким коротким. И никогда в зале не было так пусто. Рассказываем, чем еще нас удивила «Эмми 2020»

21 сентября 1416
Мы используем cookie-файлы, чтобы собирать статистику, которая помогает нам делать сайт лучше. Хорошо Подробнее