Практика

Как работает звук в VR

Игры, фильмы, музеи — все это объединяет распространенная аббревиатура VR. Но что она значит самом деле и каковы особенности работы со звуком в этой сфере?

  • 16 мая
  • 655
Павел Новиков

Еще больше полезных статей на tvkinoradio.ru для сценаристов, режиссеров, операторов, монтажеров, художников-постановщиков, художников по костюмам, звукорежиссеров, композиторов, супервайзеров визуальных эффектов и продюсеров.
 
Тренд квестов в реальном мире медленно подошел к концу, но в некоторых подвальных помещениях все еще можно отлично повеселиться. Речь идет об играх в VR, — теперь вместо множества декораций вам достаточно надеть специальные очки и наушники, которые погрузят вас в совершенно новый мир. Но не все так просто: под определением «виртуальная реальность» мы часто понимаем совершенно разные вещи, так что стоит сперва классифицировать «виртуальность».
 

Какая бывает виртуальная реальность?


Иллюстрация: Metaverse
Иллюстрация: Metaverse
 
  • VR (Virtual Reality) — этот термин наиболее часто используется, когда речь идет о трехмерных объектах, которые «врываются» в наш мир, однако не все так просто. VR подразумевает полное погружение пользователя в виртуальную среду посредством, например, специальных очков. Это полностью цифровая среда, которая никак не соприкасается с реальным миром.
  • AG (Augmented Reality) — дополненная реальность накладывает какие-либо объекты на реальный мир, на наше окружение — посредством технических средств вроде телефона или очков Google Glass. Отличным примером является нашумевшая в прошлом игра Pokemon GO.
  • MR (Merged Reality) — смешанная реальность — это синтез VR и AR. В реальный мир встраиваются виртуальные объекты и адаптируются под наше окружение. Понять, что же такое смешанная реальность, помогут средства Google, вроде фотопереводчика, или сервисы IKEA, которые позволяют «примерить» новую мебель в вашей квартире заранее.
 

Что такое 3D-звук?


Как вы уже догадались, невозможно обойтись простым стерео-треком, когда вокруг вас буквально летают самые разные объекты, а мир и вовсе может быть совсем не похож на наш. Чтобы добиться максимального погружения во вселенную VR, применяют специальный подход.

Говоря максимально просто, 3D-звук (он же пространственный или звук 360°) — это тот звук, который изменяется от положения головы пользователя или же его точки зрения. Это своего рода имитация реального мира: если вы наблюдаете взрыв машины прямо перед собой, то вы услышите все происходящее обоими ушами, однако если вы повернете голову в левую сторону, гораздо больше сигнала попадет вам в правое ухо. Именно поэтому разработчики так рекомендуют наушники при погружении в виртуальную реальность.
 
VR видео

К сожалению, сейчас 3D-звук еще не развился полностью. Множество контента 360° хоть и позволяет «крутить головой», однако звук от этого никак не меняется.
 
VR видео

При этом не стоит забывать, что пространственный звук, как и любой другой — это отличный инструмент, позволяющий дополнить историю или даже рассказать новую.
 
VR видео
 

Какой формат нужен для 3D-звука?


Когда впервые берешься за запись или сведение звука в 3D-формате, попросту не понимаешь, каким образом «привязать» к какому-то объекту звук так, чтобы пользователь мог «крутить головой», а источник звука при этом перемещался и даже «глушился». Начнем с того, что наиболее распространенным форматом пространственного звука стал Ambisonics B-format. Разбираясь в звуковых технологиях, легко запутаться и начать путать объемный звук и Ambisonics.


Звук в формате Ambisonics

Объемный звук формата 5.1/7.1 (и так далее) представляет из себя определенное количество звуковых каналов, также «привязанных» к громкоговорителям. Основное отличие от Ambisonics в том, что там не существует привязки к динамикам. Четыре канала B-format вместе представляют собой сферическое 3D-звуковое поле.


Объемный звук формата 5.1/7.1

Как же получить запись этого формата? Есть пара вариантов. Первый — записать все сразу на соотвествующий бинауральный микрофон, после чего вы сразу же получите аудио нужного формата. Конечно, на съемочной площадке часто все не так идеально, так что приходится записывать множество звуков отдельно.

Здесь приходит на помощь второй вариант. Допустим, вы собрали микс в 5.1, однако вам необходимо пересвести его под формат 3D. Как вы уже знаете, принцип шести каналов здесь работать не будет. Сейчас есть множество конвертеров, которые помогут легко перевести многоканальный звук в пространственный. Например, плагин Waves B 360 Ambisonics Encoder поможет это сделать всего в несколько шагов. Дополнительные параметры также позволяют отрегулировать некоторые нюансы в миксе.

Плагин Waves B 360 Ambisonics Encoder / Фото: Waves
Плагин Waves B 360 Ambisonics Encoder / Фото: Waves

Также вы можете использовать этот плагин в качестве иснтрумента для 3D-панорамирования. Задействовав плагин на каждом из каналов, можно максимально точно локализовать звук в виртуальном пространстве.
 
Особенности Ambisonics B-Format 

Мы все еще не знаем, как «привязать» звук к определенной точке. Для таких целей существуют утилиты вроде G'Audio или FB360 Spatial Workstation, в которые встроены инструменты для трекинга.
 
О Spatial Workstation
 

Сведение 360° звука


Пространственный звук интересен тем, что он нелинейный. Вы не можете предугадать, куда именно посмотрит пользователь через пару мгновений. Именно поэтому необходимо тщательно отрабатывать каждую деталь. Например, если мимо проезжает машина, — вам стоит обязательно ее подзвучить, вдруг внимание слушателя будет направлено именно на нее. В общем, никаких лишних звуков здесь не может быть. Вам нужно быть крайне аккуратным и внимательным при работе с точечными звуками.

Не менее важен и хороший мониторинг. У 3D-звук не имеет привязки к конкретным громкоговорителям, однако для полного погружения необходима весьма дорогостоящая аудиосистема. Компания Waves легко решила этот вопрос, выпустив довольно дешевый плагин (99$) NX — Virtual Room, который позволяет точно контролировать звуковое поле прямо в ваших наушниках. Это достигается благодаря трекингу вашей головы с помощью веб-камеры.
 
О NX – Virtual Room

Виртуальная реальность — новая ступень в развитии аудио и видеотехнологий. С помощью пространственного звука можно добиться сильной вовлеченности зрителя в контент, будь то видео на YouTube, игра или кино.
 

Обложка: RBC / TASS

 


Комментарии

Напишите комментарий первым!

Смотрите также

Популярное
Обзоры

10 лучших драм в истории кино: от «Гражданина Кейна» до «Трех билбордов»

Разбираемся, что необходимо хорошей драме с помощью очень субъективного(!) списка эталонных картин в этом жанре

  • 20 июля
  • 2507
Обзоры

Надо видеть: любимые фильмы Люка Бессона

Пускай новые фильмы Люка Бессона не идут ни в какое сравнение с его классикой, вроде «Леона» или «Пятого элемента», зато список любимых картин режиссера действительно заслуживает внимания: от шедевров анимации и блокбастеров до европейского арт-хауса и американского социального кино

  • 13 июля
  • 2178
Практика

Как это снято: «С широко закрытыми глазами»

20 лет назад на экраны вышел последний и самый спорный фильм Стэнли Кубрика. Погружаемся в непростую историю создания картины и изучаем ее особенности: рекорд съемочного периода, сюр, гирлянды и «мертвая» технология рир-проекции

  • 16 июля
  • 2095
Практика

Цвет в кино: особенности восприятия

Как с помощью гармонично выстроенной цветовой схемы кинематографисты привлекают внимание к содержанию сцены, выделяют персонажа, создают напряжение, задают общий тон повествованию? Разбираемся в правильных сочетаниях основных цветов

  • 17 июля
  • 1879
Практика

Тритмент: как написать, чтобы его прочли

Разбираемся, что такое тритмент, как его правильно написать и оформить, каких ошибок при создании стоит избегать и как с его помощью продать будущий сценарий

  • 14 июля
  • 1865
Практика

Сотрудничество художника по костюмам и режиссера

Зачем Эйзенштейн учился искусству кройки, как долго братья Коэны сотрудничают со своим художником по костюмам и с какой профессии начинал свою карьеру Джоэл Шумахер, рассказывает Ирина Жигмунд

  • 11 июля
  • 1662
Мы используем cookie-файлы, чтобы собирать статистику, которая помогает нам делать сайт лучше. Хорошо Подробнее