Захват мимики и цифровой грим

Что такое захват мимики? Собственно, это почти то же самое, что и захват движения, но в меньшем масштабе. Это процесс переноса данных о движении мышц лица в компьютер для последующего наложения на компьютерную модель лица персонажа. Это более сложная технология, требующая от камер захвата большего разрешения и чувствительности. Здесь применяют более сложные фильтры и модели, потому что движения нашего лица гораздо сложнее, чем движения тела. Как мы уже писали, ранее захват мимики производили вручную, как и захват движения. В первое появление Энди Серкиса в образе Голлума художники-аниматоры всего лишь использовали отснятый материал как референс, пытаясь следовать ему как можно точнее. Тогда они вручную воспроизводили всю игру Серкиса.

Первым фильмом, где произвели автоматический захват мимики, стал «Полярный экспресс» Роберта Земекис, где все роли сыграл Том Хэнкс.Как это делают? На лице артиста размещают до 350 точек-маркеров, которые нужно накладывать ежедневно в одно и то же место. Иногда для актера создают специальную маску с дырочками, чтобы каждое утро перед началом работы ставить маркеры в те же самые точки.

Потом на актера надевают специальный шлем с крошечной камерой спереди. Камера смотрит актеру в лицо и считывает все его движения, то есть — движения маркеров на лице. Эти движения записываются в компьютер, и потом, после фильтров и коррекции, накладываются на компьютерную модель лица — сначала компьютерную копию лица актера. Делают это для того, чтобы понять, правильно ли компьютер считал все движения, проверить работу фильтров и откорректировать ошибки. Только после этого точки переносят на модель лица персонажа. Здесь все точно так же, как и в захвате движения: точки становятся «движителями» соответствующих мимических мышц компьютерной модели лица персонажа и воспроизводят все переданные лицом актера эмоции — если все сделано правильно. Но это, конечно, очень простое описание. На самом деле здесь много нюансов и деталей.

Захват мимики может быть двухмерным и трехмерным. Двухмерный захват производится одной камерой, а трехмерный — несколькими. В варианте технологии Роберта Земекиса было четыре камеры, которые захватывали каждая свой сегмент лица. После чего данные со всех камер «склеивали» воедино.

Персонажи Роберта Земекиса страдали «резиновостью» кожи и «мертвостью» глаз. Глаза — одни из самых сложных элементов лица, которые даются не всем. Земекису и его команде они не так и не дались, хотя, в «Рождественской истории» в этом смысле было получше.

На «Аватаре» Джеймса Кэмерона при записи данных мимики пользовались только одной нашлемной камерой.

Бывают и безмаркерные технологии считывания данных. Эта разработка связана с системой распознавания лиц и берет за основу точки самого лица: уголки глаз, губ, ноздри и так далее. Эта идея в итоге легла в основу системы MOVA, где на лицо актера наносят специальную краску, и просят его записать определенные стандартные мимические позы. После чего актер отыгрывает всю свою роль перед мониторами. А потом уже компьютер сравнивает его мимику с набором поз и на их основе воспроизводит всю игру, производя между позами морфинг. Позже аниматоры поправляют созданное компьютером изображение для большего сходства с оригиналом. Мы немного писали об этой системе в статье об омолаживании актеров на экране. Система MOVA использует вместо маркеров неровности нанесенной на лицо краски. То есть маркеры в любом случае нужны, будь то это уголки губ или неровности краски. Так что название технологии «безмаркерные» — сугубо условное.

Но запись и считывание движения маркеров — это одна сторона дела. Чтобы воссоздать лицо человека на экране нужно немало потрудиться. Как оказалось, простым воспроизведением движения маркеров в данном случае не обойтись — нужно было разобраться в том, как и почему эти маркеры двигаются именно так, и почему, несмотря на точное воспроизведение мимических движений, лицо компьютерного персонажа остается «мертвым».

Одним из первых случаев такого анализа была работа на фильме «Загадочная история Бенджамина Баттона». Строение цифрового лица человека на этом проекте максимально воспроизводило реальное: были построены череп, хрящи, мышцы и кожа. При этом кожа должна была лежать поверх мышц и «откликаться» на их движения. А еще она должна была определенным образом работать со светом — быть не только частично прозрачной, но и обеспечивать определенное рассеивание света внутри своей толщины, да еще делать это в разной степени на разных участках.

Иными словами, лицо компьютерного персонажа кажется «мертвым» именно потому, что необходимо воспроизводить всю внутреннюю механику тканей, которую мы подсознательно привыкли видеть на каждом лице. И эта механика на каждом лице — немного разная, она и ложится в основу особенностей мимики каждого человека. То есть виртуальный лицевой риг, на который «надевают» маркеры, должен точно отображать механику лица данного актера. Только потом, понимая, как работает конкретно это лицо, можно переносить данные с виртуального рига лица актера на виртуальный риг лица персонажа. Именно поэтому чаще всего созданные с помощью захвата мимики персонажи так похожи на своих исполнителей — мимические особенности желательно сохранять, чтобы цифровая работа лица была реалистичной.

Теперь давайте попробуем разобраться, почему же почти невозможно убедить Киноакадемию включить этих актеров в актерскую категорию номинаций на «Оскар». Адепты технологии сравнивают ее с гримом. Они сравнивают Энди Серкиса с Лоном Чейни, который был известен своими перевоплощениями с помощью накладок. Актеры в подобном пластическом гриме зачастую испытывают физические неудобства при работе (не говоря уже о процессе гримирования и «разгримирования»), им нужно «пробить» накладку своей мимикой, а это всегда нелегко.

Например, на фильме «Человек-слон» Джону Херту пришлось носить несколько килограммов грима, который изменял не только его лицо, но и все тело. Считается, что эти физические страдания добавляют экспрессии в игру актера. Кстати, актер изучил своего персонажа очень тщательно. Джон Меррик — реальная личность, и его недуг был неплохо описан. Оказывается, у него были внутренние повреждение и деформации, которые мешали ему говорить и даже дышать. И актеру потребовалось изобразить поведение героя очень подробно.