Как омолаживали главных героев фильма «Ирландец»

Новый фильм Мартина Скорсезе «Ирландец» рассказывает историю водителя-дальнобойщика Фрэнка Ширана, который ввязывается в бизнес с Расселом Буфалино и его мафиозной семьей. Фрэнк становится наемным убийцей. Позже он начинает работать на Джимми Хоффу, властного лидера организованной преступности.

Картина наверняка получит несколько номинаций на «Оскар» и уж точно получит его в категории «Лучшие визуальные эффекты» или как минимум «технический» «Оскар», за что — читайте ниже.

Визуальные эффекты в фильме «Ирландец» (2019)

У фильма нелинейное повествование. Все актеры, реальный возраст которых 76 и 79 лет, появлялись на экране в разные годы. Главный герой в исполнении Роберта Де Ниро появляется в 24, 36, 41, 42, 47, 55 и потом в 76 лет. 209-минутный биографический фильм содержит 1750 шотов с эффектами. VFX-супервайзером картины был Пабло Хелман, а основным вендором — легендарная студия ILM.

Режиссер хотел, чтобы омоложенные герои были не столько «помолодевшими» актерами, сколько персонажами. Так, молодой Рассел Буфалино не обязательно становился молодым Джо Пеши. Это облегчало задачу VFX-художникам — им не нужно было пристально следить за сходством Буфалино и Джо Пеши в том же возрасте. А с другой — усложняло ее зрителю, который не был знаком с такими установками и пытался увидеть в молодых героях полюбившихся артистов, внешность которых хорошо знал.

Второй задачей было ни в чем не ограничивать актеров: шлем с камерой, которым пользуются для омоложения актеров, сильно отвлекал бы ветеранов. Ведь они никогда не работали с этой технологией. Благодаря инновационному подходу ILM актеры играли как обычно, а уже потом команда ILM «разбирала» мимику и переносила ее на новые образы.

Новая операторская система Flux

Первая главная инновация проекта — операторская установка. Чтобы построить движущуюся модель актеров, команда соорудила «трехглавого дракона»: обычная операторская камера стояла в центре, а по бокам расположились две дополнительные инфракрасные камеры. У актеров на лицах не было маркеров, поэтому информацию о работе мимики пришлось извлекать из текстур и освещения их лиц.

На этапе препродакшна были проведены тесты по извлечению информации о работе мимики без вмешательства в работу актеров. «Мы пришли к трехкамерному ригу, — говорит Пабло. — Но если мы будем опираться на освещение и текстуры, то изменение освещения ключевого света и теней будет очень важно». Это породило другую проблему — как регулярно освещать лица, не влияя на то освещение, которое выставляет оператор-постановщик? Так пришли к решению сделать камеры инфракрасными.

Чтобы осветить лица актеров достаточно ровно во время всей съемки, камеры снабжены инфракрасными осветительными кольцами вокруг объективов. Такой подход был найден во время препродакшна в 2015 году. Еще тогда Де Ниро, который был не только актером, но и продюсером проекта, сразу сказал, что он не будет играть в маркерах с камерой. Режиссер согласился, предложив ILM решить эту задачу.

На тесте Де Ниро отыграл для них сцену в розовом кадиллаке из «Славных парней». После чего ILM омолодили актера, чтобы он походил на себя из 1990 года, и сравнили его цифровую игру с оригинальной. Изначально камеры были обычные RGB. И этот 10-секундный тест так впечатлил режиссера, что ILM занялись вопросом, как превратить эту тяжелую и неповоротливую установку с камерами в нечто более подъемное.

Многие сцены в фильме были импровизациями и их не было в сценарии вообще. И это не позволило ILM использовать дублеров для тел, чтобы заменить старые тела молодыми. Это значило, что и тела придется «омолаживать» с помощью цифры. Кроме того, много работы потребовали руки.

Инфракрасные камеры обеспечивали лицам ровное освещение, но у них другая глубина резкости. Из-за этого пришлось удвоить операторскую группу. Кроме того, инфракрасные камеры реагируют на лампы накаливания, поскольку они горячие. Но оператор не мог всегда освещать декорацию только светодиодами, поэтому решили использовать фильтры.

«Инфракрасные камеры повлияли на работу арт-отдела, — говорит Пабло Хелман. — Потому что у нас на экране много автомобилей из 1950-х, 1960-х и 1970-х годов. Нам нужно было убрать с машин все стекла, так как в старых авто они содержали свинец, который не пропускает инфракрасные волны. Если бы мы не удалили их, то видели бы вместо лиц черное пятно на месте стекла. Та же проблема появлялась, когда персонаж курил. Лицо закрывал теплый дым от сигареты. Поэтому в фильме весь дым цифровой и добавлен на этапе постпродакшна».

Риг с камерой весил 29 кг и был 76 см в ширину. Это самое широкое устройство, которое может пройти в стандартную дверь. Фильм снимали с помощью технокрана, операторской тележки и штатива с подвижной стрелой. Для стедикама этот риг был слишком тяжел.

«В фильме только три шота, снятых с помощью стедикама, — говорит Хелман. — Но для этого одну из инфракрасных камер пришлось убрать. Дополнительно с другого ракурса шоты снимали еще одним полным ригом из трех камер. Это позволило получить нужную информацию о движении лиц». Обычно Скорсезе снимает диалог двумя перекрестными камерами, так что у команды было две идентичные полные установки.

Софт Flux

Новая система программного обеспечения под названием Flux «разбирала» лица и виртуально представляла собой «черный ящик». Перед началом работы лица актеров сосканировали в 3D с помощью двух устройств: Light Stage и системы Medusa. Но в этот раз актеров не просили делать стандартные мимические позы, поскольку теперь анимация в создании лиц не применялась.

После того, как произведен захват мимики, эти данные переносятся на цифровую сканированную голову актера в возрасте, а потом — на голову его молодой копии. Но после завершения этого процесса система отходит от обычного пайплайна студии для создания цифровых людей.

Обычно в случае с цифровыми людьми мокап-данные аниматоры «доводят» вручную. В этом случае было критично не использовать анимацию вообще. Поэтому ключевым моментом в работе над «Ирландцем» был вновь разработанный софт Flux, который «понимал» освещение и декорации.

Все декорации были также сосканированы и отсняты в HDRIs. Последнее — это фото широкого динамического диапазона. С помощью этих фото позже производится освещение цифровых голов, чтобы они без швов вписались в пространство кадра, как и отснятые объекты. Но эти кадры не включают инфракрасную компоненту. О ее захвате позаботились отдельно.

Для обычного омолаживания двух актеров, каждого из которых снимал свой мультикамерный риг, в диалоге процесс выглядел так:

• в ILM соединяли данные HDRI и лидарного сканирования и выяснили, где находились и как двигались камеры;
• это давало местоположение, силу и цветовую температуру освещения на площадке;
• потом эти данные комбинировали с данными инфракрасных камер;
• после чего полученный материал обрабатывали и результат работы системы сравнивали с тем, что было снято для синхронизации;
• цифровые дублеры актеров добавлялись в сцену и проходили деформацию в каждом кадре для синхронизации с результатами работы системы Flux по лицам реальных актеров.

«Это совершенно другая система работы с лицевой геометрией и тем, как она изменяется, — объясняет Хелман. — Конечно, Flux сверяет свою работу с библиотекой форм, но у нас нет никакой анимации, нет возможности скорректировать работу системы. То есть мы можем скорректировать формы, и иногда нам приходилось это делать, но это была не анимация».

Новая система Flux создана, чтобы показывать результат без стадии анимации. Если посмотреть в титры фильма, то вы не увидите в команде VFX ни одного аниматора. «Потому что Марти не хотел корректировать игру актеров ни на миллиметр, он хотел только сделать их моложе», — говорит Пабло Хелман.

Сам Хелман много работал с командой аниматоров мимики на многих проектах ILM. Но на этом проекте лицевой анимации не было и не было анимационного рига для лица. Результат работы системы Flux был визуализирован в RenderMan и прошел композ в Nuke.

Новый процесс изменил и работу с готовым материалом, которая проходила ежедневно с 8:30 утра до полудня. Дело в том, что Скорсезе не показывали «черновой» рендер. Ему показывали кадры, законченные на 95%. Режиссер смотрел на результат и параллельно — на отснятый материал, чтобы сравнить свою эмоциональную реакцию на оба. И он никогда не комментировал сходство.

ИИ Face Finder

Между 2015 и 2017 годами ILM разработали новую программу Face Finder с использованием искусственного интеллекта. Команда собрала потрясающую библиотеку. «Мы собрали клипы и фотографии лиц трех омолаживаемых актеров „Ирландца“ в нужных возрастах, — рассказывает Хелман. — После чего создали библиотеку и разбили ее на три разных компонента актерской игры и освещения, которые нам были нужны». Например — только глаза Де Ниро в нужном возрасте.

Когда в студии завершалась работа по созданию одного 3D-шота в нужном возрасте, программа проходила по своей базе и находила нужные компоненты-референсы для каждого персонажа: похожие ракурсы, возраст и так далее. Это помогало проводить сверку результата с референсами.

Ну и сам режиссер, работавший с Де Ниро на протяжении 50 лет, тоже оценивал аутентичность кадров. Режиссер иногда развлекался с референсами-отсылками к собственным фильмам.

Например, сцена, когда персонаж признается во взрыве прачечной, очень похожа на аналогичную сцену в «Славных парнях». У Скорсезе отличная память и наметанный глаз, замечающий все мельчайшие детали.

На первом этапе чтобы ускорить работу ILM, режиссер выдал студии около 50 шотов, как только они были сняты. Так команда студии в количестве 30+ человек принялась за разработку нового пайплайна для финальных шотов, не ожидая окончания съемочного процесса. В итоге им понадобилось еще три супервайзера, чтобы завершить работу. Хелману помогали Леандро Эстебекорена, Нельсон Сепульведа и Айван Бускетс.

Не все омолаживание делалось в 3D, часть сцен завершали с помощью 2D-решений на этапе композитинга. Например, в самых ранних сценах войны в Европе тело Де Ниро было скорректировано в 2D-композе. Конечно, Хелман предпочел бы использовать дублеров для тел, но перед ним стояла задача всегда использовать тела оригинальных актеров, модифицировать их, но полностью сохранить их игру.

И в принципе лица как раз выглядели в фильме неплохо, но плохо сочетались с сохраненной игрой 70-летних старцев в тех кадрах, где они выглядели на 30-40 лет.

Источник: fxguide.com

Обложка: кадр из фильма «Ирландец» (2019) / Netflix