Эволюция технологий создания голограмм и HUD-интерфейсов в Marvel

Киновселенная Marvel, особенно серия фильмов о Железном человеке, стала одним из самых узнаваемых примеров того, как цифровые интерфейсы, HUD-экраны и голографические проекции могут быть встроены в кинематографический мир.

В отличие от классических футуристичных экранов с информацией, эти эффекты присутствуют не только в качестве декоративной графики: они помогают показать мышление Тони Старка, работу брони и взаимодействие человека с машиной.

Исследование проведено с целью ответить на вопрос:

В исследовании рассматривается, как этот переход менял саму технологию эффекта: от графики, наложенной на лицо и взгляд персонажа, к сложным голографическим объектам, связанным с движением камеры, актерской игрой и пространством сцены.

1. Железный человек
2. Железный человек 2
3. Мстители
4. Железный человек 3
5. Заключение

Одной из самых важных частей визуального языка фильма стал HUD-интерфейс внутри шлема Тони Старка. Вместо классического приема с отдельными экранами авторы решили показать интерфейс непосредственно вокруг лица героя. Зритель видит не экран со стороны, а внутреннее пространство шлема глазами персонажа.

Согласно материалу beforesandafters [2], ранние версии HUD выглядели значительно более перегруженными и напоминали типичный «tech interface» начала 2000-х.

Однако команда постепенно пришла к более чистому и читаемому дизайну, в котором интерфейс должен был не закрывать актера, а подчеркивать его игру и реакцию внутри костюма.

Технически эффект строился вокруг композитинга и трекинга. Роберт Дауни-младший снимался в специальной установке с направленным светом, имитирующим внутреннее освещение шлема. Позже поверх изображения накладывались анимированные интерфейсные элементы: прицелы, системные данные, индикаторы полета и схемы брони. При этом графика должна была двигаться вместе с камерой и лицом актера, сохраняя ощущение, что HUD действительно находится внутри шлема.

Уже в первом фильме эффект используется как визуальный маркер персонажа. Интерфейс главного героя построен на холодном бело-синем свечении, связанном с образом его реактора и технологий Stark Industries. HUD антагониста, наоборот, уходит в красно-оранжевые оттенки и выглядит более агрессивно.

Финальный композитинг HUD первого фильма выполнялся в Nuke.

Nuke позволял работать с 3D-пространством и композитингом внутри одного пайплайна, поэтому HUD воспринимался как полноценный сложный интерфейс внутри шлема.

Во второй части одной из главных технических задач стало совмещение голограмм с движением актеров и камеры. Интерфейсы проектировались заранее, еще до финального композитинга: команда подготавливала превью-анимацию элементов, чтобы актеры понимали положение будущих CG-объектов внутри сцены [3].

Для сцен с голограммами использовались трекинг камеры и специальные световые схемы на площадке. Освещение подстраивалось под предполагаемое свечение интерфейсов, благодаря чему на лице актера и окружающих объектах появлялась реакция на будущие цифровые элементы уже во время съемки.

Во втором фильме как раз хорошо видно, что Marvel начинает решать проблему физического взаимодействия актера с интерфейсом через практические элементы на площадке. Это можно заметить в сценах с прозрачным телефоном и интерактивным столом Старка. В VFX breakdown [4] видно, что актеру необходимо было отыгрывать перемещение элементов, решать задачи на экране, а не просто водить глазами.

На площадке использовались реальные световые панели, маркеры положения интерфейсов и физические поверхности, поверх которых позже достраивалась графика. Это помогало сохранить правильное направление взгляда, жестов и отражений на руках и лице актера.

Главным изменением стал переход HUD к стереоскопическому 3D. Джейс Хансен, который работал над интерфейсами Железного человека, прямо пишет, что «Мстители» стали первым фильмом, где HUD делался в стерео [6]. Поэтому интерфейс уже нельзя было воспринимать как плоский слой поверх лица: элементы нужно было располагать в виртуальной глубине, чтобы они работали в объемном изображении.

Хансен собирал элементы в Illustrator, переносил их в Photoshop и After Effects, а часть объектов делал в Cinema 4D. После этого графика подгонялась под лицо Роберта Дауни-младшего, с учетом подсветки, бликов и отражений в глазах.

В материале ProVideo Coalition [7] этот переход описан как развитие HUD в сторону более сложной системы.

Сам интерфейс уже делился на разные режимы: Diagnostic, Battle и Flight. За счет этого он начинает не только украшать кадр, но и объяснять состояние брони, уровень угрозы и текущий режим работы костюма, обеспечивая зрителя дополнительным погружением.

Главная техническая проблема заключалась в совмещении двух состояний одного пространства: целого здания и разрушенной сцены. Модель театра до взрыва переработали в геометрию, которую можно было рендерить линиями, а разрушенную декорацию перевели в облако 3D-точек на основе Lidar. Каждая точка рендерилась как маленький куб, размер которого зависел от расстояния до камеры. Дополнительно использовался ambient occlusion рендер, чтобы форма голограммы оставалась читаемой.

Отдельно решалась проблема взаимодействия актера с голограммой. Простого наложения здесь было недостаточно: Старк находится прямо внутри цифровой реконструкции, поэтому элементы должны были корректно проходить перед ним и за ним (или сквозь него). Для этого Fuel VFX рендерила элементы через RenderMan с использованием deep image. В результате голограмма выглядит как рабочая 3D-реконструкция события, с которой можно взаимодействовать.

HUD в третьем фильме тоже заметно развивается. В «Iron Man HUD Reel» [6] Джейса Хансена видно, что интерфейс внутри шлема строится как набор отдельно анимированных слоев: шкал, предупреждений, иконок, бликов, цветовых состояний и визуальных помех.

Повреждения, перегрузка, тревога или смена режима передаются через цвет, мигание, сбои изображения и стандартизированные пиктограммы. Это решает практическую задачу: зритель быстро считывает состояние брони без отдельного объяснения в диалоге.

Кроме того в фильме появляется еще новый вариант HUD — внешний интерфейс, показанный не только через привычный вид изнутри шлема. В таких кадрах голографические элементы оказываются вокруг лица Тони Старка на открытом плане.

Cantina Creative создавала 3D HUD-элементы в Cinema 4D, включая голографический шлем и миниатюрные элементы костюма.

Такая графика имела настоящую глубину и рассчитывалась с учетом камеры и интерактивного света. Поэтому получилось добиться эффекта, что внешний HUD работает как отдельный пространственный VFX-объект вокруг актера.

На протяжении всех четырех фильмов, которые были рассмотрены в этом исследовании меняется принцип создания HUD-интерфейсов и голограмм. В первом «Железном человеке» HUD строится на композитинге и трекинге поверх лица актера. Во втором фильме голограммы занимают пространство сцены и требуют трекинга камеры, предварительной анимации и взаимодействия актера с CG-элементами. В «Мстителях» HUD адаптируется под стереоскопическое 3D и становится многослойной системой с разными режимами работы. А уже в «Железном человеке 3» голограммы собираются из пространственных данных: Lidar-сканов, 3D-геометрии и сложного композитинга.

В этом смысле работа Marvel с эффектами показывает важный принцип хороших VFX: эффект должен быть достаточно проработан технологически, чтобы исчезнуть как «эффект» для зрителя. Чем точнее выстроены трекинг, свет, глубина, отражения и логика интерфейса, тем меньше зритель думает о графике и тем легче принимает цифровой объект как естественную часть мира фильма.