Original size 1064x1429

Эволюция визуальных репрезентаций аудио в аудиовизуальном искусстве

The project is taking part in the competition

Рубрикатор

1.Концепция
2.Введение
3.Аналоговый этап
4.Цифровой этап
5.Алгоритмический этап
6.Выводы

1.Концепция

Выбор данной темы обусловлен необходимостью осмыслить переход от физического следа звука на кинопленке до абстрактных математических алгоритмов в цифровых интерфейсах.

Материал отбирался по принципу технологической репрезентативности и художественной значимости. В выборку вошли артефакты, которые стали поворотными точками в истории аудиовизуального синтеза, а именно оптические звуковые дорожки на кинопленке, работы экспериментальных режиссеров, осциллограммы и спектрограммы, возникшие с развитием электроники, а также интерфейсы современных цифровых звуковых станций, генеративная графика и нейросетевые инсталляции.
Основная задача-показать, как менялся визуальный язык аудио.

Гипотеза исследования базируется на предположении, что каждому технологическому этапу соответствуют определенные типы аудиовизуального синтеза, которые постепенно сменяют друг друга и эволюционируют от физической репрезентации к математической абстракции. Такой подход позволяет рассматривать историю аудиовизуального синтеза не только как линейную последовательность технических новшеств, а как многоуровневый процесс, в котором изменяются способы записи, обработки, отображения и восприятия звука.

2.Введение

В классической теории кино и аудиовизуальном искусстве звук традиционно мыслится как невидимый объект, дополняющий изображение. Аудиальный ряд создает эмоциональный фон, но долгое время оставался вторичным по отношению к визуальному. Однако на протяжении XX–XXI веков художники, режиссеры и инженеры последовательно стремились преодолеть эту иерархию и сделать звук видимым.

Человеческое восприятие в аудиовизуальной среде работает на стыке слуха и зрения. Мы считываем ритм, драматургию и эмоциональное напряжение через то, как именно звуковой сигнал показан на экране. Этот феномен синестезии становится ключом к пониманию современных аудиовизуальных практик.

Чтобы понять современные алгоритмические визуализации, необходимо вернуться к истокам. Первый этап эволюции связан с эпохой, когда звук и изображение были неразрывно связаны на уровне физической материи.

3. Аналоговый этап.

В аналоговую эпоху звук и изображение были связаны на физическом уровне. Оптическая дорожка на кинопленке-это и есть звук, переведенный в графику. Свет, проходя через прозрачные и непрозрачные участки пленки, преобразовывался в электрический сигнал, а затем в звуковую волну. Визуализация здесь была не абстракцией, а буквальным следом звука.

Экспериментальные режиссеры быстро осознали, что если звук это графика, то его можно рисовать вручную. Техника прямой анимации (drawn on film) позволяла художникам наносить краску, царапины и геометрические фигуры прямо на звуковую дорожку пленки. Это был акт абсолютного синтеза, где художник становился композитором, а картинка порождала звук.

Ярким представителем этого направления был канадский аниматор Норман Макларен. В его фильмах царапины и линии на пленке создавали не только визуальный ряд, но и сложные звуковые партитуры. Макларен доказал, что визуальный язык аудио может быть полностью рукотворным и физически осязаемым.

Original size 760x789

Норман Макларен за работой над оптической звуковой дорожкой.

Original size 460x352

Норман Макларен. Кадр из фильма Synchromy.

Но художник Лен Лай пошел дальше, используя яркие цвета и различные геометрические фигуры он рисовал непосредственно на кинопленке. Благодаря ему появилось уникальное направление-визуальная музыка, где изображение воспринимается как звук, а звук как живопись.

Original size 1546x1290

Лен Лай. Кадр из фильма «A Colour Box». Прямая роспись пленки.

Важно отметить, что формы аналогового этапа не пытались создать иллюзию глубины. Они существовали на плоском экране, подчеркивая свою материальность. Звук здесь выступал как пластический материал, формирующий движение и композицию кадра, а зритель являлся прямым наблюдателем за физической связью между глазом и ухом.

Однако у аналогового метода были свои пределы. Физическая связь между царапиной и звуком ограничивала сложность создаваемых текстур, а с приходом цифровых технологий эта физическая связь была окончательно разорвана. На смену материи пришли данные, а на смену ручной росписи-интерфейсы.

4. Цифровой этап.

С приходом цифры звук перестал быть физическим следом и превратился в данные, а визуализация звука стала интерфейсом. В цифровом аудиовизуальном производстве звук теперь можно бесконечно резать, растягивать, накладывать и очищать от шумов.

Original size 2836x1430

Интерфейс современной DAW

Интерфейс цифровой звуковой станции (DAW) формирует новый тип профессионального зрения режиссера и звукорежиссера. Он диктует, как именно нужно воспринимать и монтировать звук, а волновая форма визуализирует амплитуду, позволяя точно редактировать тайминги, но она скрывает богатство частот.

В скором времени, на смену плоской волновой форме приходит спектрограмма. В отличие от волны, спектрограмма добавляет аудиовизуальному образу глубину и фактуру, она создает эффект звукового ландшафта, где ось времени пересекается с осью частот, а цвет становится эквивалентом громкости.

Original size 644x335

спектрограмма

Однако для неподготовленного зрителя спектрограмма выглядит лишь как визуальная перегрузка из-за этого возникает новая потребность в медиаграмотности-умении понимать язык спектрограмм, чтобы прочитать звуковой образ.

Original size 1366x794

Кадр из фильма «Прибытие» как пример кинематографической стилизации прочтения «спектрограммы».

Цифровой этап сделал звук управляемым, но человек все еще оставался оператором, который работает с готовыми данными через интерфейс. Следующий шаг-когда данные начинают генерировать сами себя, порождая новые, невиданные ранее формы. Это привело к рождению алгоритмического этапа.

5. Алгоритмический этап.

Эволюция визуальных репрезентаций аудио в аудиовизуальном искусстве
Project created at 17.11.2026
designschool.am
designschool.am — цифровая экосистема, объединяющая профессиональное портфолио для дизайнеров — студентов, выпускников и сотрудников программы «Коммуникационный дизайн» (совместный проект Российско-Армянского Университета и Школы дизайна НИУ ВШЭ), образовательную онлайн-платформу, площадку, агрегирующую международные онлайн-конкурсы в креативных индустриях и другие профессиональные инструменты.... Show more
We use cookies to improve the operation of the website and to enhance its usability. More detailed information on the use of cookies can be fo...
Show more