Концепция
Проект направлен на обучение нейросети, обладающей способностью понимать и воспроизводить визуальные стили, характерные для признанных мастеров иллюстрации и живописи.
Нейросеть обучается на репрезентативной базе данных картин знаменитого художника, изучая композицию, цветовую палитру, технику мазка, особенности освещения и другие ключевые элементы, формирующие его уникальный художественный почерк.
Художником, чьи работы стали основой данного проекта, является Густав Климт — великий австрийский живописец, основоположник модерна в австрийской живописи и автор культового «Поцелуя». Искусство Климта — это гипнотический сплав чувственности и монументальной декоративности. Его героини погружены в эротический, почти мистический транс, а их тела окутаны сложнейшими мозаичными узорами, сияющими сусальным золотом.
Исходные изображения для обучения
Ниже представлены некоторые работы Густава Климта, вошедшие в базу данных для обучения искусственного интеллекта.
Процесс обучения нейросети для генерации изображений
Для обучения нейросети под стиль Густава Климта использовалась модель Stable Diffusion XL (SDXL) в сочетании с методами DreamBooth и LoRA.
В рамках проекта обучение проводилось в облачной среде Google Colab. Ниже представлены ключевые фрагменты кода, использованные для настройки и запуска процесса, а также их краткое описание.
Генерация и обучение нейросетей требуют мощных видеокарт. Первым делом мы проверяем, какой именно GPU выделил нам Google Colab — для этого используем команду nvidia-smi. Она показывает модель видеокарты, объем видеопамяти и текущую загрузку.
Проверка видеокарты
В этом блоке происходит установка всех необходимых библиотек для работы со Stable Diffusion и обучения LoRA. Также скачивается официальный скрипт DreamBooth от Hugging Face и инициализируется ускоритель accelerate для оптимального использования видеокарты.
Настройка окружения
В этом блоке создается папка для изображений, куда загружаются файлы через интерфейс Colab. Затем с помощью модели BLIP автоматически генерируются текстовые описания для каждого изображения, которые сохраняются в файл metadata.jsonl вместе с уникальным токеном-идентификатором стиля.
Подготовка датасета
В этом блоке выполняется вход в аккаунт Hugging Face с использованием токена доступа, который пользователь предварительно создает в настройках своего профиля.
Вход в Hugging Face
После успешной аутентификации задаются основные параметры обучения: название папки для сохранения модели (output_dir) и триггерная фраза (instance_prompt), которая будет использоваться для активации обученного стиля при генерации.
На этом этапе запускается процесс обучения с использованием метода DreamBooth и технологии LoRA на базе модели Stable Diffusion XL, что позволяет эффективно дообучить нейросеть даже на ограниченных вычислительных ресурсах. Обучение длится около 40-50 минут на видеокарте T4, в ходе которого создается 500 шагов и сохраняются промежуточные чекпоинты в формате safetensors.
Настройка параметров
На заключительном этапе обученная модель в формате LoRA загружается на платформу Hugging Face Hub для публичного доступа или локального использования, после чего происходит тестирование — генерация изображений с использованием триггерной фразы, которая была задана при обучении. При успешной генерации можно наблюдать, как нейросеть воспроизводит характерные черты обученного стиля или объекта на новых, ранее не встречавшихся изображениях.
Сохранение модели и генерация
Результирующая серия изображений
photo collage in GUSTAV style, portrait of a woman with flowing red hair, golden dress adorned with intricate geometric patterns, mosaic background, serene expression, art nouveau elegance
photo collage in GUSTAV style, the tree of life with swirling branches, golden spirals, decorative birds, circular patterns, mystical atmosphere, Byzantine mosaic influence
photo collage in GUSTAV style, a female dancer in flowing floral dress, swirling movement, golden background with ornamental details, elongated figure, decorative patterns
photo collage in GUSTAV style, allegorical figure floating among stars, golden halo, intricate mosaic patterns, celestial background, mystical symbolism, femme fatale
photo collage in GUSTAV style, lush flower garden with blooming poppies and irises, golden light filtering through trees, decorative border, vibrant colors, peaceful landscape
photo collage in GUSTAV style, a couple embracing, kneeling on a flower meadow, golden robes with rectangular patterns, intimate moment, romantic atmosphere, art nouveau masterpiece
photo collage in GUSTAV style, mystical woman with flowing hair holding golden fish, underwater motifs, swirling water patterns, mosaic scales, oriental influence, dreamy aquatic atmosphere
photo collage in GUSTAV style, mother embracing child, flowing golden robes, protective embrace, decorative floral patterns surrounding figures, tender expression, maternal love, art nouveau symbolism
Как мне кажется, нейросети удалось приблизиться к уникальному стилю Густава Климта и передать его. В изображениях можно уловить потрясающую золотую гамму, чувственные лица героинь, характерную «квадратную» композицию и общую атмосферу венского модерна.
И все же нельзя не отметить, что сгенерированные нейросетью изображения далеки от идеала. Нейросети тяжело справляться с генерацией рук на фоне пестрой мозаики, поэтому изображаемые люди имеют нарушение анатомии и артефакты.
Также стоит отметить, что нейросеть более успешна в копировании пейзажей или портретов, в отличие от сложной композиции с двумя и более людьми.
Вывод
Оцифровка «золотого периода» Густава Климта наглядно демонстрирует, как искусственный интеллект справляется с концептуально сложными задачами. Современные флагманские модели научились блестяще имитировать цветовую гамму и роскошь текстур модерна. Способность ИИ синтезировать портретную живопись со сложнейшей плоской орнаменталикой открывает потрясающие перспективы для современного фэшн-дизайна, рекламной графики и создания уникальных концепт-артов, где прошлое органично переплетается с будущим.
Тем не менее, при работе с такими высокодекоративными стилями становится очевидно, что алгоритм часто стремится «схитрить», заменяя осознанную структуру узора на генеративный хаос. Это лишний раз напоминает нам о том, что за каждым квадратиком и спиралью на холстах Климта стоял не случайный взмах кисти, а жесткий дизайнерский расчет и глубокий символизм.
В целом, глубокое дообучение нейросетей под конкретного художника — это мощнейший инструмент, который меняет парадигму визуального производства, требуя при этом уважительного и осознанного отношения к первоисточнику и его эстетическим принципам.
Использование ГенИИ
Для генерации промптов был использован DeepSeek.
