Об идее проекта и художнике
Густав Климт (1862–1918) — один из наиболее знаменитых художников начала XX века, представитель стиля модерн, блестящий живописец и график с совершенно неповторимым стилем письма. Я с подросткового возраста питаю к полотнам Климта и их эстетике очень нежные чувства, но не могу воспроизвести что-то подобное сама — сочетание реалистичных и стилизованных фрагментов, их комбинации и цветовые гаммы для меня не поддаются воспроизведению.
Однако желание все-таки продлить себе радость созерцания художественной эстетики Климта привело меня к тому, что я попыталась обучить его авторскому стилю нейросеть. Проект был создан с целью глубже разобраться в творческих принципах автора и возможностях продолжить их в совершенно новых сюжетах.
Датасет
Картины Густава Климта
Датасет, подготовленный для обучения нейросети, представлял собой 20 репродукций картин Климта размером 512×512 пикселей, отражающих магистральные темы его творчества: природа, цветы, девушки и городские пейзажи.
Обучение модели
Для начала работы было необходимо настроить GPU и импортировать все необходимые библиотеки, включая Diffusers и DreamBooth.
Затем я загрузила датасет и в режиме превью проверила корректность его отображения в Google Colab; сгенерировала автоматические описания с помощью загруженной модели BLIP.
Вошла в аккаунт на HuggingFace для сохранения в нем обученной модели и результатов проекта. Настроила параметры обучения и запустила скрипт train_dreambooth_lora_sdxl.py для обучения модели LoRA на базе Stable Diffusion XL 1.0. В качестве префикса использовалось утверждение «photo collage in CLIMT style». Процесс занял около 50 минут.
Результирующие изображения и их анализ
Мне повезло, что нейросеть с первой попытки показала хорошие результаты обучения на параметрах 512 пикселей в 500 шагов с чекпоинтом 250.
Изображения я сгруппировала по тематикам генераций: женские образы, животные, пейзажи, цветы и природа, сюжеты. Ниже приведен их более прицельный анализ.
Женские образы
Мне кажется, что с рисованием женских образов нейросеть справилась особенно хорошо: удачно воссоздана атмосфера, настроение, полузакрытые глаза и эфемерные состояния. Цветовая гамма тоже теплая и мягкая, как в оригинальных работах.
промпты: «a young woman holding a sunflower in her arms», «a girl in a field of purple and yellow flowers», «an elderly woman is standing by the window in summer»
Животные и природа
промпты: «a red-haired curly-haired girl with a big cat in her arms», «the tiger in the jungle», «a bird with golden feathers in the branches of a tree»
Животные получались у нейросети не всегда — вероятно, было недостаточно релевантных примеров при обучении. Но она хорошо справлялась с текстурой пушистой шерсти и окружением: признаться честно, я абсолютно влюблена в нарисованного на первой картинке смешнючего тигра. Цветы, как мне кажется, вышли очень красиво и похоже на автора.
промпты: «snowdrops», «Daffodils in the hands», «autumn still life with flowers and fruits»
Пейзажи
Успешность генерации пейзажей сильно разнилась от степени присутствия в них города и индустриальных мотивов. Естественная среда генерировалась хорошо, а вот городские пейзажи удавались странно, хотя в выборке для обучения было много картин этого жанра. Мне в них нравится попадание в атмосферу и оригинальные композиции Климта, где архитектура проступает только небольшим плоским фрагментом среди богатого узорного окруженя.
промпты: «autumn landscape at sunset», «Moscow in summer», «Moscow in autumn», «fancy trees»
Сюжеты
С сюжетами нейросеть справляется хорошо за исключением ситуаций, где ей не хватает исторической визуальной фактуры. Хотя, например, рыцарский дух в ее исполнении мне очень понравился)
промпты: «A man reads a book in the garden», «The knight in the castle window»
Выводы
Мне кажется успешным проведенный опыт обучения ИИ рисованию в стиле Густава Климта: нейросеть справилась с выявлением основных творческих принципов автора и их воспроизведением.
После завершения основного блока генераций я из интереса «откатила» обучение до первого чекпоинта, и модель на нем показала гораздо менее продуктивные результаты. Именно на втором этапе она научилась воспроизводить основную образность Густава Климта: живописный стиль, композиции, настроения и приемы.
генерации по результатам первого и второго чекпоинта
