обучение генеративной нейросети под стиль Люка Тюйманса
концепция
В основе проекта лежит попытка обучить нейросеть генерировать изображения в стиле живописи Люка Тюйманса. Выбор художника во многом связан со спецификой его визуального языка и концептуального подхода. В основе его художественной практики лежит работа с найденными изображениями, чаще всего это фотографии — любительские, архивные, взятые из прессы, журналов и телепередач. Во многих его холстах прослеживается мотив отдаления от реальности, размывания границ документальности и правдивости фотографии. Мне показалось интересным гиперболизировать этот метод использования чужих изображений, довести его до абсолюта. В этом проекте типичная для Тюйманса формула фотография-живопись переворачивается и дополняется, а связь с реальным полностью стирается.
исходные изображения
Важными для живописи Тюйманса категориями оказываются: - светлая, бледная цветовая палитра, напоминающая выцветшие фотографии - реалистичное формообразование - смелое, «фотографичное» или даже «газетное» кадрирование (например, крупные планы, сверхприближение) - прерывистые мазки - отсутствие детализации, ощущение размытости - отсутствие сложных тональных вариаций
Тематически его работы можно разделить на несколько категорий: портрет, интерьер, натюрморт, многофигурная композиция. Именно на них я опиралась в генерации.
Люк Тюйманс. Портреты
Люк Тюйманс. Интерьеры
Люк Тюйманс. Предметы
Люк Тюйманс. Многофигурные композиции
результирующие изображения
Наиболее удачными оказались нейросетевые фрагменты интерьеров, изображения предметов и многофигурные композиции. В них удалось сохранить типичные для Тюйманса черты — размытость, выцветший колорит и натуроподобие. В портретах прослеживается проблема с пропорциями, но формальная часть, живописные качества мазков, получилась достаточно похоже. Для всех изображений обнаруживается общая проблема — отсутствие белых бликов и контраста, при генерации исчезла серия работ, выполненных более абстрактно. Эти недочёты не удалось решить через уточнение промпта. Из этого можно сделать вывод, что для обучения подходят более классичные и реалистичные работы Тюйманса.
Нейросеть. Предметы
Нейросеть. Предметы
Нейросеть. Предметы
Нейросеть. Предметы
Нейросеть. Интерьеры
Нейросеть. Интерьеры
Нейросеть. Интерьеры
Нейросеть. Интерьеры
Нейросеть. Портреты
Нейросеть. Портреты
Нейросеть. Портреты
Нейросеть. Многофигурные композиции
Нейросеть. Многофигурные композиции
Нейросеть. Многофигурные композиции
Нейросеть. Многофигурные композиции
процесс обучения
Для адаптации генеративной модели под живописный стиль Люка Тюльманса был использован подход дообучения модели Stable Diffusion v1.5 с применением метода LoRA. Обучение проводилось в Google Colab с использованием GPU-ускорения. Процесс состоял из подбора изображений для датасета (60 репродукций Тюйманса), настройки тренировочного пайплайна с применением LoRA к слоям UNet и текстового энкодера, сохранения обученных весов. Для обучения использовалось 500 шагов (250 промежуточных). В итоге получилась модель Luc_Tyumans_LoRA, с помощью которой были сгенерированы итоговые изображения.
В проекте использовался chatGPT. С его помощью генерировалась сюжетная часть промптов, которые в дальнейшем дополнялись и уточнялись вручную.
