Идея проекта Проект направлен на создание LoRA для SDXL, передающего характерные черты живописи Кузьмы Петрова-Водкина: сферическую перспективу, основные цвета, пластику фигур и специфическую трактовку лиц.
Для обучения отобраны 28 законченных картин с WikiArt, которые выражают узнаваемый стиль художника. Из выборки исключены наброски и реалистичные портреты.
Результирующая серия изображений
После обучения была проведена серия генераций с минимальным промптом «in the style of Kuzma Petrov-Vodkin» и разным количеством шагов для оценки «чистого» влияния LoRA. Тестирование показало, что оптимальное количество шагов денойзинга — 20. При 5–15 шагах стиль проявляется слабо, изображения размыты. Свыше 25 шагов качество не улучшается.
Далее были сгенерированы несколько характерных для художника сюжетов. LoRA успешно усвоила ключевые элементы стиля: особенности лиц, фигур людей и лошадей, цветовую гамму.
Также модель неплохо справилась с нехарактерными сюжетами.
Описание процесса обучения
Обучение проводилось в Google Colab с использованием кода, реализующего DreamBooth для SDXL. Все изображения из датасета были загружены в Colab, после чего для каждого из них с помощью BLIP были сгенерированы текстовые подписи.
Несмотря на то, что BLIP периодически выдавал зашумлённые описания (с повторами фамилий или ошибочными отсылками к другим художникам), итоговое качество LoRA не пострадало. Параметры обучения не изменялись, 500 шагов заняло 42 минуты.
