О проекте. Концепция
Пауль Клее — швейцарско-немецкий художник начала XX века, один из ключевых представителей модернизма.
Его творчество сочетает элементы абстракции, сюрреализма и примитивизма.
Создать кастомную модель на базе Stable Diffusion XL (SDXL), обученную на картинах Пауля Клее, для генерации новых изображений, сочетающих узнаваемые сюжеты (городские пейзажи, портреты, елки) с характерным абстрактно-сюрреалистическим стилем художника.
Его визуальный язык строится на простых геометрических формах — линиях, кругах, сетках — и интуитивной композиции. Линия играет ключевую роль, задавая ритм и динамику изображения.
Модель должна воспроизводить уникальную палитру, геометрию форм и эмоциональную глубину Клее, но генерировать оригинальные композиции по текстовым промптам.
Обучение нейросети
Изображения картин Пауля Клее были загружены в Google Colab. Для каждого файла модель BLIP автоматически сгенерировала текстовые подписи, подчеркивающие сюжеты (пейзажи, портреты, елки) и абстрактные элементы. Затем запустили дообучение Stable Diffusion XL: сначала DreamBooth для фиксации стиля, потом LoRA через готовый скрипт из Diffusers.
Параметры оптимизированы под ресурсы Colab — низкий rank и epochs обеспечили стабильность без переобучения. Готовые веса LoRA интегрировали в базовую SDXL, что позволило генерировать новые работы с триггером «in the style of Paul Klee».
Проект подтвердил: даже на компактном датасете нейросеть осваивает авторский стиль, сочетая управляемость промптами и креативность для персонализированного ИИ-искусства.
Итоговые генерации
geometric abstraction in Paul Klee style a small abstract city with towers and arches, layered shapes
geometric abstraction in Paul Klee style a surreal city made of blocks triangles and arches
geometric abstraction in Paul Klee style, dark village at night, crooked houses, dim red sky
geometric abstraction in Paul Klee style, lonely figure in distorted landscape, muted colors
geometric abstraction in Paul Klee style, surreal night garden, glowing symbols, deep shadows
geometric abstraction in Paul Klee style a dreamlike village with simple houses and curved hills
geometric abstraction in Paul Klee style a geometric landscape with sun and moon over hills
geometric abstraction in Paul Klee style a geometric night scene with glowing windows and structures
geometric abstraction in Paul Klee style a small abstract city with towers and arches, layered shapes
geometric abstraction in Paul Klee style an abstract garden with plants circles and symbols
geometric abstraction in Paul Klee style, an abstract town with colorful rooftops and narrow paths
geometric abstraction in Paul Klee style, dark carnival, simplified figures, unsettling mood
Результаты генерации показали, что модель в целом успешно усвоила ключевые особенности художественного языка: ей удалось сохранить характерные сюжеты, общую стилистику и визуальные принципы, присущие оригинальным работам. В сгенерированных изображениях считываются типичные мотивы, композиционные решения и цветовые отношения, что свидетельствует о корректной адаптации модели к обучающему датасету.
Однако в процессе генерации проявился заметный артефакт. Прежде всего в выборе более приглушённой, словно выцветшей палитры. Картины, представленные в качестве референсов, выполнены в гораздо более смелых и выразительных цветах вне зависимости от их настроения, будь оно мрачное или радостное. Этот сбой напрямую влияет на визуальную целостность изображений и общее качество исполнения.
Таким образом, несмотря на успешное воспроизведение стиля и сюжетной базы, модель пока не достигает полной точности и требует дополнительной доработки — как на уровне датасета, так и в настройке параметров обучения — для повышения стабильности и качества генерации.
Использование нейросети
Stable Diffusion XL (SDXL) — мощная модель для создания изображений из текста. https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
DreamBooth — подход к дообучению моделей на кастомных данных для фиксации стиля или объекта. https://huggingface.co/docs/diffusers/training/dreambooth
LoRA — эффективная техника тонкой настройки с минимальными ресурсами для стилизации генераций. https://huggingface.co/docs/diffusers/training/lora
Perplexity — ассистент для кодирования, мозгового штурма и доработки промптов. https://www.perplexity.ai/
