Обучение генеративной нейросети под стиль художника Эндрю Уайетта
(1) цель
Изучить возможности генеративных нейросетей и создать атмосферную серию изображений, вдохновлённую работами Эндрю Уайетта.
Картины авторства Эндрю Уайетта
Главная тема Уайетта — спокойная жизнь в провинции, которая, однако, не имеет ничего общего с традиционным реализмом.
Все, что изображает художник, создает ощущение недосказанности и невидимого присутствия силы, которая приводит мир в движение, но о том, какая именно это сила, зритель может лишь догадываться.
Картины авторства Эндрю Уайетта
(2) этапы
2.1
— Проверка доступности GPU через nvidia-smi — Установка библиотеки: bitsandbytes, transformers, diffusers, peft (параметрическая настройка, включая LoRA), скрипт для обучения Dreambooth-LoRA.
2.2
— Сбор датасета из изображений картин Эндрю Уайетта. Я использовала 50 штук размером 1:1 и загрузила в Google Collab в отдельную директорию.
Превью загруженных в директорий Google Collab изображений
2.3
— К каждой подписи в названиях изображений, с помощью модели BLIP, добавляется префикс «painting in the style of WYATT». Пути к файлам и подписи сохраняю в metadata.jsonl.
2.4
— Использование техники Dreambooth-LoRA для дообучения Stable Diffusion.
БАЗОВЫЕ МОДЕЛИ:
stabilityai/stable-diffusion-xl-base-1.0
VAE madebyollin/sdxl-vae-fp16-fix
ОСНОВНЫЕ ПАРАМЕТРЫ ОБУЧЕНИЯ:
Разрешение: 512×512 Batch size: 2 Learning rate: 1e-4 Количество шагов: 500 8-bit Adam (оптимизация памяти) FP16
— Запуск обучения через accelerate
(3) генерация изображений
После обучения использую конвейер DiffusionPipeline для генерации изображений по разным промтам. Настройки генерации: 25 шагов, FP16.
Полученные изображения:
промт картинки слева — «An old dilapidated house stands in a field, next to it are several trees» промт картинки справа — «A boy and a grandfather stand on the seashore and look into the distance»
промт картинки слева — «A girl with one dog is sitting on a hill, in the distance there is a forest» промт картинки справа — «An old man is leaning on a large tree and looking at the bright moon»
промт — «An old woman sits in the kitchen and thoughtfully looks out the window, there is an endless field outside the window, there is a jug on the kitchen table»
промт картинки слева — «portrait of a young lady, she is wearing a beige light dress, surrounded by forest, night, the moon» промт картинки справа — «portrait of a young guy sitting on the grass»
промт картинки слева — «a dark night, an empty living room, a table and four empty chairs around, stars are outside the window» промт картинки справа — «portrait of a young girl»
(4) итоги генерации
Генеративная модель хорошо справляется с воспроизводством изобразительного стиля выбранного мной художника.
блокнот с кодом
описание применения генеративной модели
В проекте была использована модель stable-diffusion-xl-base-1.0: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
