Идея проекта
Мне захотелось обучить генеративную нейросеть Stable Diffusion на работах Винсента Ван Гога, потому что мне очень нравится его живопись — её энергия, выразительные мазки, яркие цвета и особое эмоциональное напряжение. Мне было интересно посмотреть, насколько нейросеть сможет уловить этот художественный язык и создавать новые изображения, которые будут ассоциироваться со стилем Ван Гога.
Список использованных в проекте инструментов:
— Stable Diffusion XL + DreamBooth LoRA — обучение генеративной нейросети под выбранный художественный стиль; — Google Colab — выполнение кода, обучение модели и генерация изображений; — Hugging Face — загрузка базовой модели и использование инфраструктуры для работы с нейросетями; — Adobe Photoshop — подготовка изображений и оформление итоговых результатов.
Обучение
Сначала первая ячейка проверяет, подключён ли GPU, чтобы обучение и генерация шли быстрее. Затем устанавливаем все нужные библиотеки для работы со Stable Diffusion, LoRA и DreamBooth. И потом загружаем обучающий скрипт, который потом используется для запуска обучения модели.
Задаем основные параметры проекта: папку с изображениями, папку для сохранения модели, специальный токен стиля и текстовое описание того, чему должна обучиться нейросеть. Затем загружаем изображения в Google Colab и помещает их в нужную папку, чтобы потом использовать как датасет для обучения.
На обучении настроим шаги, промпт для лучшего понимания стиля. Количество шагов поставлено среднее.
Загружаем базовую модель Stable Diffusion XL и подключает к ней обученные LoRA-веса. После этого создаётся pipeline, который уже может генерировать новые изображения в изученном стиле. Затем пробуем делать изображения с помощью промпта.
Что получилось:
Идея проекта заключалась в том, чтобы посмотреть, как нейросеть сможет передать стиль Ван Гога через тему времён года.
Весна: — «vangoghseason post-impressionist painting of early spring meadow, blooming flowers, fresh green grass, bright sky, expressive brushstrokes, vivid colors» — «vangoghseason post-impressionist painting of spring garden after rain, shining leaves, soft sunlight, vivid green tones, painterly texture»
Лето: — «vangoghseason post-impressionist painting of summer countryside, sunflower field, warm golden light, deep blue sky, textured paint, swirling brushwork»
Осень: — «vangoghseason post-impressionist painting of autumn forest path, yellow and orange leaves, soft evening light, rich colors, dynamic brushstrokes» — «vangoghseason post-impressionist painting of late autumn field, dark earth, bare trees, dramatic sky, thick expressive strokes, warm brown tones»
Зима: — «vangoghseason post-impressionist painting of snowy winter landscape, small village, cold air, pale blue sky, textured paint, emotional atmosphere»
