Идея проекта
В моем проекте мне интересно узнать возможность передачи эстетики академической живописи через генеративную нейросеть.
Этот стиль исторически выполнял роль визуального «стандарта реализма» и во многом заменял фотографию, требуя высокого уровня мастерства.
Моя задача — воспроизвести его характерные особенности — мягкое освещение и грациозные формы, с помощью обученной модели.
Процесс обучения
Сначала я подключаю GPU и проверяю подключен ли он.
Далее устанавливаю необходимые библиотеки, которые используются для обучения и запуска генеративной модели.
После задаю рабочие директории, токен стиля и текстовое описание (instance_prompt). Затем загружаю свои собранные изображения в Colab и проверяю их загрузку.
Далее запускаю уже сам процесс обучения LoRA-адаптера на базе модели Stable Diffusion XL.
В ходе обучения модель связывает визуальные характеристики датасета с заданным стилевым токеном.
Перед последним этапом проверяю, что все чекпоинты успешно сохранились.
Далее загружаю базовая модель Stable Diffusion XL и вспомогательный компонент VAE. После этого к модели подключаются LoRA, благодаря чему она приобретает способность генерировать изображения в моем стиле.
Результат генерации
На заключительном этапе ввожу «классический» и негативный промпт.
Классический менялся в зависимости от жанра и персонажей на ней. Негативный оставался для всех генераций одинаковым.
Результаты
Нейросеть показывает хорошие результаты в передаче стилистики и общего настроения изображений. Тем не менее, наблюдаются ошибки в анатомии, особенно при сложных композициях и наличии нескольких персонажей.
Использованные ресурсы: — Google Colab: код — Adobe Photoshop: обрезка/коррекция исходных изображений — DeepSeek: помощь в написании промптов
