Обучение генеративной нейросети под стиль корейского художника Pil Hwa
Концепция
Нежные, поэтичные и заботливые. Именно такие иллюстрации создаёт южнокорейский художник Pil Hwa.
С помощью серии рисунков художник создал целую вселенную, маленький мир, как он любит его называть, в котором он делится своими мыслями. На его иллюстрациях изображены как люди, так и животные, и всё это под единым девизом: нежность. Иллюстрации полны поэзии и гарантированно вызовут улыбку на вашем лице и поднимут настроение.
Именно такому стилю и атмосфере я постаралась обучить генеративную нейросеть.
Работы художника Pil Hwa
Работы художника Pil Hwa
Работы художника Pil Hwa
Работы художника Pil Hwa
Обучение генеративной модели
Генерация описаний
Пример генерации изображения
Серия сгенерированных изображений
Я считаю, что генеративная модель успешной смогла уловить и передать стиль иллюстраций художника Pil Wha на получившихся изображениях. Сохранились мотивы работ с милыми маленькими созданиями и предметами, а также общая стилистика оформления освещения, цветовых палитр и эффект мягкости как небольшого бархатного размытия.
В процессе не обошлось без погрешностей. Модель иногда выдаёт лишние конечности или странные артефакты на некоторых генерациях, но не всегда. Путём множественных проб и многочисленных генераций я добилась вариантов, которые практически идеальны.
Использование модели
Процесс настройки модели включал несколько ключевых этапов.
Сначала был сформирован и подготовлен набор изображений с работами выбранного художника. Затем на основе модели Stable Diffusion XL проводилась её адаптация под нужный стиль с помощью методов дообучения. Для этого использовались техники DreamBooth и LoRA: первая позволила внедрить в модель особенности авторского стиля, а вторая — оптимизировала обучение, снижая требования к ресурсам. Работа выполнялась в облачной среде Kaggle, что обеспечило доступ к необходимым вычислительным мощностям.
Код и датасет
Модель базирована на stable-diffusion-xl-base-1.0
https://drive.google.com/drive/folders/1DnsJAsbqViTmwqjFFDWkKd-zS2GNLplv?usp=sharing
(Примечание: код не содержит абсолютно всех итоговых картинок, так как в реальности было больше генераций и несколько утерь и глюков в процессе работы. Я перегенерировала несколько раз промпты в поисках лучших вариантов.)
