Обучение Stable Diffusion под авторский стиль
В абсолютный восторг меня приводят яркие, простые иллюстрации с милыми персонажами, градиентами и интересными деталями.
Именно поэтому для проекта я решила взять за основу свою любимую художницу из социальных сетей и обучить модель создавать изображения с ключевыми деталями из ее стиля.
Характерные черты стиля
Стиль отличается яркой, мыльной рисовкой с использованием характерных персонажей. Так же картинки зачастую связаны друг с другом цветовой палитрой и использованием звездочек и градиентов. Именно этим деталям я и обучала модель.
исходные картинки автора
Для обучения модели я собрала датасет из приблизительно 20 картинок, где наиболее ярко выражены ключевые элементы, которые я хочу использовать в итоговых генерациях. При сортировке я старалась отбирать по возможности менее детализированные изображения, чтобы модель смогла более точно повторить нужные детали.
Процесс обучения модели
Для обучения модели я работала в Kaggle, Fine-tuning Stable Diffusion XL и с методами DreamBooth, LoRA.
Для обучения использовалось приблизительно 20 квадратных картинок, разрешение — 512×512 px.
При первых попытках генерации изображений приходилось менять разрешение исходных файлов с целью найти баланс резкости и точности повтора стиля. В итоговых изображениях использовались параметры 0.7 и 0.5 для получения нужного результата.
На удивление модель достаточно точно считывала даже короткие промты, поэтому использование уточнений цветовой палитры и деталей практически не требовалось.
Посмотреть ноутбук с кодом можно по ссылке.
Не очень успешные, но смешные картинки
попытки обучить модель
Серии сгенерированных картинок
Вдохновившись ярким и простым стилем художницы я решила на основе ключевых приемов из ее иллюстраций собрать свою небольшую вселенную персонажей.
персонажи
Промты: — a white cat sits on a gradient star, background without details — a white rabbit sits on a gradient star, background without details — a black cat sits on a gradient star, background without details
Я сделала несколько серий, где персонажи соединены какой-то общей тематикой. Например, с едой, с развлечениями, на природе.
серия персонажей на природе
Промты: — small white rabbits in a cosmic flying among the gradient stars — a white cat swims in a gradient lake with flowers — white rabbits walk along the road under the lanterns and the gradient starry sky
серия персонажей с едой
Промты: — a black cat and a white cat are sitting on a blue striped blanket on the grass with a gradient fruit basket — white cats are sitting at a table with a striped blue tablecloth and eating a gradient cake
серия персонажей развлекательного характера
Промты: — white cat on gradient TV and with stars on the background — black cat, white cat, rabbit are standing behind blue home with little garden — white rabbits ride on a merry-go-round under a starry gradient sky
Дополнительные элементы
Создав своих персонажей я решила переложить их вселенную на бренд, к которому они могли бы относиться. Так, дополнительно я сгенерировала серию изображению к упаковке лимонадов и сделала немножко носителей с картинками из предыдущих серий.
серия картинок для упаковки
Промты: — a white rabbit under an arch sits on a light green background with stars and small strawberries all over the background — a white cat under an arch sits on a light blue background with stars and small dark blue raspberries all over the background — a black cat under an arch sits on a light pink background with stars and small grapes all over the background
баночки
открыточки
марки
