Расписные керамические плитки — это уникальный элемент декора, часто создаваемый вручную для облицовки стен, каминов и печей. Они отличаются разнообразием стилей, от классических орнаментов до современной живописи
Именно на этом стиле я решила остановится, выбирая визуальный язык для обучения модели. Разнообразие узоров даёт простор для различных генераций и экспериментов, что делает плитки идеальных кандидатом для обучения.
Фотографии, взятые для обучения модели
Фотографии, взятые для обучения модели
Для реализации проекта использовалась модель Stable Diffusion XL, дообученная с помощью метода LoRA и DreamBooth на датасете, состоящем из 16 изображений. Все фотографии орнаментов находятся в Public Domain (CC0).
Процесс обучения модели
Обучение проходило в Google Colab. Предварительно, до начала обучения, я установила необходимые для работы библиотеки и загрузила скрипт для дообучения модели Stable Diffusion с использованием метода LoRA и DreamBooth, а также загрузила сам датасет.
Также на этапе подготовки к обучению я заранее задала префикс с триггер-токеном ('izrtile, ceramic ornamental tile, '), который позволял связать визуальный стиль плиток с текстовым запросом. Кроме того, для каждого изображения из датасета создавалась строка, содержащая имя файла и соответствующий текстовый промпт.
Сформированные данные сохранялись в файл формата JSONL, который затем использовался моделью в процессе обучения.
Наконец, этап обучения модели. Чтобы все изображения из датасета поместились в память, они были приведены к размеру 512×512.
Обучение закончено и мы наконец переходим к генерации изображений наших орнаментов!
Итоги
В начале я хотела попробовать создать орнаменты с цветочными мотивами. Если просто написать «blue flowers», модель легко создаст синие абстрактные цветы.
blue flowers, purple vines, yellow ornaments
Далее я перешла уже к генерации конкретных цветов
tulips and vines, electric blue and pink colors, white glaze background / big daffodils, white glaze background, green and yellow vines / yellow sunflower in centre, symmetrical pattern
bright vibrant red gradient pink peaches, white yellow background glaze, floral ornaments around / vibrant red gradient pink peaches, white background glaze, floral ornaments around
После я захотела внедрить в генерации кроме цветов какие-то изображения фруктов, например, персиков. В начале модель превращала фрукты в цветы, но я решила оставить данные генерации, поскольку они также выглядели уникально и хорошо смотрелись в серии с другими изображениями.
На третий раз модель выдала красивое изображение плитки с персиками
big peaches hanging on the tree, colors of peaches, red with yellow gradient, white glaze background, high contrast
apples green colors, white glaze background high contrast, white and yellow floral ornaments / green gradient yellow pears on tree, green leaves, white glaze background high contrast
big red pomegranates on the vine, vibrant green vines and floral ornaments around, white glaze background high contrast
high contrast white glaze background, vines and grape, vibrant green and purple colors / watermelon fruit, purple vines around, pink flowers, white glaze background
После изображений с фруктами я перешла к созданию плиток с птицами. Также как и с генерациями цветов, сначала я попросила модель просто сгенерировать изображение птицы, без конкретного вида, на веточке с цветами.
white and green glaze, floral ornament, orange bird sitting on vine
После чего я начала задавать конкретный вид птицы в промпте, и модель также прекрасно справлялась с генерацией.
yellow and ultramarine blue colors, white glaze background, vines and floral ornament, great tit siiting near flowers
hummingbird near tropical flowers, pink and orange glaze, white glaze background high contrast, vines / spotted woodpecker, dark blue and red glaze, floral abstact ornaments
Также я попробовала создать насекомых: богомола в окружении травы и бабочек, порхающих над цветами.
mantis, vines around, green and yellow glaze, white glaze background / blue bright butterflies, vibrant purple flowers and vines, white glaze background
Также я решила отойти от цветочных узоров и попробовать сделать абстрактные геометрические орнаменты.
abstract geometric tile design, monochrome palette hite and vibrant ultramarine blue, optical illusion, highdetail, sharp edges / abstract geometric tile design, electric purple and yellow glaze
abstract geometric tile design, vibrant pink and ultramarine blue, optical illusion, highdetail, sharp edges / abstract geometric tile design, yellow and cyan, optical illusion, highdetail, sharp edge
Итоговая серия изображений
Нейросеть научилась делать красивые плитки с разными видами орнаментов. Модель сохранена на HuggingFace и её можно опробовать.
В процессе создания проекта использовались: ❁ модель Stable Diffusion XL с использованием метода DreamBooth и LoRA ❁ Upscayl — для улучшения качества генераций ❁ Leonardo AI — для создания обложки проекта
