Концепция
Главная задача проекта — научить нейросеть эффективно справляться с простой дизайнерской задачей: генерировать конкретные детали одежды. Узор или изображение бабочки на джинсовой ткани.
Мне хотелось сделать что-то крайне типовое и простое, чтобы итоговые генерации предлагали как можно большее количество решений ограниченной задачи, тем самым создавая широкий выбор для того, кто будет применять продукты генерации в работе.
Критерии успеха:
Нейросеть передаёт основные свойства материала;
Узоры и формы бабочек также повторяют материал и вписаны в ткань;
Узоры вариативны, но сохраняют узнаваемые элементы ткани и силуэта бабочки;
Использованные изображения
Изображения взяты из открытых датасетов Kaggle с лицензией CC0: Public Domain
Изображения подготовлены к работе и переведены в формат 1:1
Генерации
Для обучения модели был использован код-шаблон из материалов курса, местами настроенный под конкретные задачи.
Благодаря единообразию входных данных — нейросеть довольно быстро научилась правильно визуализировать промт и работать с его вариативностью.
Для того, чтобы нейросеть генерировала непосредственно принт/вышивку бабочки на джинсах — я включила в промт упоминания текстур, тканей и, конечно, слово pattern.
С добавлением таких небольших изменений получилось намного проще генерировать конкретно то, что требовалось, а не просто бабочку на джинсах как на примере.
Промт примера: «butterfly on jeans up-close, detailed, white»
«butterfly on jeans up-close, detailed texture cloth, white, small pattern on plain monochrome blue»
«butterfly on jeans up-close, detailed texture cloth, white, monochrome blue», «butterfly on jeans up-close, detailed texture cloth, white, big white detailed print»
Главной задачей было сохранить ощущение материала и возможность генерировать паттерны определенного стиля и формы, не теряя тематического аспекта.
Вместе с тем вариативность результата оказалась завязана на количестве деталей — чем детальней требуется бабочка, тем больше места она будет занимать.
И наоборот — минималистичные формы чаще встречались при упоминании в промте узора.
«butterfly on jeans up-close, detailed texture cloth, white, gracious big wings»
«butterfly on jeans up-close, detailed texture cloth, white, small butterfly»
«butterfly on jeans up-close, detailed texture cloth, white, big white detailed print», «butterfly on jeans up-close, detailed texture cloth, white, several butterfly patterns»
«butterfly on jeans up-close, detailed texture cloth, white, big white detailed print»
«butterfly on jeans up-close, detailed texture cloth, white, small butterfly», «butterfly on jeans up-close, detailed texture cloth, white, textured wings»
Анализ генераций
Так как главной задачей было выдержать основные характеристики принта — анализ будет фокусироваться на общей картине итоговых генераций со ссылкой на выше оговоренные критерии успеха.
Текстура и свойства ткани остаются постоянными. Вне зависимости от сложности и/или количества попыток узоров — джинсовая ткань узнается. Нейросеть успешно передаёт основные качества джинсов;
Бабочки успешно узнаются, рисунок выполнен в таком же плотном материале, как и сами джинсы, что нейросеть сохраняет. Также генерации понятно адаптируют силуэт бабочки под особенности принта;
Вариативность исполнения итоговых дизайнов не нарушает описанных выше пунктов и при этом предлагает достаточно разнообразный подход к решению задачи. Присутствуют разные формы, уровни детализации, выполненные в единой тематике;
Использованные нейросети
Stable Diffusion 1.5 — использована для процесса генерации
BLIP — создание подписей к изображениям
LoRA — обучение стилю и основным параметрам изображенного на исходниках
