Концепция проекта
Концепция проекта состоит в идеи создания образов второстепенных и малоизвестных персонажей известных произведений русской и иностранной классики. Мне захотелось создать образы для тех персонажей, кто не удостоился собственных иллюстраций и их образы существуют на бумаге по сей день. За базу обучения нейросетей я взяла личный архив рисунков, скетчей, иллюстраций, работ из художественной школы.
Главная цель проекта — обучить нейросеть в моем стиле (korunets_style) и далее создать желанные образы малоизвестных персонажей популярных произведений классиков русской и зарубежной литературы.
Подборка изображений из датасета
Процесс работы
В процессе работы над промтами я обратилась к нейросети Ministral Ai [1] и задала следующий промт [ты специалист по нейросетям с 10-летним стажем, напиши 25 промтов на английском для создания итоговых изображений для (я загрузила свои рисунки из художественной школы: графика, живопись и скетчи) создания малоизвестных образов персонажей из известных произведений русской и зарубежной классик, пропиши имена и названия произведений, откуда берешь персонажей, вот условия финального проекта (прикрепила файл pdf), учти их всех для результирующих серий изображений].
Созданные промты содержали апострофы и отсутствовали кавычки, а также уточнения моего заданного стиля (korunets_style) данные правки я внесла вручную и получила финальные промты для генераций. Отдельно в каждой ячейке я прописывала по одному промту, но задала по 10 генераций на каждый промт для разнообразия и снижению порога неполучившихся иллюстраций.
Процесс обучения
Сначала установила и подключила все необходимые библиотеки, далее подготовила окружение для обучения и генерации изображений.
Следующим этапом подготовила все данные для дальнейшей работы. Собрала датасет из 100 собственных рисунков и иллюстраций, собрала в папку, папку подгрузила в слот загрузки файлов в проекте на Google Collab в одной директории, чтобы нейросеть во время обучения видела все изображения.
Была взята модель Stable Diffusion XL в основу проекта и обучала ее не через всю модель целиком, а через DreamBooth LoRA. Сделанные действия позволили прикрепить к SDXL своему персонажу на датасете.
промты для генераций собраны в единый файл в конце проекта
Зафиксированные маркеры стиля задала через узнаваемый триггер. Выполнила указание уникального идентификатора стиля персонажей korunets_stye, дабы вызывать именно свой стиль во всех промптах.
Обучение было запущено на разрешении 512 на 500 шагов. В процессе модель скачала веса SDXL и VAE, а затем обучалась, потом сохранила результат в папку korunets_style_LoRA. После обучения подключила LoRA к SDXL и сгенерировала серию изображений блокам из 15-20 промптов. Промт отличаются из-за разного характера произведений и персонажей, но сохранет единый стиль и приближение к моему стилю (korunes_style).
Все сгенерированные иллюстрации сохранила в отдельную папку content/generated_images, после собрала все в архив.
Финальные генерации
Многие генерации вышли необычными и подходящими под стиль произведений. На мой взгляд, в перспективе данные иллюстрации можно продать издательству.
Служанка из Макбета
Осел Дон Кихота
Кухарка из Мёртвых душ
Моряк из Моби Дика
Заключение по проекту
Финальный результат меня порадовал, все получилось по моему запросу. Обученная LoRA-модель позволила сохранить стиль и маркер стиля, и перенести свой стиль в создание иллюстраций для персонажей произведений. Важно отметить, что я стремилась передать узнаваемый образ персонажей с частичными маркерами стиля, миксуя вместе со стилями живописи и графики XIX–XX веков.
Ссылки на инструменты
Stable Diffusion — обучение генеративной нейросети под свой стиль Ministral AI — создание и классификация промтов. [1] Hugging Face — получение уникального токена для обучения нейросети, загрузка полученной модели в Google Collab. Google Collab — написание и запуск всего кода.
