Концепция
Главная задача проекта — обучить нейросеть на собственных работах, чтобы сохранить авторский стиль, но при этом в разы быстрее выдавать итерации концептов. Это позволяет оперативно показывать заказчику разные варианты в одной стилистике, не тратя время на отрисовку каждого эскиза с нуля.
пример моего дизайна
Сгенерированные изображения используются не только как финальные концепты, но и как рабочий материал на разных этапах проектирования. Модель отлично справляется с поиском случайных масс и силуэтов, которые ложатся в основу новых идей или становятся базой для последующего фотобашинга. Это упрощает переход от набросков к детальной проработке.
Датасет
Для обучения использовались авторские рендеры. На их основе модель усвоила ключевые приемы работы с формой и светом, что позволяет генерировать новые объекты, не теряя узнаваемости исходного стиля, некоторые из них можно увидеть ниже.
примеры некоторых изображений
Использование генеративной модели
Описание процесса обучения
В проекте использовался Colab-блокнот для обучения модели по технологии SDXL DreamBooth LoRA: настраивался GPU, устанавливались библиотеки и задавались параметры.
Подготовленный датасет (изображения, обрезанные до квадратного формата) загружался в рабочую папку. Далее генерировались изображения общего класса, выполнялась подготовка данных и запускалось обучение LoRA — набора дополнительных параметров, адаптирующих SDXL под заданный стиль.
Количество шагов обучения было увеличено до 900 для более точной передачи визуальных особенностей. Изображения для датасета подбирались вручную, а в генерации использовался кастомный промпт «in the style of my_SCI_FI».
После обучения LoRA загружалась на Hugging Face и использовалась для генерации новых изображений.
Использование нейросетей
В работе применялся Colab-блокнот на базе SDXL DreamBooth LoRA.
Дополнительно использовались ChatGPT / Perplexity для решения проблем с кодом и разработки концепций, а также нейросети для повышения качества изображений.
Из-за генерации в квадратном формате в ряде случаев требовалась дополнительная постобработка.
Результаты генераций
Оружия
Роботы
Перонажи
Доработка
Из итоговых генераций я выбираю наиболее удачные варианты и дорабатываю их. С помощью Nano Banana, дополнительных промптов или вручную я вношу точечные изменения в дизайн, чтобы финальный концепт полностью соответствовал моей задумке.
Итог
Результаты серии подтверждают, что модель полностью усвоила визуальный стиль: характерный серый рендер, мягкую пластику и работу со светом. Нейросеть генерирует новые объекты — от персонажей до сложных девайсов — полностью в рамках заданного стиля. Благодаря обучению на 900 шагах удалось добиться чистоты поверхностей и точности в деталях. Основной итог — существенное сокращение времени на поиск формы и создание дизайна. Использование кастомной LoRA позволяет быстро перебирать варианты и получать готовую визуальную базу, сохраняя узнаваемый почерк без необходимости ручного моделирования каждого объекта с нуля.
Для обучения и генерации: Использовалась модель Stable Diffusion XL (SDXL) с обучением кастомной LoRA-сети на собственном датасете. Ссылка на базовую модель SDXL.
Для постабработки: Использовался инструмент Nano Banana и дополнительные уточняющие промпты для корректировки деталей и освещения.
