Обучение генеративной модели на основе концептов Павла Брешке-Чижевского
КОНЦЕПЦИЯ
В производстве современных игр часто прибегают к помощи художников по концепту. Эта профессия требует визуальной насмотренности, ведь чтобы придумать нечто новое, нужно совместить несколько готовых идей.
Я подумала, что ИИ интересно применить в дизайне именно транспортных средст, так как машины в определённом сеттинге они могут быть основаны на реально существующих моделях.
Я взяла концепты художника Павла Брешке-Чижевского, старший дизайнер концептов автомобилей для игры «Киберпанк 2077» в качестве датасета.
ИСХОДНЫЕ ИЗОБРАЖЕНИЯ
ВИЗУАЛЬНЫЙ СТИЛЬ
Все концепты Павла отличает оточенный силуэт, опираясь на канонический киберпанковский сеттинг, он добавляет динамики корпусу автомобилей, особое внимание уделяет деталям и дизайну шин.
Датасет
Код проекта
«car in CYBERPUNK style, fast car»
«car in CYBERPUNK style, blue sport car»
«car in CYBERPUNK style, super fast race car»
«car in CYBERPUNK style, aircraft»
«car in CYBERPUNK style, mercedes-benz» «car in CYBERPUNK style, maybach» «car in CYBERPUNK style, LADA»
«car in CYBERPUNK style, yandex taxi» «car in CYBERPUNK style, minivan toyota»
ПРОЦЕСС ДООБУЧЕНИЯ
В проекте, я дообучила генеративную нейросеть Stable Diffusion XL с использованием методов DreamBooth и Lora.
- Я привела картинки из датасета в нужный формат (512×512) и загрузила в программу.
- Создала пользовательские подписи к загруженным изображениям с помощью BLIP.
- Дообучила модель Stable Diffusion с Hugging Face максимум на 500 шагах.
- Сгенерировала изображения.
«car in CYBERPUNK style, truck volvo»
«car in CYBERPUNK style, truck volvo»
АНАЛИЗ ИЗОБРАЖЕНИЯ
Изображения передают атмосферу и эстетику киберпанка концепт-арта. Однако, встречаются повторяемые артефакты в области колес, нарушения симметрии. Еще, с разных сторон концепты выглядят не одинаково. Одной из получившихся характеристик является динамичность элементов и добавление футуристичных деталей, характерных для киберпанка. Важно отметить, что работы Павла отличаются от обычного киберпанк промта внутри нейросети Stable Diffusion.
«car in CYBERPUNK style, big car stands in the field»
«car in CYBERPUNK style, 6 wheel SUV driving on the beach»
«car in CYBERPUNK style, old car under the tree» «car in CYBERPUNK style, car in the city»
ВЫВОДЫ
Чтобы избавиться от нейронных артефактов, и добиться точности силуэта, я опиралась на известные модели автомобилей. Таких как: Мерседес, Лада, Майбах и т. д. Не получилось в полной мере избавится от неточности в конструкции автомобилей, есть визуальные артефакты. Получилось сгенерировать серию работ отличающихся от по композиции. Для генерации некоторых частей кода я использовала чат GPT.
