ИДЕЯ
Мы разрабатываем компьютерную 3D игру, в рамках программы 3 курса направления Гейм-Дизайн. Я принимаю участие в проекте как главный художник. В процессе разработки я столкнулся с проблемой, что нашей команде не хватает человека, который будет полноценно закрывать задачи по созданию концепт-артов окружения.
Поэтому для обучения нейросети, я буду использовать датасет с рендерами окружения, состоящими из моих ассетов. Для удобства рендеры были сделаны в режиме Detail Light, чтобы геометрия была более читаемой.
ВАЖНО. Нейросеть в этом случае не является заменой концепт-художника, а лишь инструментом быстрой генерации идей для различных предметов окружения. Финальное видение полностью остается за художниками.
ДАТАСЕТ
РЕЗУЛЬТИРУЮЩАЯ СЕРИЯ ИЗОБРАЖЕНИЙ
Concept art style, bathroom
Concept art style, a medical facility containing a variety of equipment in a retro-futuristic style.
Concept art style, a medical facility containing a variety of equipment in a retro-futuristic style.
Concept art style, living room in retro-futurist style
Concept art style, living room in retro-futurist style
КОММЕНТАРИЙ
По первым двум результатам видно, что датасет, на котором обучалась нейросеть слишком маленький, чтобы выдавать качественный результат. Из схожих деталей можно отметить теплый тон освещения, текстуру базового материала в Unreal Engine (плитка) и отдельные элементы геометрии. Так, например была скопирована форма арки и блока пола.
Слева окружающая среда из датасета, справа вид из окна в сгенерированном изображении
Из интересного, в датасете было всего 2 рендера окружающей среды — ледяной пустоши. И нейросеть при генерации вида за окном учла это и сделала ледяные горы в пасмурную погоду.
ПРОЦЕСС ОБУЧЕНИЯ
Для того, чтобы обучить нейросеть, я полностью следовал материалу в обучающем курсе. В процессе использовал платформу Kaggle. Токен был сгенерирован на сайте Hugging face. В обучающем видео использовался ускоритель GPU P100. Но у меня он вызывал ошибки в коде. Поэтому было принято решение перейти на ускоритель GPU T4 *2. Это исправило ситуацию.
Объём датасета: 25 изображений с разрешением 2048 на 2048 пикселей. Ступеней обучения я выставил 1000, а общее время обучение заняло приблизительно 2,5 часа.
Регулировка стиля
Как я отметил выше, на первых генерациях качество генераций было неудовлетворительным, поэтому я добавил дополнительную ячейку с кодом, который будет регулировать степень влияние моего стиля «concept art style » на финальную генерацию. Опытным путем я пришел к значению 0.6
