AI May Cry | Обучение генеративной нейросети
Концепция проекта
Начало учебного курса по Нейросетям удачно совпало с началом моего изучения мира Devil May Cry, что и повлекло за собой создание проекта на тему одноимённой игры.
Целью проекта является обучение генеративной нейросети Stable Diffusion для создания образа Данте из Devil May Cry, потому что этот персонаж — не просто герой игры, а культурный архетип, который объединяет в себе анархизм, харизму, трагедию и иронию. В эпоху цифрового искусства и ИИ, мне стало интересно, насколько обученная мной нейросеть сможет передать не только визуальный стиль, но и дух персонажа?
Надо отметить, что «донором» к генерациям стали снимки именно из третьей части игры.
Кто такой Данте из Devil May Cry?
Devil May Cry — это культовая серия из шести экшен-игр от Capcom, в центре которой — охотник на демонов по имени Данте. Первая игра вышла в 2001 году, и с тех пор серия стала одним из главных представителей жанра stylish action — акцент в бою делается не только на эффективность, но и на зрелищность, ритм и креативность.
«Данте главный герой серии Devil May Cry. Сын демона Спарды и земной женщины Евы. У него есть старший брат-близнец Вергилий. Данте — охотник на демонов; он гоняется за теми, кто убил его мать и поработил брата».
Как гласят источники, дизайнер игры Devil May Cry Хидэки Камия задумывал Данте как «крутого и стильного» мужчину и при создании брал за основу образ главного героя манги Cobra. В ответ на критику игры Devil May Cry 2 (2003), где Данте стал более молчаливым и серьёзным, Capcom переосмыслила его личность в приквеле «Devil May Cry 3: Dante’s Awakening» (2005), показав молодого и самонадеянного Данте. Образ Данте в Devil May Cry 3, в сравнении с другими частями, имеет свои сходства и отличия, но это не делает менее выразительным визуальный стиль. Ключевые элементы включают красную куртку, белые волосы, полуоткрытую грудь, резкие движения и характерный сарказм героя. Персонаж сочетает в себе черты бунтарства и трагизма, а также проявляет одновременно харизму и гнев. При этом его внешний облик и манера поведения выступают средством выражения боли, протеста и стремления к свободе.
Обучение генеративной сети Stable Diffusion
Датасет я составила из пятнадцати самых качественных и, возможно, самых понимаемых нейросетью изображений Данте.
Обучение нейросети было сделано на основе учебного предоставленного нам файла. Одними из первых действий была установка ключевых библиотек и скачивание скрипта:
Ниже будут представлены получившиеся изображения и ссылка на код моего проекта, для подробного ознакомления.
Подводя итог, не смотря на то, что изображения получились с артефактами, в целом, обученная мной нейросеть неплохо передела общую атмосферу игры, стилевые особенности персонажа и его дух.
Описание применения генеративной модели
1. Учебный код проекта использовала в качестве примера обучения нейросети 2. Обучение модели: BLIP image captioning base от Salesforce применяла для генерации описаний к изображениям (Image Captioning) 3. Дообучение модели: Stable Diffusion XL с использованием техники LoRA (Low-Rank Adaptation) применяла для генерации изображений 4. Библиотеку от Hugging Face — Diffusers, я использовала для обучения кастомной версии SDXL
