Обучение генеративной модели на творчестве Г. Р. Гигера
Концепция
Целью проекта было обучение нейросети, способной понимать и воспроизводить художественные стили знаменитых художников. Нейросеть учится на подготовленном наборе данных, состоящем из картин художника, анализирует уникальный творческий стиль и пытается его воссоздать.
В данном проекте в качестве основы для обучения нейросети я выбрала работы швейцарского художника, знаменитого своими мрачными сюжетами и с узнаваемым в поп-культуре стилем — Ганса Рудольфа Гигера.
Мне показалось интересным для данного проекта взять именно творчество Гигера из-за объединения механического и человеческого (биомеханики) на его картинах, в чем можно провести интересную параллель с искусственным интеллектом.
Датасет
«Полтргейст», Ганс Рудольф Гигер, 1985
Для датасета были собраны картины Гигера, с главным фокусом на типичные для художника изображения антропоморфных существ и существ с механическими частями тел.
«Полтргейст — Примитивное создание», Ганс Рудольф Гигер, 1985
«Кармен», Ганс Рудольф Гигер, 1989
Все работы Гигера были обрезаны в соотношение 512Х512 в качестве подготовки изображений для обучения нейросети.
«Набережная в дыму», Ганс Рудольф Гигер, 1985
Процесс обучения
Инструменты:
1. Google collab — написание кода
2. Stable diffusion — генеративная модель для обучения
3. Hugging face — получение токена
Часть кода по обучении нейросети — скрин экрана
Первым шагом работы была установка библиотек. Далее был загружен подготовленный вручную датасет из картин Гигера.
Часть кода по обучении нейросети — скрин экрана
Важной частью для работы нейросети и ее понимания была генерация промптов к загруженным изображениям.
Код для обучения модели и генерации изображений — скрин экрана
Полноценный код можно увидеть по ссылке предоставленной ниже, а сама модель доступна на Hugging Face.
Ссылка на блокнот с кодом
Модель на Hugging Face
Применение модели
1. «moscow, russia»; 2. «times square, new york»
Нейросеть очень удачно и четко передает стиль Гигера, но не передает промпты, далекие от типичного творчества художника. Так, в экспериментальных запросах с локациями в промпте, результат ярко отображает стиль Гигера, но не указанный промпт.
1. «a castle»; 2. «skyscraper»
«blue skeleton floating»
Нейросеть отлично справляется с мрачными сюжетами, скелетами и монстрами.
1. «an animalistic giant burning»; 2. «monstrous animal on a hill»
Нейросеть изображает очень ярких монструозных существ, четко отображающих в своей сути стиль Гигера.
«three monsters fighting»
«a fluffy sheep»
Также меня интересовало попробовать нетипичный сюжет в стиле Гигера. Изображение с промптом «a fluffy sheep» удачно сохранила в себе мрачность работ Гигера и интересную текстуру на шерсти, при этом четко отобразила животное.
«a human»
В случае с запросом изобразить людей, модель автоматически отображает биомеханических людей, лишь с отдаленной человеко-подобностью, но типичной творчеству Гигера.
«a machine»
Изображение с простым промптом «machine» («машина») не так сильно отличается от «человека», изображенного в стиле Гигера.
1. «a portrait of a lady»; 2. «a self-portrait by artificial intelligence»
Интересно, что первое получившееся наиболее человечное изображение получилось с промптом «a self-portrait by artificial intelligence». Также, упоминание «lady» благодаря подобранным изначально изображением выдает человечные лица и фигуры, в отличие от просто «human».
1. «first out of seven stages of a human transforming into a machine»; 2. «last out of seven stages of a human transforming into a machine»
Нейросеть очень четко передает свойственную Гигеру «биомеханическую» живопись, т. е. сочетает человеческие черты с элементами механики, создавая кошмарные образы.
«forth out of seven stages of a human transforming into a machine»
Вывод
Работа нейросети полностью зависит от ее основы, которой является человеческое творчество. Она быстро анализирует и создает новые работы, которые копируют детали заложенного в ее основу и собирают из таких деталей изображение из промпта.
Нейросеть может быть интересным инструментом для экспериментов с изображением или использована как референс для вдохновения, основа для нового творчества.
При этом, нейросеть остается инструментом и не может работать без основы, созданной ранее человеком.
Ссылки
Источник изображений: Ганс Рудольф Гигер — работы // Артхив URL: https://artchive.ru/hansruedigiger/works
