[01] КОНЦЕПЦИЯ
Проект The Art of BROM посвящен до-обучению нейросети Stable Diffusion под создание работ в стиле художника Джеральда Брома.
Джеральд Бром (Gerald Brom), известный просто как Бром — американский художник, писатель и бывший концепт-артист, работающий в жанрах тёмного фэнтези, готики и хоррора.
Слева: «Черная моль», Бром, 2018; справа: «Похититель душ», Бром, 2017
Большинство его работ - изображение различных персонажей в довольно мрачном антураже в жанре темного фэнтези с элементами готики, сюрреализма и викторианского ужаса.
Игра света и теней в его работах, а также поразительная детализация словно погружают зрителя в полную мистики и красоты старую сказку.
Слева: «Леди Бладстоун», Бром, 2018; по центру: «Демоница», Бром, 2017; справа: «Проклятье черного меча», Бром, 2016
Из важных особенностей работ американского художника можно отметить:
Использование преимущественно мрачной гаммы в сочетании с интересным визуальным приёмом — подсвечивание или свечение персонажа.
Виртуозная игра с анатомией, придающая индивидуальный характер каждому персонажу, и невероятная детализация.
Работа с цветовыми и смысловыми контрастами.
Окружение: оно часто прописано до мелочей и создаёт атмосферу, необходимую для раскрытия героя.
Слева: «Суд», Бром, 2016; по центру: без названия, Бром, 2015; справа: без названия, Бром, 2016
Наиболее известен Бром серией невероятно атмосферных иллюстраций к собственной книге — «Потерянные боги» (The Lost Gods), основными героями которой являются антропоморфные боги и демоны.
Эти изображения не просто дополняют сюжет, а становятся неотъемлемой его частью.
Серия иллюстраций к книге Брома «Потерянные боги»
Серия иллюстраций к книге Брома «Потерянные боги»
[02] ПРОЦЕСС ОБУЧЕНИЯ
Всего для обучения нейросети я взяла 54 работы Брома, которые были предварительно приведены к разрешению 1024×1024 и отредактированы.
В качестве рабочей среды я выбрала Google Colab, так как там есть гарантированная возможность подключиться к GPU, хоть и на очень ограниченный промежуток времени.
В качестве подготовительного этапа были проверка GPU, а также установка всех необходимых для обучения модели библиотек и скриптов (ditsandbytes, diffusers).
Фрагмент кода
Следующим этапом было создание локальной директорий для хранения изображений, которые впоследствии были загружены на платформу.
Фрагмент кода
Фрагмент кода
Далее с помощью модели BLIP были созданы описания изображений и префикс «artwork in BROM style».
Фрагмент кода
После этого я создала личный кабинет на платформе Hugging Face, сгенерировала токен и приступила непосредственно к обучению модели с использованием LoRA. Весь процесс при заданных параметрах занял два с половиной часа.
Выставленные параметры были следующими: —resolution = 1024 —train_batch_size = 2 —max_train_steps = 500 —checkpointing_steps = 250
Фрагмент кода
Обученная модель затем была загружена на Hugging Face Hub для удобства дальнейшего использования.
После этого я приступила к первым генерациям.
Prompt: «artwork in BROM style, a spider-like woman with a knife in each hand»
Мои первые пробы генерации можно поделить на 3 блока:
- Необычные фантастические существа/монстры - Животные - Персонажи
Так как в использованном для обучения модели датасете превалируют иллюстрации персонажей, лучше всего нейросеть справилась именно с ними.
В случае же с генерацией животных и нечеловеческих существ нейросеть справлялась значительно хуже: более-менее сохранялись цветовая гамма и стиль рисования, присущие автору, но совсем терялась композиция, часто происходило непопадание в довольно специфическую стилизацию Брома, из-за чего большинство изображений выходили довольно нелепыми (особенно с животными).
Prompt [1]: «artwork in BROM style, a dragon on the top of the mountain»
Prompt [2]: «artwork in BROM style, a unicorn in the forest»
Prompt [3]: «artwork in BROM style, a wolf standing on the edge of a cliff»
Prompt [1-2]: «artwork in BROM style, a towering, jackal-headed figure with obsidian-black fur, golden eyes that pierce the veil of death, and a skeletal frame draped in tattered funeral linens»
Prompt [3]: «artwork in BROM style, devil sitting on the throne in Hell»
Prompt [4]: «artwork in BROM style, a woman with white hair and a white dress stands in front of a black cat»
Prompt [6-7]: «artwork in BROM style, a smith-god of molten bronze, his skeletal hands hammering the sun into existence, his forge-heart burning behind ribs of blackened iron»
[03] РЕЗУЛЬТИРУЮЩАЯ СЕРИЯ ИЗОБРАЖЕНИЙ
Опираясь на результаты первых генераций и особенности творчества автора в качестве итоговой серии я решила попробовать создать иллюстрации известных богов различных культур в стиле Брома, как если бы автор делал это для собственной книги.
Велес
