Концепция
Ёситака Амано — японский художник, чьи работы сразу узнаются по утончённой, почти воздушной эстетике. Его стиль сочетает в себе элементы японской графики, ар-нуво, фэнтези и аниме, создавая образы, которые кажутся одновременно хрупкими и величественными. В его палитре часто встречаются мягкие, текучие оттенки, контрастирующие с изящными линиями и декоративной роскошью деталей.
Иллюстрации Ёситаки Амано производят впечатление чего-то сновидческого и почти нереального. Персонажи в его работах выглядят эфемерными: вытянутые силуэты, плавные контуры, развевающиеся волосы и ткани создают ощущение движения и легкости. При этом каждая работа наполнена множеством тонких декоративных элементов, которые не перегружают изображение, а, наоборот, делают его ещё более цельным и завораживающим.
И вот, просматривая визуальные референсы в поисках вдохновения, я особенно сильно зацепился за работы Ёситаки Амано. В его стиле есть редкое сочетание изящества, фантазийности и художественной свободы, которое хочется не просто рассматривать, а попробовать воспроизвести с помощью генеративной модели, чтобы научить её создавать иллюстрации в похожей эстетике.
Исходные изображения
Для работы над проектом было отобрано 200 работ художника.
Часть исходных изображений
Обучение модели
На первом этапе была собрана папка с изображениями работ Ёситаки Амано. Все изображения были сохранены в директорию.
Далее была выполнена предварительная проверка датасета: изображения считывались через библиотеку PIL, после чего из них собиралась сетка предпросмотра.
После подготовки изображений был загружен BLIP — модель для автоматического описания изображений.
Перед запуском обучения была выполнена предварительная настройка среды: установлена корректная UTF-8 кодировка для ноутбука, затем инициализирована конфигурация Hugging Face Accelerate, необходимая для запуска train-скрипта, и выполнена авторизация в Hugging Face Hub для доступа к используемым моделям.
Далее шла тренировка модели.
Результат обучения
В качестве первых промптов для проверки того, насколько хорошо нейросеть уловила нужную стилистику, я решила сгенерировать серию изображений фантазийных персонажей. Такой выбор неслучаен: в работах Ёситаки Амано именно персонажные иллюстрации занимают центральное место, а собранный для обучения датасет также состоял преимущественно из подобных образов. Поэтому именно через генерацию таких изображений было удобнее всего оценить, удалось ли модели передать характерные черты его художественного стиля.
Промпт «yoshitako amano art style, femme fatale in black lace lingerie under a sheer silk robe, moody candlelight, elegant pose, soft watercolor, delicate ink lines»
Промпт «yoshitako amano art style, ethereal fantasy warrior with flowing hair, moonlit landscape, delicate watercolor»
Видно, что генеративная модель в целом смогла уловить ключевые особенности стиля Ёситаки Амано — вытянутые, изящные силуэты, мягкие, текучие линии, а также характерную «воздушность» образа. Особенно хорошо передается общее настроение иллюстрации: персонаж выглядит эфемерным, немного отстраненным, с приглушенной, почти монохромной палитрой и акцентом на контраст света и тени. Также заметно, что модель воспроизводит характерную декоративность — тонкие детали одежды, полупрозрачные ткани и общее ощущение легкости композиции.
Эксперименты
Далее я попытался сгенерировать более непривычные силуэты для этого датасета и работ художника.
Здесь сразу видны недочеты датасета, т. к. он в большинстве своем включал лица людей.
В остальном мне понравилось как обучилась модель, особенно передача стиля в промптах с людьми.
Генеративные модели
Для дообучения и создания изображений использовался Stable Diffusion.
