Накабаяси Чикуто, «Пейзаж с павильоном у горного озера», 1813 г.
Для обучения генеративной модели я выбрала творчество японского художника — Накабаяси Чикуто (1776–1853гг.). Он являлся одним из главных мастеров «китайско‑литераторской» живописи нандзя и в основном изображал пейзажные сюжеты. В работах Чикуто соединяются китайские мотивы и японский минимализм, за счет чего его стиль становится узнаваемым и привлекательным.
Главный жанр Чикуто — пейзаж: горы, долины, сосны, водопады, туман и холмы. Фигуры людей часто малы и второстепенны, они лишь подчёркивают необъятные масштабы природы.
Целью проекта является обучение генеративной модели стилистике Накабаяси Чикуто, чтобы создавать новые пейзажные композиции в его духе — с туманной атмосферой и сдержанной палитрой, передавая ощущение созерцательности и гармонии с природой.
Фрагменты из датасета творчества Накабаяси Чикуто
Датасет состоит из 40 изображений, которые были отобраны по принципу наиболее выразительных и качественных, так как часть работ не представлена в приемлемом цифровом виде. Далее каждое полотно было обрезано под квадратный формат и загружено в код, для обучения модели.
Процесс обучения
Проект выполнен в Google Colab c помощью видео урока курса. В первую очередь загружаются библиотеки и скачивается тренировочный скрипт для дальнейшей работы.
Установка необходимых библиотек
Из папки с изображениями формируется датасет, а с помощью функции image_grid создаётся предпросмотр первых нескольких работ, чтобы проверить качество и однородность стиля. Для каждого изображения генерируются текстовые подписи с префиксом вроде «painting in the Japanese artist Chikuto style», которые сохраняются в файл metadata.json и используются как промпты во время обучения.
Также в проекте используется Hugging Face для хранения и публикации обученной LoRA‑модели, чтобы её можно было легко скачивать и применять в других средах.
Я подготовила окружение для обучения модели: настроила accelerate, авторизовалась в Hugging Face и установила библиотеку datasets для работы с датасетом.
И наконец запустила обучение LoRA‑модели с моим датасетом, а после загрузила на Hugging Face папку с результатами обучения LoRA‑модели, теперь можно приступать к генерации!
Результат обучения, сгенерированные изображения
Для генераций я выбрала весеннюю тематику — обилие разных цветов, растений и природных мотивов в стиле Накабаяси Чикуто.
prompt: «painting in the Japanese artist Chikuto style, flowers»
Уже после первой генерации стало понятно, что обучение прошло успешно, так как с минимальным объяснением картинки модель великолепно справилась. Акварельные разводы, пастельные тона и манера живописи точно соответствует стилю Чикуто.
prompts: 1. «painting in the Japanese artist Chikuto style, big flower» 2. «painting in the Japanese artist Chikuto style, flowers»
В качестве эксперимента я захотела посмотреть, как модель справится с генерацией лошади, и хотя в датасете таких животных не было, получилось довольно благородно. С девушкой возникли некоторые проблемы, но в таком стиле они не сильно портят впечатление. Зато интерпретация современного города вышла довольно интересной.
prompts: 1. «painting in the Japanese artist Chikuto style, white horse» 2. «painting in the Japanese artist Chikuto style, woman in fashion dress in the modern city»
1 «painting in the Japanese artist Chikuto style, garden with the trees» 2 «painting in the Japanese artist Chikuto style, nature landscape» 3"painting in the Japanese artist Chikuto style, waterfall»
Датасет был довольно темный, поэтому изображения тоже имеют желтоватый фон, даже если в промте задавать белый. Модель создает прекрасные коспозиции, которые отсылают к стилю Накабаяси Чикуто.
prompt: «painting in the Japanese artist Chikuto style, blue flowers on the light background»
В итоге, благодаря обученной генеративной нейросети Stable Diffusion, я изучила особенности творчества Накабаяси Чикуто и мне удалось визуально представить интерпретацию его стиля с помощью генераций.
