Обучение генеративной нейросети под стиль Хаяо Миядзаки и Studio Ghibli
Идея проекта
Цель проекта — обучить модель Stable Diffusion генерировать изображения в узнаваемом стиле японского режиссера и художника Хаяо Миядзаки, а также создавать персонажей, характерных для его работ. Миядзаки известен своими мягкими, акварельными фонами, выразительными персонажами и атмосферными сценами природы.
Исходные изображения
Другие изображения можно посмотреть тут: https://drive.google.com/file/d/16m0GlapRO2Wrn4C_QKVQBVEX73kzAywz/view?usp=drive_link
Применение генеративной модели
Для начала работы потребовалось загрузить всё необходимое.
Далее я подгрузила все исходные изображения в одну папку и упаковала в зип-архив, для того чтобы отправить его на Google Диск. Таким образом, подготовка для обучения нейросети была завершена.
Следующим моим шагом была регистрация на сайте Hugging Face, и я подключила сервис к проекту.
Закончив обучение, я сохранила полученную модель в своём профиле Hugging Face, после чего успешно использовала её для генерации других изображений.
Результат
Для начала я ввела промты, которые были более свойственны самой студии и самому Miyazaki. Результат меня вполне удовлетворил, несмотря на некоторые ошибки нейросети.
Сгенерированные изображения
Несмотря на некоторые ошибки, на сгенерированных нейросетью изображениях сохранились ключевые черты, присущие оригинальным работам: акварельная мягкость, уютная атмосфера и внимание к деталям. Особенно заметно это на изображениях с природными пейзажами — там сохраняется характерная палитра пастельных тонов и композиционная гармония, типичная для анимационных раскадровок. Также унаследованы общие мотивы: сельская идиллия, горные долины, необычная архитектура и техника.
