Тишина кругом. Проникают в сердце скал Голоса цикад.
— Мацуо Басе, японский поэт
Изображения, использованные для обучения модели
Кобаяси Киётика (1847 — 1915) — японский художник второй половины XIX века, мастер гравюры укиё-э. Известен цветными гравюрами на деревянных блоках и иллюстрациями к газетам.
Стиль этого художника представляет собой тонкое соединение традиционной японской гравюры с внимательным наблюдением за повседневной жизнью города и природы. В его работах центральную роль играет не сюжет, а состояние среды. Композиции строятся вокруг атмосферы: пространство упрощено, детали сведены к минимуму, а сцены словно застывают в тихом, созерцательном равновесии. Зритель ощущает дистанцию, будто наблюдает происходящее со стороны, без вовлечённости, через слой времени или воздуха.
Изображения, использованные для обучения модели
Цветовая палитра сдержанная и ограниченная: используются приглушённые, часто почти монохромные оттенки с редкими акцентами. Вместо ярких контрастов цвета художник предпочитает тонкие градиенты и плавные переходы, создающие ощущение глубины и воздуха. Атмосферные эффекты играют важную роль — туман, дождь, снег или дымка смягчают контуры, растворяют формы и объединяют элементы сцены в единое целое. Поверхности, такие как вода или мокрая земля, часто отражают свет, усиливая ощущение влажности и тишины.
Изображения, использованные для обучения модели
Изображения, использованные для обучения модели
Одной из ключевых особенностей является работа со светом. Источники освещения, такие как фонари, окна или отражения на воде, становятся главными визуальными акцентами. Свет мягкий, рассеянный, часто локальный, и почти всегда противопоставлен глубокой тени. За счёт этого возникает выразительный контраст, в котором объекты и фигуры читаются как силуэты — тёмные, обобщённые формы без детализации. Люди, если они присутствуют, не являются центром композиции, а лишь частью общей светотеневой структуры.
Мне близка идея, что главным героем изображения может быть не объект или человек, а состояние — момент между днём и ночью, ощущение влажного воздуха, слабое свечение в темноте. В этих сценах есть сдержанная эмоция и спокойствие, которые не навязываются, а постепенно раскрываются при внимательном взгляде.
В этом проекте мне было важно передать атмосферу уединённости и наблюдения, где человек является лишь небольшой частью окружающего пространства. Я стремилась подчеркнуть контраст света и тени, упростить формы и использовать ограниченную цветовую палитру, чтобы внимание сосредотачивалось на настроении сцены. Также я уделяла внимание таким элементам, как отражения, туман и искусственное освещение, поскольку именно они формируют ощущение глубины и среды.
Кроме того, мне было важно сохранить ощущение дистанции — будто зритель наблюдает происходящее со стороны. Через композицию, пустые пространства и минимализм деталей я старалась передать тишину и статичность, в которых даже небольшой источник света или фигура человека становятся значимыми.
Обучение Stable Diffusion
В работе реализуется дообучение генеративной модели Stable Diffusion XL под художественный стиль конкретного автора — Kobayashi Kiyochika. Для дообучения используется набор изображений работ художника Kobayashi Kiyochika. Источник данных: изображения загружены с Wikimedia Commons; все изображения находятся в public domain; использование допустимо для учебных и исследовательских задач.
Сначала я скачала подготовленный датасет с диска и привела изображения к единому формату. Это включало выравнивание размеров, обрезку при необходимости и приведение к одинаковому разрешению, чтобы модель обучалась на однородных данных. После этого я внимательно просмотрела исходные изображения, чтобы лучше понять характер стиля: как распределяется свет, какие используются цвета, как выглядят силуэты и композиции. Этот этап был важен для осознания того, какие именно признаки модель должна усвоить в процессе обучения.
Скачиваем датасет с диска
форматируем изображения (одного размера и тд)
Далее я использовала заранее скачанную предобученную модель и приступила к настройке параметров дообучения. Были выбраны подходящие гиперпараметры, такие как размер батча, количество эпох, скорость обучения и другие настройки, влияющие на качество итоговой модели. После этого я запустила процесс дообучения на подготовленном датасете. По завершении обучения полученную модель я сохранила не только локально, но и загрузила на платформу Hugging Face, предварительно создав там отдельный репозиторий. Это позволило удобно хранить модель и иметь к ней доступ в любой момент без привязки к конкретному устройству.
(1) настраиваем параметры для дообучения (2) запускаем дообучение на нашем датасете с нашими параметрами
сохраняем дообученную модель на hugging face (чтобы удобно хранить модель не локально)
Затем я снова скачала дообученную модель уже с Hugging Face и перешла к этапу тестирования. Сначала я проверила генерацию на одном базовом промпте, чтобы убедиться, что модель корректно воспроизводит нужный стиль. После этого я решила упростить процесс массового тестирования и начала экспериментировать с наборами промптов. Для этого я оформила промпты в виде списков и вынесла процесс генерации в отдельную функцию, которая принимает список описаний и автоматически создаёт изображения.
тестовая генерация изображения с первым промтом
создание функции для генерации пачки промптов с одинаковыми параметрами
В результате я смогла вызывать эту функцию для разных наборов промптов и получать сразу серию сгенерированных изображений. Все результаты автоматически сохранялись в отдельную папку, что упростило их последующий анализ и сравнение. Такой подход позволил быстрее тестировать идеи, варьировать формулировки промптов и оценивать, как модель справляется с разными типами сцен.
Создание природных пейзажей
В первой части проекта я сосредоточилась на генерации простых природных сцен, близких по структуре к тем, что присутствовали в обучающем датасете. Это были лаконичные пейзажи с минимальным количеством объектов: вода, берег, деревья, редкие постройки и небольшие фигуры людей. Такая постановка задачи позволила модели лучше уловить базовые принципы стиля и воспроизвести его без лишних усложнений.
В результате удалось достаточно точно передать общее настроение и ключевые художественные приёмы. Особенно хорошо воспроизводились силуэты людей, ограниченная цветовая палитра и работа со светом, включая мягкие источники освещения и отражения. В некоторых случаях заметна недостаточная проработка деталей и упрощённость форм, однако это не разрушает общее впечатление — атмосфера и характер стиля в целом переданы корректно.
Промпты:
(1) in the style of kiyochika_style, night sea with distant ships, small glowing lights on horizon, deep dark water
(2)in the style of kiyochika_style, pier extending into dark sea, single lantern, empty atmosphere, calm but eerie mood
Промпты:
(1) in the style of kiyochika_style, bridge over river at night, single lantern, deep shadows swallowing the edges
(2) in the style of kiyochika_style, frozen lake at night, smooth ice reflecting moonlight, distant dark forest
(3) in the style of kiyochika_style, mountain village during storm, wind-blown trees, flickering lights in windows, dramatic sky
(4) in the style of kiyochika_style, coastal lighthouse in heavy mist, barely visible beam, dark sea, minimal composition
Промпты:
(1) in the style of kiyochika_style, valley with tall wild grass, morning fog, barely visible peaks in background
(2) in the style of kiyochika_style, lone path through high grass leading to distant mountains, misty atmosphere
Промпты:
(1) in the style of kiyochika_style, fishermen silhouettes at sunset, nets, low horizon light, reflective water surface
(2) in the style of kiyochika_style, abandoned coastal village, dark sea behind, broken boats, fading evening light
Промпты:
(1) и (2) in the style of kiyochika_style, three travelers resting by roadside shrine, dim lantern light, surrounding darkness
(3) in the style of kiyochika_style, solitary figure standing on cliff edge, wind, vast landscape, dramatic sky
(4) in the style of kiyochika_style, two figures standing by riverbank at dusk, soft reflections, quiet contemplative mood
Промпты:
(1) in the style of kiyochika_style, snowy Siberian village, wooden houses, smoke from chimneys, warm light from windows, quiet winter evening, atmospheric lighting, ink outlines
(2) in the style of kiyochika_style, volcanic landscape with smoke rising, dark ground, glowing sky, dramatic contrast
Урбанистические пейзажи
Следующим этапом стала генерация городских сцен с современными элементами, которые изначально отсутствовали в датасете. Это включало такие детали, как транспорт, вывески, городская инфраструктура и более сложная архитектурная среда. Задача усложнилась, поскольку модели приходилось переносить выученный стиль на новые визуальные объекты.
Тем не менее, общее состояние и настроение удалось сохранить. Хорошо проявилась работа с силуэтами и графичностью форм, а также с распределением световых пятен в тёмном пространстве. Однако в ряде случаев композиции получались перегруженными — появлялось больше объектов и деталей, чем характерно для исходного стиля. Несмотря на это, результаты можно считать успешными: модель в целом справляется с адаптацией стиля к новой тематике.
Промпты:
(1) in the style of kiyochika_style, inner courtyard surrounded by tall buildings, single lamp, enclosed quiet space
(2) in the style of kiyochika_style, storefront window glowing in darkness, interior barely visible, moody atmosphere
Промпты:
(1) in the style of kiyochika_style, tram wires crossing the sky, glowing street lamps, evening haze, minimal city presence
(2) in the style of kiyochika_style, early morning factory district, smoke stacks, pale sunrise, quiet mechanical mood
(3) in the style of kiyochika_style, Nevsky Prospect at night, wet pavement reflecting lights, moving silhouettes of people, glowing windows, light rain, dramatic contrast, ukiyo-e composition, detailed lighting
(4) in the style of kiyochika_style, street corner with vending machines glowing in darkness, strong contrast lighting
Новый облик городов
На последнем этапе я решила поэкспериментировать с генерацией сцен, связанных с конкретными городами, такими как Москва, Санкт-Петербург и Нью-Йорк. Эта задача оказалась ещё более сложной, так как требовалось не только сохранить стиль, но и передать узнаваемые черты городской среды.
Несмотря на сложность, удалось получить ряд удачных результатов, хотя для этого потребовалось больше попыток и вариаций промптов. Особенно хорошо передавались светящиеся городские пространства, отражения в воде и силуэты людей. В то же время заметным ограничением стало отсутствие мелких деталей — изображения чаще строились на крупных, обобщённых графических формах. Это упрощение, с одной стороны, соответствует стилю, но с другой — снижает узнаваемость конкретных мест.
Генерации на тему Москвы
Генерации на тему Санкт-Петербурга
Генерации на тему Санкт-Петербурга
Промпты:
(1) in the style of kiyochika_style, Moscow street at night with tram, glowing windows, deep shadows, fog in the air, reflections on wet road, dramatic lighting, woodblock print, cinematic atmosphere
(2) in the style of kiyochika_style, Red Square with modern elements, dramatic lighting
(3) in the style of kiyochika_style, Saint Petersburg street at dusk, gas lamps, light fog, silhouettes of pedestrians, moody atmosphere
(4) in the style of kiyochika_style, Saint Petersburg canal at night, calm water reflections, classical buildings, soft fog, dim street lights, quiet atmosphere, cinematic composition, woodblock print, ink outlines, atmospheric lighting
(5) и (6) in the style of kiyochika_style, New York city skyline in winter, snow falling, dim window lights, quiet urban night
Использованные ресурсы
*Изображения были взяты из Wikimedia Commons со статусом public domain
*Для генерации промтов был использован ChatGPT
