Идея проекта
Идея проекта — показать, как выглядел бы современный Берлин, если бы его писал Клод Моне. Для этого я обучила генеративную модель Stable Diffusion на картинах Моне, чтобы перенести его характерный импрессионистский стиль (свет, цвет, атмосферу) на изображения городских локаций. В результате нейросеть генерирует сцены Берлина, интерпретированные как живописные работы в духе Моне, объединяя современную реальность и эстетику XIX века
Ирисы в саду Моне / Мост Ватерлоо / Туманное утро на Сене в Буэ / Маки возле Аржантея / Променад в Трувиле (автор: Клод Моне)
Стиль Клода Моне относится к импрессионизму и характеризуется передачей света и атмосферы через цвет и быстрые, размытые мазки. В его работах формы не прорисованы чётко, а создаются за счёт цветовых пятен и игры освещения, часто с акцентом на природные сцены, воду и отражения. Главная особенность стиля — не точное изображение объектов, а передача мгновенного впечатления от сцены.
Выбор художника и города обусловлен личным предпочтением. Это мой любимый город, места которого я хотела запечатлеть как мгновенные эмоции, где как раз на помощь пришел стиль Моне.
Генерации
(1) Поле Темпельхоф «impressionist painting in MONET style, Tempelhofer Feld open landscape with sky, Berlin»
Поле Темпельхоф, Берлин
(2) Весенние цветы в Тиргартене «impressionist painting in MONET style, spring flowers in Tiergarten park, Berlin»
(3) Озеро в Тиргартене «impressionist painting in MONET style, Tiergarten lake with reflections, Berlin»
Весенние цветы в Тиргартене, Берлин / Озеро в Тиргартене, Берлин
На генерациях видно, насколько хорошо нейросеть научилась мазку Моне. Передается вот это движение кисти, штрих, который есть на его картинах.
(4) Мост Обербаум «impressionist painting in MONET style, Oberbaum Bridge, Berlin»
Мост Обербаум, Берлин
(5) Берлинский кафедральный собор «impressionist painting in MONET style, Berlin Cathedral with greenery and soft light»
Берлинский кафедральный собор, Берлин
На генерациях городских пейзажей хорошо считывается манера Моне рисовать города, так как в зданиях больше четких линий и геометрии.
(6) Цитадель Шпандау «impressionist painting in MONET style, Citadel Spandau, Berlin»
(7) Альтштадт Шпандау «impressionist painting in MONET style, Altstadt Spandau, Berlin»
Цитадель Шпандау, Берлин / Альтштадт Шпандау, Берлин
Примеры тесного переплетения архитектуры и природы. Виден контраст между тем, как нейросеть распознает стиль рисования зданий и манеру написания природы.
(8) Вид с неба на Берлин «impressionist painting in MONET style, pastel sky over Berlin landscape»
Вид с неба, Берлин
Данная генерация была некоторым экспромтом, чтобы посмотреть, как нейросеть будет работать с тем, что далековато от стиля Моне. В итоге получилось занимательно, потому что город оказался в тумане. И этот туман как раз и стал природной частью, которую Моне рисует мазками.
(9) Улица Кройцберга «impressionist painting in MONET style, Kreuzberg street with cafes, Berlin»
(10) Водопад в парке Виктория Кройцберга «impressionist painting in MONET style, Viktoriapark waterfall Kreuzberg, Berlin, sunlight and greenery»
Улица Кройцберга, Берлин / Водопад в парке Виктория, Кройцберг, Берлин
На этих примерах рядом находящихся локаций хорошо видно, как нейросеть меняет подход, когда в одном случае смесь архитектуры и природы, а в другом изображена только природа. Водопад показан гораздо более абстрактно и эмоционально. А в пейзаже улицы больше структуры и резкости.
В итоговой серии изображений нейросеть интерпретирует знакомые локации Берлина через визуальный язык Клода Моне: сцены становятся мягкими, с размытыми формами и акцентом на цветовые пятна и отражения. Хорошо передаются характерные элементы — работа со светом, теплая и холодная цветовая вибрация, текстура мазков, особенно в воде, небе и листве. При этом городские объекты упрощаются и растворяются в среде, за счёт чего Берлин воспринимается не как точное место, а как эмоциональное впечатление.
Принцип работы
Установка зависимостей Библиотеки: bitsandbytes, transformers, accelerate, peft, diffusers, datasets Готовый обучающий скрипт: train_dreambooth_lora_sdxl.py
Подготовка датасета На данном этапе создается локальная директория monet_style.
В созданную папку загружаются исходные изображения картин Моне, которые будут использоваться как обучающий датасет.
Проверка загруженных изображений Вывод количества изображений и просмотр загруженных данных с помощью image_grid
Генерация описаний
Подключение модули BLIP, которая может автоматически создавать текстовые описания для изображений. Подготовка изображений к генерации описаний Создание метаданных для обучения Для каждого изображения создается текстовое описание, состоящее из общего признака «impressionist painting in MONET style» и подробного описания, сгенерированного BLIP. Результат сохраняется в файл manifest.jsonl для дальнейшего использования в обучении модели
Подготовка к обучению модели
Запуск обучения LoRA
Сохранение обученной модели на HuggingFace
Загрузка модели после обучения
Генерация изображений Берлина в стиле Моне
В проекте дополнительно использовался ChatGPT для вспомогательных задач: генерации и уточнения текстовых промптов для изображений, а также решения технических вопросов в процессе работы (например, получение токена Hugging Face, подбор оптимального размера изображений и параметров обучения для работы в условиях ограниченного GPU в Google Colab).