Робер Делоне (1885–1941) — французский художник-авангардист, один из основоположников течения орфизм. Для проекта я его выбрала засчет динамичной и яркой графики, абстракции и ритмичных комопзиций.
Так же один из основных мотивов в его картинах — пейзажи Парижа, города любви и моды. Мне очень близка эта тема, поэтому в качестве проекта я создаю серию изображений по традиционным французским сюжетам.
Я собрала датасет из 20± работ автора, отбирая наиболее абстрактные и яркие изображения, так как именно в подобном стиле я хочу обучить свою модель. Выбирала я преимущественно городские сюжеты и картины с людьми.
Посмотреть датасет можно по ссылке.
Примеры исходных картин.
Обучение модели
В начале я подключилась к нужной среде выполнения (GPU T4) и подгрузила требуемые библиотеки.
После этого я выгрузила собранный заранее датасет внутрь Google Colab. Через функцию Image_grid я вывела тестовые изображения из датасета и убедилась, что он работает корректно.
Следующий этап — обработка изображений, подготовка промта и разрешения (instance_promt, resolution), очистка памяти для дальнейшей работы и регистрация токена в HugginFace account для того, чтобы начать обучать модель.
Предпоследний и самый важный этап — обучение модели. Я устанавливаю нужную библиотеку и прописываю характеристики для обучения (качество, максимальный шаг для обучения и т.п). В результате создалась папка модели delone_model с данными (logs, pytorch).
Первоначально я ставила шаг 250, но он оказался слишком мал. Модель переняла нужны черты в виде абстрактных кубических форм и яркой палитры, но генерации выходили с большими погрешностями. Я повторно обучила модель с шагом 400, для более точного результата.
Пробы с шагом 250
Промты:
- A cat sits on a white balcony in Paris in delone style
- Eiffel Tower in the park in delone style
- Person in Paris cafe in delone style
Пробы модели с шагом 400, иллюстрации стали четче.
Промты: — A girl along the embankment in France with a baguette in delone style — A French woman after a fashion show in a boutique in delone style
Последний этап — загрузка обученной модели и генерация промтов!
Генерация серии
В серии есть несколько блоков: — достопримечательности и вид на них; — романтика и прогулки; — кафе и рестораны; — другое.
В результате генераций получились живые яркие формы с характерными круговыми узорами и нестандартной абстрактной композицией.
Эйфелева башня
Промт: Eiffel Tower in the park in delone style
Котик на балконе с видом на Эйфелеву башню
Промт: A white cat sits on a balcony overlooking the Eiffel Tower in delone style
Лувр и Нотр-Дам
Промты: — View of the Louvre from the outside in delone style — View of Notre-Dame, a boat floating on the river nearby, in delone style
Абстрактный Лувр
Промт: The Louvre is outside, next to the tourist square, in delone style
Пара в ресторане на фоне Эйфелевой башни
Промт: A couple on the balcony in a cafe against the backdrop of the Eiffel Tower in delone style
Девушка в кафе
Промт: A woman in a French cafe in a red beret drinks her morning coffee, in delone style
Бутылка вина во французском ресторане
Промт: French wine in their traditional restaurant on a table with a white tablecloth in delone style
Промт: French wine in their traditional restaurant on a table with a white tablecloth in delone style
Французская пекарня
Промты: — A baguette lies on a table with a white tablecloth in a French bakery in delone style — A woman in a red beret walks next to a French bakery in delone style
— A woman in a red beret walks next to a French bakery in delone style
Такси едет по улицам города
Промт: Taxi rides along the French embankment in delone style
Воздушные шары над Парижем
Промт: Balloons over the river in Paris, houses and sights are visible, in delone style
Собака бежит по парижской улице с кафе
Промт: A dog runs down a Parisian street with a cafe in delone style
Инструменты и ГенИИ
Инструменты: — Google Colab + Disk, Hugging Face, STBL Diffusion (для кода, токена и обучения модели) — Perplexity (для помощи с составлением промтов к сюжетам)
Блокнот с кодом
