Original size 1140x1600

Дообучение нейросети на стиль арт-деко

PROTECT STATUS: not protected

Концепция

Арт-деко — это художественный и дизайнерский стиль, расцветший в 1920–1930-х годах. Его можно назвать эстетикой роскоши, геометрии и футуризма. Он отличается яркими схематичными палитрами, плавными линиями в сочетании с вытянутыми вертикальными силуэтами, экзотическими паттернами и графичной заливкой цвета.

В этом проекте я обучаю нейросеть на изображениях в стиле арт-деко — обложках для Vogue и других постерах 1920–30-х годов. Я выбирала изображения наиболее похожие по стилю, это оказались работы авторства французских художников и художниц. Я обращала внимание на то, чтобы на иллюстрациях не было светотени, потому что именно такие генерации я хотела создать.

big
Original size 3857x1657

Первоначальная задумка: создать серию работ в этом стиле с персонажами мира фэнтези. Мне стало интересно, как они будут выглядеть в этом стиле.

Код

Для дообучения модели Stable Diffusion я использовала готовый ноутбук от Hugging Face: SDXL DreamBooth + LoRA. Этот ноутбук предоставляет удобную среду для обучения с использованием DreamBooth в сочетании с техникой LoRA.

При подготовке датасета я привела изображения к квадратному формату 1:1 с разрешением 512×512 пикселей и удалила с них текстовые элементы, чтобы исключить возможные искажения в процессе обучения модели.

big
Original size 1438x277
Original size 1838x187

Я использовала префикс: «illustration in ART DECO style», а технология BLIP помогла сгенерировать дополнительное описания к изображениям.

Original size 2009x236
Original size 1602x501

Сгенерированные изображения

Первая попытка

Нейросеть хорошо передала ракурс в профиль, что, вероятно, связано с большим количеством обучающих примеров в этом ракурсе. Однако, изображения в ¾ и анфас получились менее стилизованными и меньше похожи на стиль, который был использован при обучении нейросети.

Указание в запросе элементов одежды, которые чаще встречались в исходных изображениях, помогло нейросети точнее воспроизвести заданный стиль. Например, в промптах фигурировали красное платье и черная шляпа.

При генерации изображений фэнтезийных героинь, таких как эльфийки и вампирши, нейросеть часто отклоняется от заданного стиля, добавляя детали, не характерные для него. Например, она может излишне детализировать локоны волос.

В удачных примерах нейросеть смогла передать плоскую заливку цветом без теней, характерные для стиля черты фигуры, а также бледную палитру с эффектом шума, если в промпте не было указано обратного.

Вторая попытка

После повторного обучения с дополнением датасета изображения стали реалистичнее, особенно в проработке лицевых черт. При этом уровень детализации локонов снизился, что, напротив, сыграло на пользу — такая стилизация больше соответствует визуальному языку арт-деко, где преобладают обобщённые формы и графичность линий.

Заключение

Дообучение нейросети на стиль арт-деко
Project created at 10.04.2025
designschool.am
designschool.am — цифровая экосистема, объединяющая профессиональное портфолио для дизайнеров — студентов, выпускников и сотрудников программы «Коммуникационный дизайн» (совместный проект Российско-Армянского Университета и Школы дизайна НИУ ВШЭ), образовательную онлайн-платформу, площадку, агрегирующую международные онлайн-конкурсы в креативных индустриях и другие профессиональные инструменты.... Show more
We use cookies to improve the operation of the website and to enhance its usability. More detailed information on the use of cookies can be fo...
Show more