Концепция
Для проекта я выбрала работы итальянского художника Vittorio Reggianini, известного своими камерными жанровыми сценами повседневной жизни в изысканных интерьерах. Его картины наполнены мягким тёплым светом, декоративными деталями и сложной фактурой тканей и предметов. Особое внимание художник уделяет атмосфере уюта и интимности пространства: персонажи часто погружены в спокойные бытовые занятия — чтение, разговор или отдых.
Цветовая палитра обычно тёплая и приглушённая: в ней преобладают золотистые, охристые, кремовые и винные оттенки, усиливающие ощущение домашнего тепла и спокойствия.
Примеры работ Витторио Реджанини
Меня заинтересовало, может ли генеративная модель воспроизвести не только визуальные признаки этого стиля, но и ощущение уютного, закрытого пространства и мягкого света, характерного для его живописи.
Исходные изображения
Для обучения модели был подготовлен датасет из 67 работ Vittorio Reggianini. В него вошли изображения, где хорошо видны характерные для художника интерьерные сцены с декоративными деталями, текстурами тканей и мягким тёплым освещением.
Перед обучением все изображения были приведены к единому квадратному формату 1024×1024 и аккуратно обрезаны, чтобы сохранить композицию и основные элементы сцены.
Часть собранного датасета
Обучение модели
В качестве среды для выполнения проекта я выбрала Kaggle.
Для работы с датасетом были сгенерированы кастомные подписи к изображениям с помощью модели BLIP. Она успешно справилась с определением объектов и сюжетов на картинах: «a woman and two men sitting in a kitchen», «a group of people playing music», «a woman in a pink dress standing in front of a curtain», «a woman in a white dress sitting at a desk with a dog».
Каждое изображение сопровождалось подписью со специальным префиксом: «An oil painting in the style of VITTORIO REGGIANINI with silk and satin».
import json
caption_prefix = "an oil painting in the style
of VITTORIO REGGIANINI with silk and satin, "
#@param
with open(f'{local_dir}metadata.jsonl', 'w') as
outfile:
for img in imgs_and_paths:
caption = caption_prefix +
caption_images(img[1]).split("\n")[0]
entry = {"file_name": img[0].split("/")[-1],
"prompt": caption}
json.dump(entry, outfile)
outfile.write('\n')
После подготовки датасета я обучила Stable Diffusion с использованием методов DreamBooth и LoRA. Процесс занял около 6 часов и включал 1000 шагов обучения со следующими настройками:
--dataset_name="regg" \
--output_dir="vittorio_reggianini_LoRA" \
--instance_prompt="an oil painting in the style of VITTORIO REGGIANINI with silk and satin" \
--resolution=1024 \
--train_batch_size=1 \
--gradient_accumulation_steps=3 \
--max_train_steps=1000 \
--checkpointing_steps=500 \
Готовая модель была сохранена на Hugging Face для дальнейшего использования и генерации серии изображений.
from huggingface_hub import create_repo,
upload_folder
from train_dreambooth_lora_sdxl import
save_model_card
repo_id = create_repo(f"{username}/{output_dir}",
exist_ok=True).repo_id
...
save_model_card(
repo_id=repo_id,
images=[],
instance_prompt="an oil painting in the style
of VITTORIO REGGIANINI with silk and satin",
repo_folder=output_dir,
)
...
upload_folder(
repo_id=repo_id,
folder_path=output_dir,
commit_message="End of training"
)
Шаблон промпта
При генерации изображений количество шагов варьировалось от 25 до 45, что позволило уменьшить искажения лиц и деформации объектов. Для улучшения освещения и снижения количества артефактов также был добавлен негативный промпт.
prompt = "An oil painting in the style of VITTORIO
REGGIANINI, two elegant women by a window, silk
and satin gowns, tea set, ornate interior"
negative_prompt = "Deformed, blurry, bad anatomy,
disfigured face, low quality, grainy, green light,
lilac light"
image = pipe(
prompt=prompt,
num_inference_steps=25,
negative_prompt=negative_prompt
).images[0]
image.save("reggianini_output.png")
image
Итоговая серия изображений
В первых генерациях удалось зафиксировать ключевые элементы стиля художника: плавные складки шелка и сатина, роскошные интерьеры, атмосферу уюта и интимности.
При этом проявились и некоторые проблемы: лица часто оказывались искаженными, интерьеры выглядели менее детализированными, цвета становились ярче, а отдельные элементы местами сливались, создавая эффект лёгкой «мыльности».
Тем не менее стиль Reggianini остаётся узнаваемым благодаря вниманию к фактурам тканей, мягкому свету и декоративным деталям.
an elegant lady in a silk dress holding a fan, looking down at a cute dog begging for a treat… // a lady in a golden brocade dress standing next to a graceful greyhound dog facing the viewer…
young lady in a shimmering lilac silk gown holding a love letter… // woman in a voluminous white and silver silk ball gown… // an elegant couple in a luxury salon playing chess…
a lady in a voluminous white satin gown looking at her reflection in a large ornate floor mirror… // an elegant couple in a luxury salon playing chess…
Затем были протестированы длинные и детализированные промпты, позволяющие получить сложную композицию и приблизить изображения к оригинальным картинам. Развернутые описания сцен были сгенерированы с помощью ChatGPT.
В результате пространство стало выглядеть сложнее: в генерациях появились дополнительные декоративные элементы — вазы, картины, обои со сложными узорами, выразительные текстуры тканей и мягкий свет.
Однако проблема с лицами полностью не исчезла: они по-прежнему иногда получались размытыми или слегка искаженными.
a woman in an elegant high-waisted white empire-style satin dress sitting at an ornate gilded console table…
two elegant women sitting by a large open window with a scenic view…
elegant woman in a shimmering pale mint green empire-style satin gown standing before a large cheval mirror… // sunlit 19th-century salon, lady standing in a cream silk dress with a velvet bolero…
a flirtatious scene in a luxury 19th-century salon… // a man in a shimmering turquoise satin frock coat… // a woman in an elegant high-waisted white empire-style satin dress…
a young woman in a luminous pale gold empire-style satin gown leaning over a small ornate round table…
an elegant woman in a shimmering pale mint green empire-style satin gown standing before a large cheval mirror… // a woman in an elegant high-waisted white empire-style satin dress sitting…
a woman in an elegant high-waisted white empire-style satin dress… // a flirtatious scene in a luxury 19th-century salon… // a lady in a turquoise silk dress pouring tea from a silver pot…
a young woman in a luminous coral pink empire-style silk gown standing by a small marble table…
