Original size 2417x3428

Petal skin

PROTECT STATUS: not protected
The project is taking part in the competition

Hanakotoba / (花言葉)

— японская форма языка цветов

Концепция

Я давно рисую карандашные портреты девушек. Со временем у меня сформировался свой способ работы с формой и штрихом. В какой-то момент я заметила, что похожие принципы можно увидеть и в изображениях цветов. Не по смыслу, а по тому, как строится форма. Мне стало интересно, можно ли это проверить через нейросеть. Я обучила модель на своих портретах, чтобы она выучила мой стиль, а затем начала задавать ей цветы.

big
Original size 3054x1045

Лучше всего модель работала с орхидеями. Их форма оказалась ближе всего к структуре лица, на которой она обучалась, поэтому перенос стиля получался наиболее точным. Цветы оказались построены теми же средствами, что и лица. Для нейросети лицо и цветок устроены одинаково. Этот проект про это смещение. Про то, что изображение можно рассматривать через его устройство. И про то, что один и тот же визуальный язык может одинаково описывать и лицо, и цветок.

Исходники

[Мой стиль рисования]

Для обучения я использовала 11 собственных карандашных портретов. Все изображения обрезаны до формата 1:1, размер 512×512 пикселей.

big
Original size 1920x1080

Я намеренно выбирала рисунки с разными образами: разные прически, выражения, ракурсы, чтобы модель не заучила один конкретный портрет, а уловила именно почерк и способ штриховать.

Original size 5048x1216

Процесс обучения

Первым делом проверяю что GPU вообще доступна и в каком она состоянии: модель, загрузка, свободная память. Потом устанавливаю нужные библиотеки: bitsandbytes, transformers, accelerate, peft. Они отвечают за оптимизацию памяти и работу с LoRA. Отдельно ставлю свежую версию diffusers прямо с GitHub, она нужна для работы со Stable Diffusion и DreamBooth.

Original size 3342x1364

Подключаю Google Drive чтобы брать изображения из облака. Пишу функцию которая собирает несколько картинок в одну сетку, чтобы удобно смотреть датасет. Нахожу все файлы в папке и проверяю что они загрузились нормально.

Original size 3342x1292

Загружаю модель BLIP, она умеет смотреть на картинку и придумывать к ней текстовое описание. Прогоняю через нее весь датасет: каждое изображение получает подпись с префиксом «Draw with a pencil». Все пары картинка + описание сохраняются в metadata.json — это и есть размеченный датасет для обучения.

Original size 3342x1510

После разметки удаляю BLIP и очищаю кэш GPU, она больше не нужна, а память надо освободить. Настраиваю кодировку UTF-8 чтобы текст читался корректно, конфигурирую Accelerate для запуска обучения на GPU и авторизуюсь в Hugging Face.

Original size 3342x584

Запускаю обучение. Основные параметры: базовая модель SDXL 1.0, 500 шагов, learning rate 1e-4, batch size 2. Прогресс виден в реальном времени, loss постепенно снижается, модель учится.

Original size 3342x1537

Обучение завершено, модель готова. Получаю ссылку на нее в Hugging Face Hub.

Original size 3342x648

Оформляю карточку модели и публикую на Hugging Face. И все готово.

Original size 3342x1704

Результаты генераций

Original size 3054x1045
Petal skin
Project created at 23.03.2026
designschool.am
designschool.am — цифровая экосистема, объединяющая профессиональное портфолио для дизайнеров — студентов, выпускников и сотрудников программы «Коммуникационный дизайн» (совместный проект Российско-Армянского Университета и Школы дизайна НИУ ВШЭ), образовательную онлайн-платформу, площадку, агрегирующую международные онлайн-конкурсы в креативных индустриях и другие профессиональные инструменты.... Show more
We use cookies to improve the operation of the website and to enhance its usability. More detailed information on the use of cookies can be fo...
Show more