Описание идеи
Я решила выбрать тему, связанную с моим пёсиком по имени Лаки. Я очень люблю животных и считаю их частью моей семьи. У меня дома, в моем родном городе, есть кошка и собака, и каждый из них занимает особое место в моем сердце. Так как я вижу их только на каникулах, когда возвращаюсь в родной город, иногда я люблю пересматривать фотографии своих животных.
Именно поэтому для обучения нейросети я решила использовать фотографии своего питомца. Мне стало интересно проверить, насколько точно модель сможет воссоздать черты моего пёсика и насколько реалистичными получатся изображения. А также мне хочется пополнить галерею фотографиями Лакуши, хоть они и являются «фантазийными», сделанными нейросетью.
Исходные изображения
Для обучения модели я использовала различные фотографии своего пёсика Лакуши, в разных позах и с разными фонами. Датасет состоит из 13 изображений.
Процесс обучения
Мой код написан на основе исходного кода.
Сначала устанавливаем библиотеки и обучающий скрипт.
Далее создаем папку, загружаем изображения. Также нужно разрешить блокноту доступ к файлам на Google диске.
Предварительно просматриваем первые 5 изображений.
Далее генерируем подписи к картинкам и входим в аккаунт Hugging Face, устанавливаем библиотеки.
Теперь приступаем к обучению. Обучение проходит с шагом в 500 и чекпоинтом 250. Далее сохраняем модель в Hugging Face.
Далее создаем ссылку на модель и загружаем обученную модель.
К сожалению, на этом этапе у меня вышла ошибка, так как не хватило свободной памяти, во время обучения модели. Данная ячейка не смогла полностью прогрузиться. Я попыталась несколько раз перезапустить ячейки и переписать код заново, но ошибка все равно выходила.
Итоговые изображения
Чтобы был результат в виде изображений, я решила сгенерировать картинки моего питомца в нейросети Reve.
Промт был следующий: на основе исходных фотографий сгенерируй такую же собаку, не меняя ее черт, собака гуляет в лесу, изображения должны быть квадратными.
Для следующих генераций промт был такой: на основе фотографий сгенерирует такую же собаку, которая стоит рядом с тортом и шариками. Промт к 2 фото: на основе фотографий сгенерируй собаку в движении, прыгающую за мячиком.
Нейросеть Reve достаточно точно изобразила черты, шерсть и улыбку моего песика. Изображения получились достаточно реалистичными и милыми. Но, конечно, хотелось бы попробовать сделать такие изображения, используя обученную модель.
Возможно, чуть позже, когда у меня будет свободная память, я сгенерирую своего Лаки с использованием обученной модели!
Список использованных в проекте инструментов:
Stable Diffusion — обучение генеративной нейросети; Google Colab — выполнение кода и генераций; Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; Reve — генерация изображений.
