Концепция проекта
Во время выбора персонажа для проекта я наткнулась на совокота на Pinterest, мне очень понравился этот гибрид, но его изображений оказалось достаточно мало в интернете, а фон на фотографиях почти везде одинаковый. Сова с головой кота, как ни странно, выглядит очень органично, и с помощью нейросети я решила попробовать поместить её в разные локации, чтобы посмотреть, как бы она смотрелась, если бы существовала в реальном мире.
Исходные изображения для обучения
Поскольку фото совокота можно встретить в основном на вышеупомянутой платформе, которая не даёт информации об ограничениях использования изображений, я прибегла к помощи нейросети Recraft, чтобы создать датасет на основе своего кота (21 фото).
Фото кота
Примеры совокота от Recraft из датасета
Результирующая серия изображений
Анализ итоговой серии изображений
Изображения действительно соответствуют ожиданиям, фото получились такими же реалистичными, как на референсах, только, к сожалению, на некоторых генерациях либо имеется лишняя лапа, либо смазана кошачья морда, но всё равно основные элементы, например, орнамент, цвет и форма персонажа узнаваемы. Серия также соответствует концепции. Главной целью было разнообразить локации, т. е. фоны изображений, в которых находится животное, и с генерацией локаций нейросеть справилась даже лучше, чем с совокотами — всё выглядит натурально и без ошибок. В итоге получились: семейство совокотов на камне, совокот в фотостудии, совокот в метро, летящие совокоты в небе, совокот с чаем в парке, совокоты на дереве и совокот на рыбалке.
Описание применения генеративных моделей
Я создала проект с помощью исходного кода, данного в курсе, используя генеративную модель Stable Diffusion XL (https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0) с DreamBooth и LoRA. Для того чтобы создать уникальную модель, генерирующую конкретного персонажа — полосатого совокота, я обучила нейросеть на своём собственном датасете. Это позволило мне изучить технологию и применить её на практике, а также получить удовольствие от процесса создания совокотов. Также для создания датасета была применена нейросеть Recraft. (https://www.recraft.ai)
