Концепция проекта
Создание ряда иллюстраций на основе специфичного визуала.
Мне было интересно, сможет ли нейросеть распознать и обработать черно-белую достаточно детализированную абстракцию и создать изображения, приближенные к оригиналу.
Изображения для обучения
Изображения являются моими старыми работами. На самом деле им около 10 лет и они никогда нигде не использовались. Изначально рисовались как часть медитации, за счет чего и образовался слегка специфичный стиль.
Примеры изображений
Результат
На основе промтов было сгенерировано 7 изображений: 1_ город 2_ красная площадь, москва 3_ портрет девушки 4_ кошка с мышью 5_ корабль 6_ космический корабль 7_ спальня
1 город\ 2 красная площадь
3 портрет девушки\ 4 кошка с мышью
5 корабль\ 6 космический корабль
7 спальня
Комментарий результата
Мне правда было интересно насколько нейросеть сможет считать стиль и создать что-то свое на основе исходящих данных, поскольку даже люди не всегда с абсолютной точностью считывали, что происходит на изображениях. С другой стороны это больше напоминает абстракцию и простую геометрию, где можно не понимать, какие непосредственно вещи изображены, а исходя исключительно из стиля, воссоздать похожее вполне себе реально.
Исходя из представленных работ можно сделать вывод, что не смотря на недолгое обучение, нейросеть действительно смогла ухватить основное. Однако можно заметить, что хорошо сгенерированы конкретные предметы: корабль, красная площадь; потеря стиля заметна на живых объектах: портрет девушки и кот, тут нейросеть лишь добавляла фрагменты, схожие с оригинальными изображениями, но сам стиль оказался утерян. Максимальная абстракция получилась на изображении спальни. С одной стороны можно считать подушки и одеяла, но на деле структуры как таковой нет, нейросеть очень туманно постаралась воссоздать заданное.
Интересно заметить, что и цветовая палитра претерпела изменения во время генераций. Нейросеть оставила темный контур, но белый фон поменялся исходя из промптов (например, красный цвет на запрос сгенерировать красную площадь
Материалы
1_ Stable Diffusion 2_ LoRa 3_ huggingfacehub
