Описание идеи
Я никогда не была фанатом фэнтези, но фантазировать любила всегда! Собрав небольшой датасет из самых стереотипных фэнтези картинок, я решила поэкспериментировать и создала с помощью Stable Diffusion свои версии того, как выглядел бы наш мир, если бы он был фантазийный.
Dataset //случайные картинки из pinterest//
Так как подобную работу я выполняла впервые, в качестве эксперимента я решила не собирать огромную базу данных и начать с малого. Результат может и не получился бы первоклассного качества, но зато я поняла систему.
Поэтому я сразу после установки всего необходимого выгрузила свои картинки-референсы в среду, в которой работаю.
Проверив, что изображения открываются, я импортировала модель и создала изображениям заголовки.
После всего я обратилась к папке с изображениями и сгенерировала префиксы. Так у каждого моего изображения появился промт.
Для следующего шага я зарегестрировалась на сайте Hugging Face и получила токен. Затем внесла его в Colab и таким образом начала обучение нейросети.
Процесс обучения занял около 40 минут. Благодаря этому получилось сформировать итоговую обученную модель, которую я использую для генерации новых изображений по промту на основе стиля выгруженных мной картинок.
Также я задала параметры выхода на директорий, сохранила в репозиторий и использовала эту модель.
Последний этап — я наконец то начала вводить свои промты.
/ Результирующая серия изображений
Для начала теста я взяла Нью Йорк, как самый киношный город, который в первую очередь надо перевести в разряд фантазий. Решила попробовать ввести один и тот же запрос два раза, чтобы посмотреть какой разброс вариантов возможен в таком случае. В итоге вид локации почти не меняется, а вот цвет, ракурс и наполнение — совершенно разные. И в первый раз получился более подходящий образ Таймс сквер в стиле фэнтези, нежели во второй.
prompt = «photo collage in my style, times square, new york»
Было бы странно, если бы я не попробовала переосмыслить город, в котором я живу. В качестве теста я выбрала самую известную локацию в Москве — Красную площадь. Почему-то ИИ решил сделать коллаж в виде наложения разных картинок друг возле друга, но результат все равно получился интересный. От фэнтези ИИ взял потоки энергии, которые он сделал из стен кремля.
prompt = «photo collage in my style, Moscow, Red Square»
Продолжая свой путь по столицам, я решила еще несколько раз поэкспериментировать в рамках одной локации, в данном случае Лондона, но с разными промтами — с людьми и без. Людей ИИ проработал плохо, а вот автобус на дороге получился восхитительный! Стиль фэнтези очень хорошо внедрился в текстуры неба и перемешался с британским флагом.
prompt = «photo collage in my style, people, London» // prompt = «photo collage in my style, London, Red bus»
Завершила эксперименты я самым стереотипным сюжетом в фэнтези: горы, окружающие задумчивых и мечтательных героев, ведь они буквально смотрят в далекое будущее, а посреди всего этого огромная голова! Так у меня и получилось, когда я указала в промте горы.
prompt = «photo collage in my style, boy, woman, mountains»
// Разбор результата
В качестве разбора результатов, можно сопоставить заявленную концепцию, исходные изображения и полученный итог.
Первое полученное изображение, на мой взгляд, ярче всех показывает фэнтези в реальном городе: ИИ взял с источников яркие цвета, текстуры и стиль представленного героя. Но также ИИ таким стилистическим решением увел реальный мир все дальше в фантазийный.
prompt = «photo collage in my style, times square, new york»
Второе изображение по запросу той же самой локации оказалось более реальным — цветовая гамма сохранилась в своем естественном виде, однако от исходников позаимствовалась некая драматичность и апокалиптичность. ИИ также взял текстуры с референсов и перенес их на Таймс Сквер. Текстуры дождя и форма света также продублировались через мой промпт на изображении.
