Хиросигэ рисует современный город

Утагава Хиросигэ (1797-1858) был японским мастером гравюры укиё-э. Он рисовал город Эдо (сейчас это Токио) и дорогу Токайдо: мосты, лодки, путников, дождь и снег. Его листы легко узнать по синей полосе неба сверху, плоскому цвету, дождю из тонких линий и маленьким фигуркам людей.Мне стало интересно, как бы он нарисовал сегодняшний город. Поэтому идея проекта такая: научить нейросеть манере Хиросигэ и попросить её нарисовать то, чего в его время не было. Метро на мосту вместо лодок, небоскрёбы вместо замка, курьер на велосипеде вместо путника. Многие сюжеты отвечают конкретным гравюрам. Например, «Внезапный ливень над мостом» стал трамваем под дождём, а кот у окна из «Рисовых полей Асакусы» стал котом рядом с ноутбуком.Стиль выбран, а не персонаж, потому что стиль можно перенести на любой сюжет. Если нейросеть рисует метро так, будто это Хиросигэ, значит, она поняла манеру, а не просто запомнила картинки.

Для обучения взяты 36 гравюр Хиросигэ из открытой коллекции музея Метрополитен. Это пейзажи и виды города из серий «Сто знаменитых видов Эдо» и «Пятьдесят три станции Токайдо», в разную погоду и время суток. Каждая картинка обрезана до квадрата 512×512.

Что получилось:
Как и у Хиросигэ, главное в серии не люди, а места, транспорт и погода. Нейросеть хорошо переняла его приёмы:
— синюю или красную полосу неба сверху, которая светлеет к горизонту;
— его палитру: синяя вода, приглушённая зелень, розовый закат, бумажный беж;
— дождь тонкими линиями и снег белыми точками;
— плоский цвет с контуром вместо теней;
— большой предмет на переднем плане, например колесо обозрения;
— таблички с надписями и что-то вроде печати художника в углу.Некоторые листы прямо перекликаются с гравюрами. Курьер в снегу похож на «Вечерний снег в Канбаре», а кот у окна сидит так же, как кот в Асакусе.Что получилось хуже:
— Надписи ненастоящие: нейросеть не умеет писать иероглифы, а буквы на вывесках превращаются в бессмыслицу.
— Лица и руки маленьких людей упрощены.
— Современные вещи выходят немного старинными: самолёт получился винтовым, машины игрушечными.
— Нейросеть любит добавлять гору Фудзи и луну даже туда, где их не просили.
— 36 картинок это мало, поэтому к концу обучения модель начала запоминать отдельные гравюры. Например, трамвай под дождём иногда превращается в копию «Внезапного ливня»: трамвай становится совсем маленьким, а главными в кадре оказываются зонты.Совпало ли с идеей:
В целом да. Все 18 листов выглядят как одна серия одного художника, хотя на них метро, небоскрёбы и неон. Стиль держится и на крупном коте, и на панораме порта, значит, нейросеть выучила именно манеру. Современность вышла немного «состаренной», но как будто, это даже подходит к идее.Как готовились данные:
Картинки обрезаны до квадрата и уменьшены до 512×512. Ещё каждая картинка использовалась в зеркальном виде, всего 72 примера.Как генерировались картинки:
Запрос выглядел так: «hrsgstyle, a delivery courier riding a bicycle through a snowy city street at night». Для каждого сюжета сделано 2 варианта, в серию вошёл лучший. Чтобы картинки были чётче, использовался hires fix: сначала картинка рисуется в 512×512, потом увеличивается до 768×768 и ещё раз проходит через нейросеть. На картинке 34 видно, как после этого становятся чёткими краны и корабли.