Билибин известен в первую очередь иллюстрациями к фольклору с очень узнаваемым стилем. Было бы интересно посмотреть, как его стиль плотно связанный со стариной, мог бы изобразить что-то футуристичное, фантастическое на космическую тематику; столкнуть вместе прошлое и будущее.
Исходные изображения
В качестве исходных изображений взяты иллюстрации Билибина к сказкам, былинам.
Результирующая серия изображений
промпт: A space battle between spaceships
промпт: a beautiful space landscape with stars, nebulae and planets
Можно сказать, что модель достаточно успешно научилась копировать стиль художника.
Удивительно, что нейросеть уловила существование рамок у изображений (хотя в датасете они были не везде). Где-то простая рамка (как в битве между космическими кораблями), где-то витиеватая (космический корабль в космосе и космический пейзаж).
промпт: A city of the future on the moon
Также нейросеть хорошо считала, что на изображениях должно быть много мелкий деталей и уточнений. Однако, нейросеть не до конца справляется с их генерацией. Так, например, наиболее удачны в этом плане генерации: космический пейзаж, корабль в космосе и город будущего на луне. Тогда как в остальных детальность превращается в кашу не понятно чего. Но если смотреть издалека, то вполне правдоподобно выглядит.
промпт: beautiful moon girl in space
Стало интересно, справиться ли до-обученная нейросеть с изображением человека (с учетом того, что в датасете очень мало детальных изображений людей, тем более девушек). Сразу стало понятно, что для чего-то такого конкретного, как девушка нейросеть на основе имеющегося датасета не справляется. Получилось что-то близкое к Билибину, но как будто больше от стиля модерн (Муха, например).
Однако если просто обозначить в промпте «человек», «ученый» без дальнейших уточнений, то получается уже похоже на Билибина.
промпты: A celestial map of the constellations being looked at by a scientist/ A man walks out of a spaceship into outer space
Хорошо поняты цвета. Нейросеть поняла, какие цвета чаще всего встречаются (оттенки оранжевого и синего), и использовать преимущественно их.
Нейросеть делает изображения визуально старыми (выцветшими, несмотря на яркие цвета). Это добавляет ретрофутуризма, что дополнительным слоем ложиться на «столкновение прошлого и будущего», хотя изначально этот слой не задумывался.
промпт: a spaceship in space
Описание процесса обучения
Обучение происходило на базовой модели: Stable Diffusion с методом адаптации: Dreambooth с LoRA. Обучение проводилось на датасете из 26 изображений (иллюстраций Билибина к сказкам и былинам, обрезанных по размеру 512×512 пикселей). Количество шагов обучения: 500.
Описание применения генеративной модели
Stable Diffusion XL 1.0 Базовая архитектура для генерации изображений
BLIP (Bootstrapping Language-Image Pre-training) Автоматическая аннотация обучающих изображений
Dreambooth + LoRA методик Эффективная персонализация базовой модели под специфический стиль
Upscayl Улучшение качества финальных изображений
