Обучение генеративной нейросети на основе иллюстраций Джона Тенниела
Концепция
Для обучения генеративной нейросети я выбрала стиль автора оригинальных иллюстраций к «Алисе в стране чудес» — Джона Тенниела. Цель проекта: обучить модель для создания изображений в стиле Джона Тенниела.
Было использовано около 90 изображений. Я выбрала автора, чьи работы уже стали культурным наследием, во избежание этических проблем и вопросов.
Его работы можно описать как графичные иллюстрации с узнаваемой штриховкой и параллельными линиями на заднем плане. Люди и животные обладают более простыми чертами, чем в реальности. Часто можно встретить композицию из множества предметов, практически сливающихся в одно целое.
Описание применения генеративной модели: Процесс обучения
При работе над проектом были использованы Stabble Diffusion, Kaggle, Hugging face, доп. ГенИИ не был использован.
Генерация изображений
Сначала была создана серия изображений в черно-белом стиле, изображающая объекты и персонажей, подходящих по смыслу произведению и оригинальным иллюстрациям, например, королевы и шахматные фигуры.
Для создания промпта перед основной частью прописывалось «illustration in ALI style».
Чем сложнее промпт, тем точнее и правильнее изображение.
Была создана тестовая серия изображений знаменитостей. Стиль похож на Джона Тенниела, немного отличается размер штриховки из-за наличия большего количества мелких деталей.
Дополнительная мини-серия работ: известные картины в стиле Джона Тенниела. При сравнении оригинала и генерации можно отследить характерные признаки стиля: угловатость и четкость контуров предметов, ч/б или заливка тусклым цветом, штриховка.
Итоговая серия сгенерированных изображений
Для итоговой серии была поставлена задача сгенерировать изображения знаменитостей с добавлением элементов, отсылающих к произведению «Алиса в стране чудес». Для женщин — розы, для мужчин — циферблаты. В изображения добавлены цвета, наиболее подходящие личностям соответственно. Цвет закрашивает предметы и иногда придает оттенок иллюстрации.
Вывод
В финальной серии четко прослеживаются характеристики стиля: штриховка, четкость и угловатость контуров, большой процент ч/б пространства.
Личность четко узнается, иногда черты лица утрируются, добавляется гротескность.
У модели хорошо получается изображать знакомые предметы (например, розы), другие иногда трудно узнаются, являются довольно размытым объектом, что, однако, походит на стиль Джона Тенниела в котором маленькие объекты, как уже было сказано выше, так же сливались друг с другом.
При генерации иллюстраций (помимо портретов) необходимо как можно четче прописывать промпт, особенно задний план, чтобы модель не создавала хаос.
