Идея проекта
«Взглянуть на себя сквозь время» — концепция проекта. Найдя свои старые работы из скетчбука, которым лет 5, я поняла, что стиль со временем сильно меняется и то, что художник/иллюстратор рисовал в один свой период может больше никогда не повторится в связи с его развитием насмотренности и скиллов. Запечатлеть старого себя и увидеть, как по-новому можно раскрыть стиль, который давно не использовался — это то, почему мои давние зарисовки стали датасетом для обучения нейросети Stable Diffusion.
Целью обучения модели стало также и выявление способности ИИ перенимать стиль автора и улучшать стиль сгенерированных изображений.
Исходные изображения
Особенности, присущие моим старым скетчам: желтоватый фон, работа с линией, точкой и пятном. Контраст между использованными инструментами: линер, передающий тонкость и маркер, дающий плотное пятно. Также штрихованность, точечность и заливочность форм.
Исходные изображения, Гусева Екатерина
Для обучения модели использовался архив из 12 отфотографированных страниц скетчбука.
Итоговые изображения
Генерации, посвященные нескольким темам, чтобы посмотреть как модель будет работать с простыми элементами, первоначальным настроением оригинальных работ, а также выявление нового направления для применения этого стиля.
Точка, линия, квадрат
Промпты: 1. «colorful lines» 2. «colorful dot» 3. «colorful, square, grid»
Эта серия посвящена таким простым графическим элементам, как линии, точка и квадрат. Модель удачно сгенерировала новые объекты, в которых хорошо читается главенствующий элемент, при этом оставила узнаваемые черты стиля, на котором училась. Сочетание тонких линий и заливочных пятен, желтоватый фон и абстрактность.
Пучина страхов
Промпты: 1. «spider, blur color, strong line» 2. «bat, blur color, strong line» 3. «ghost, blur color, strong line»
Через коллекцию изображений «Пучина страхов» я хотела передать настроение, которое было присуще моим старым работам. То есть основной задачей стало попытка сгенерировать такие картинки, которые бы хорошо вписались в эстетику старого скетчбука с его пессиместичным, чуть хоррорным и текучим вайбом.
Цветущий паттерн
Промпты: 1. «bloom of iris flowers» 2. «bloom of pions flowers» 3. «bloom of lily flowers»
Следующую серию было решено отдать ботанике. Сегодняшней мне кажется, что такой стиль хорошо ложится на иллюстрированные паттерны, можно создавать легкие красивые узоры, в которых будет контрастировать форма с контрформой. Модель хорошо различает разные виды цветов, а ее дооубучение позволило создавать ненавязчививые картинки с винтажным настроением. Дальнейшее развитие их я представляю в виде весенних мини-постеров на стену.
Небесный фрейм
Промпты: 1. «lake» 2."sky»
И напоследок, серия «Небесное окно», как представление возможности модели расширять стиль и преобразовывать его. В ходе многочисленных экспериментов, удалось сгенерировать нечто отличающееся от оригинального стиля, при этом сохранив его узнаваемость. Нечеткость заливочных пятен, блюр добавляют легкости, а строгая тонкая линия собирает композиционно все изображение.
Новое здесь это то, как модель работала с пятном, у него нет четкости, он вальяжный и текучей, и более разнообразный по тому, как строится само пятно.
Таким образом, сгенерированные изображения наследуют оригинальный стиль. Модель умело копируют композиционные решения, передает основные особенности работы с цветом, толщиной линий и пятен. На всех сериях ИИ-изображений за основу взялась абстрактность и текучесть форм из первоначальных скетчей. Модель успешно работает с паттерновыми историями, однако плохо справляется с сюжетными идеями.
Описание процесса обучения
Выбранная модель для дообучения определенному стилю — Stable Diffusion. Обучение производилось в среде Google Colab на GPU T4. Выбранная среда имела ограничение по времени подключения (около 5-6 часов).
Основные этапы процесса:
— настройка среды выполнения
— предустановка необходимых библиотек
— загрузка датасета с работами, на которых будет учиться модель
— загрузка предобученной модели
— Подготовка изображений из датасета к обучению
— Настройка параметров обучения
— само обучение модели. Длилось около часа*
— Генерация изображений через промпты
