Обучение генеративной нейросети
Идея проекта заключается в том, чтобы обучить нейросеть создавать картины в стиле художника Ивана Айвазовского и создать серию картин о том как бы выглядели порты современных городов.
Исходные изображения
Получившаяся серия изображений
Итоговая серия представляет собой порты современных городов. Изображения портов представлены в различных погодных и временных условиях. Стиль оригинальных картин Ивана Айвазовского хорошо получилось передать при обучении нейросети. Лучше всего вышло передать морскую атмосферу и строение кораблей. Отдельно стоит отметить, как нейросеть смогла изобразить побережье Антарктики, несмотря на то, что Айвазовский редко писал зимние сюжеты. Первоначальная идея попробовать сгенерировать различные порты удалась, хотя внешний вид кораблей остались из XIX века.
Ноутбук с кодом: https://disk.yandex.ru/d/NXyktCT47AVzHg
Процесс обучения:
Сначала скачиваем все картины Айвазовского с сайта Википедия. Названия файлов собираем в отдельный список.
Потом создаем отдельную папку, куда сохраняются обрезанные картины. Циклом проходимся по всем файлам, обрезаем их и записываем в новую папку.
Скачиваем нужные библиотеки. Код взят из репозитория преподавателя.
Загружаем BLIP для автоматического добавления подписей к картинам Айвазовского.
Подписываем каждую картину с помощью цикла и удаляем BLIP из памяти.
Заходим в аккаунт Hugging Face с помощью токена доступа, запускаем ускоритель и скачиваем ещё одну библиотеку.
Запускаем обучение модели со 1000 шагами обучения и контрольными точками каждые 500 шагов. После этого сохраняем модель.
Создаем функцию для генерации и вывода изображения на основе промпта. Сохраняем полученные изображения в папку RESULT.
Описание применения генеративной модели:
BLIP (https://github.com/salesforce/BLIP) использовалась для добавления описания к картинам Айвазовского. Stable Diffusion (https://github.com/Stability-AI/generative-models) использовалась для дообучения на картинах Айвазовского с целью дальнейшей генерации изображений.
