«Пусть машина рисует за меня фурри-коммишки!..» — слова которые не говорил никто и никогда.
Если за меня ИИшка будет рисовать коммишны, может она и зарплату за меня будет получать? А я чем заниматься тогда буду?
Тем не менее, из интереса я всё равно ещё какое-то время назад собирала из своих рисунков датабазу чтобы посмотреть, что на её основе можно генерить.
Датабаза
Датабаза из 160 изображений для обучения модели создаётся на основе моих рисунков с заказами — под творческим псевдонимом amordochka — поэтому модельку я называю aiMordochka.
В датабазу я включаю арты разных лет и разных стилей, стадики, скетчи, процессы — наивно думаю, что возможно это поможет модели как-то лучше понять процесс и подстроиться под мой стиль…
К сожалению, все картинки приходится сильно масштабировать и вводить в квадрат — хотя вообще я рисую в основном вертикальные портреты, и одной из особенностей моего стиля является композиция в листе… К сожалению, приходится этим пренебречь из-за технических особенностей.
Обучение модели
Обучение модели делает на базе готового шаблона на языке Python в Google Collab, используем готовые алгоритмы Stable Duffusion, Dreambooth, LoRA, HuggingFace.
Сначала мы загружаем скрипты, создаём директорию, грузим туда наши картинки и проверяем, что код их видит.
Загружаем скрипт, который анализирует, что изображено на загруженных картинках и сам пишет им промпт — ИИ очень плохо понимает сильную стилизацию, без подготовки сам не распознаёт фанарты и персонажей, описывает промпты достаточно коротко и без деталей.
Пример описаний, которые выглядят особенно общо: — drawing of a woman in a pose — a bunch of different moths — comic strip strip strip strip strip strip strip strip strip strip strip strip strip strip strip strip strip strip strip
Наконец — запускаем обучение модели, которое займёт около двух часов реального времени и сохраняем её в HuggingFace. Теперь можно посмотреть что получилось и приступать собственно к самим генерациям!
Генерации
prompt 'a drawing of a cat with bretzel in USERNAME style, username_style_LoRA, woods, fantasy'
prompt 'a portrait of a furry fox girl in USERNAME style, username_style_LoRA'
prompt 'a woman with sword in USERNAME style, pure white background, fantasy'
Несмотря на то, что судя по коду алгоритм вообще не понимал, что у меня на рисунках, генерации… правда узнаются похожими и в них видно мой стиль.
Конечно, то что генерации в бесплатной модели без дальнейшей обработки выглядят как многорукие и многоглазые монстры это совершенно нормально и ожидаемо.
'furry fox portrait in USERNAME style, fantasy'
'hatsune miku in USERNAME style'
Поскольку я хорошо знаю датабазу — мне очень хорошо видно, когда модель очень заметно пипетит и повторяет цвета и композицию.
prompt 'an anime girl in USERNAME style, fantasy, woods' // мой фанарт на Clover Cookie из CookieRun Kingdom
prompt 'angel girl with wings and halo in USERNAME style, sky background' // мой фанарт на Воскресенье из Honkai StarRail
Можно обратить внимание, что аиМордочку я к сожалению научила халтурить по всем тем схемам, где сама халтурю — почти всегда у персонажей одинаковый поворот головы, хитрая улыбка и подмигивание (чтобы не рисовать второй глаз)… Ну, яблочко от яблоньки, какая датабаза такие и генерации.
prompt 'angel girl with wings and halo in USERNAME style, sky background'
'hatsune miku in USERNAME style, username_style_LoRA'
'catgirl sitting in the woods in USERNAME style, fantasy'
'an anime girl in USERNAME style, fantasy, woods, username_style_LoRA'
Ну и главная трагедия — нейросоня как и настоящая соня оказалась невероятно ленивой и не была готова работать два дня подряд.
На следующий день при перезагрузке модели она почему-то перестала делать портреты и начала просто выдавать какие-то серые артефакты: ( Ну ладно, устала, до этого хорошо поработала, пусть отдыхает до следующих модификаций.
a drawing of an anime girl in USERNAME style, username_style_LoRA
