Генерация изображений лиц с помощью ИИ врожденные трудности при создании изображений из неполного линейного рисунка с отсутствующими небольшими областями, а иногда даже из полных эскизов. Предлагаемая система AniFaceDrawing может генерировать высококачественные результаты, которые постоянно соответствуют входному эскизу на протяжении всего процесса создания эскиза. На изображении показаны (а) окончательные пользовательские эскизы, (б) руководство в режиме детализации (цветовые линии представляют семантически сегментированные части) и (в) сгенерированные цветные рисунки из (а) после окончательного выбора эталонного изображения. Предоставлено: Хаоран Се из JAIST.
Аниме, японское искусство анимации, состоит из нарисованных от руки эскизов в абстрактной форме с уникальными характеристиками и преувеличениями реальных предметов. В то время как генеративный искусственный интеллект (ИИ) нашел применение в создании контента, такого как аниме-портреты, его использование для расширения человеческого творчества и управления рисованием от руки оказывается сложной задачей.
Основная проблема заключается в создании подходящих эталонных изображений, соответствующих незавершенным и абстрактным штрихам, сделанным в процессе рисования от руки. Это особенно верно, когда штрихи, созданные в процессе рисования, являются неполными и дают недостаточно информации для генеративного ИИ, чтобы предсказать окончательную форму рисунка.
Чтобы решить эту проблему, исследовательская группа из Японского передового института науки и технологий (JAIST) и Университета Васэда в Японии разработала новый генеративный инструмент искусственного интеллекта, который предлагает прогрессивную помощь в рисовании и помогает создавать аниме-портреты из набросков от руки.
Инструмент основан на платформе глубокого обучения преобразования эскиза в изображение (S2I), которая сопоставляет необработанные эскизы со скрытыми векторами генеративной модели. Он использует двухэтапную стратегию обучения через предварительно обученную генеративно-состязательную сеть стилей (StyleGAN) — современную генеративную модель, которая использует состязательные сети для создания новых изображений.
Команда во главе с доктором Чжэнью Хуаном из JAIST, в которую вошли доцент Хаоран Се и профессор Казунори Мията, а также преподаватель Цукаса Фукусато из Университета Васэда, предложила новую стратегию «распутывания на уровне штриха». эскиз от руки с атрибутами, связанными с кромками, в скрытом структурном коде StyleGAN.
Этот подход позволяет пользователям манипулировать параметрами атрибутов, тем самым обеспечивая большую самостоятельность в отношении свойств сгенерированных изображений. Доктор Хуанг говорит: «Мы внедрили в StyleGAN неконтролируемую стратегию обучения распутыванию на уровне штрихов, которая позволяет автоматически сопоставлять грубые наброски с редкими штрихами с соответствующими локальными частями аниме-портретов, и все это без необходимости семантических меток».
Это исследование будет представлено на ACM SIGGRAPH 2023, ведущей конференции по компьютерной графике и интерактивным технологиям и единственной конференции CORE с рейтингом A* в области исследований во всем мире.
Что касается разработки инструмента, профессор Се добавляет: «Сначала мы обучили кодировщик изображений, используя предварительно обученную модель StyleGAN в качестве обучающего кодировщика. На втором этапе мы смоделировали процесс рисования сгенерированных изображений без дополнительных данных. чтобы обучить кодировщик скетчей работе с незавершенными прогрессивными эскизами. Это помогло нам создать высококачественные портретные изображения, соответствующие распутанным представлениям кодировщика учителя».
