Как digital-художник заново изобрел Мона Лизу

Согласитесь, сложно представить как выглядели бы в реальной жизни люди, которые позировали старым мастерам для их картин.

Digital-художник Денис Ширяев создал серию работ используя нейронные сети, чтобы перенести известные нам лица с портретов Да Винчи и Рембрандта в реальный мир.

Вы довольно хорошо знаете лица героев с известнейших портретов — любители искусства зачастую знают пропорции и черты лица Мона Лизы, лучше, чем лица своих возлюбленных. Но как бы выглядели люди с картин знаменитых художников, если бы позировали им сегодня?

Пытаясь повысить качество качество старых изображений и видео, используя свои технические навыки, Денис Ширяев обратил свое внимание на старые портреты.

В работе он использовал нейронные сети, форму искусственного интеллекта, которая обычно используется в дипфейках (дословно «глубокая подделка»), но также используется и в digital-искусстве для создания новых эффектов.

Ширяев использовал нейросети на известных портретах, чтобы дать нам представление о том, как выглядели модели для мировых шедевров несколько столетий назад. Вот несколько примеров работ Ширяева – их мы могли бы увидеть, листая Instagram или отдыхая в баре.

Возможно, самое знаменитое лицо в мире искусства – Мона Лиза Леонардо да Винчи, - выглядит свежее и моложе после преображения.

Девушка с жемчужной сережкой Яна Вермеера путешествовала во времени с 1665 года.

И звезда Ночного дозора Рембрандта ван Рейна (1642) выглядит несколько моложе и весьма привлекательно.

Пара на Американской готике Гранта Вуда выглядит так же сурово, как и в 1930-х годах, но теперь вы можете представить, как они стоят у церкви, расположенной по соседству.

Для создания подобных digital-портретов вам могут помочь такие сервисы, как StyleGAN2, ESRGAN, First Order Motion Model for image animation, DAIN, Artbreeder и другие.

Генеративные нейронные сети (или GAN-нейросети) — это комбинация из двух нейросетей. Первая генерирует изображение, а вторая пытается определить, насколько оно реалистично. Обучение GAN продолжится до тех пор, пока нейросеть-генератор не обманет нейросеть-судью.

StyleGAN2 прекрасно перерисовывает фотографии, отталкиваясь от пользовательских настроек. Нейросеть StyleGANG известна как первая генеративная модель, которая способна генерировать впечатляюще фотореалистичные изображения и предлагает контроль над стилем генерируемого изображения. Эти результаты были достигнуты путем внесения некоторых радикальных изменений в генераторную сеть в рамках архитектуры GAN.

Особенность StyleGAN в том, что система генерирует лицо, используя черты нескольких людей и адаптирует изображение под необходимый возраст, пол, улыбку, длину волос и другие параметры.

ESRGAN (Enhanced SRGAN) — это еще один представитель GAN-нейросетей. Принцип работы следующий: на вход алгоритму передается оригинальное изображение с низким разрешением, после чего он не только увеличивает исходное разрешение последнего, но еще и повышает качество изображения, добавляя к нему реалистичные детали и делая текстуры картинки «более естественными».

За несколько проходов алгоритм, как правило, создает изображение с еще большей точностью и реалистичностью. Умельцы же быстро поняли, что это довольно дешёвый и простой способ улучшить графику старых игр, просто вытаскивая текстуры и «прогоняя» через сеть.

First Order Motion Model решает задачу анимации изображения без предобучения на анимируемом объекте. Обучившись на множестве видеороликов, изображающих объекты одной категории (например, лица, человеческие тела), разработанная авторами сеть позволяет анимировать все объекты, относящиеся к данной категории. Проще говоря, вы можете сделать из одной фотографии целый фильм, записав движение одного человека и заменив его на другого в видео. Примеров работ подобных нейросетей в Интернете в последнее время стало очень много. Думаем, вы видели как, к примеру, мировые политики или мультяшные герои напевают забавные песенки и кривляются на видео.

DAIN (модель интерполяции видеокадров с учетом глубины) создан для явного обнаружения окклюзии путем изучения сигнала глубины. Он позволяет увеличивать частоту кадров любого видео в два и более раз практически без видимых искажений. Можно, к примеру, повысить плавность любимого мультфильма или сделать крутой слоу-мо эффект.

У сервиса Artbreeder разнообразный инструментарий, он делится на следующие разделы:

«Общие» (General) – представляет собой микширование нескольких изображений. Например, смешать изображения бургера и собаки.

«Портреты» (Portraits) – это самая сильная сторона сервиса. В этом разделе вы можете не только микшировать изображения между собой, но и изменять структуру портрета человека: телосложение, возраст, гендер, настроение, реалистичные/нарисованные очертания лица и так далее. Результат практически всегда получается впечатляющим.

«Обложки альбомов» (Albums) – это генерация абстрактных изображений на манер обложек музыкальных альбомов. Здесь всё в лучших традициях Nine Inch Nails и Radiohead.

«Пейзажи» (Landscapes) – раздел работает аналогично другим, но здесь прослеживается упор на пейзажи. Здесь же лучше всего выходят сюрреалистичные ландшафты.

Большинство подобных сервисов являются бесплатными, где каждый может улучшить структуры или создать что-что новое.

Оригинал статьи: https://www.creativebloq.com/news/digital-portraits-neural-network