facebook_pixel
  • 17 июня 2020, 16:01

    Россиянин обучил нейросеть «оживлять» известные картины. Его хобби помогло увидеть другую улыбку Моны Лизы

    Россиянин Денис Ширяев «оживил» известные картины с помощью нейросетей. У молодого человека есть и другие проекты — ролики с невероятно хорошим качеством, которые были сняты в XIX и XX веках. Если вас интересовало, как могла выглядеть Мона Лиза в реальной жизни, то мы покажем. А как удалось достичь такого эффекта, в интервью «360» рассказал сам творец.
    Россиянин обучил нейросеть «оживлять» известные картины. Его хобби помогло увидеть другую улыбку Моны Лизы

    Денис Ширяев — молодой человек, который не получал программистского образования, а просто четыре года назад начал заниматься работой с нейронными сетями. Самое первое видео на канале Ширяева появилось четыре месяца назад. Тогда он выпустил переделанное видео 1896 года под названием «Прибытие поезда в Ла-Сьота». Отличие работы Ширяева от исходника в том, что он сделан нейросетью в высоком разрешении и хорошем качестве — будто съемку вели в XXI веке. Ролик Ширяева набрал почти четыре миллиона просмотров.

    Другие работы Ширяева похожего формата. Он брал старые видео, обучал нейросеть преображать картинку и выкладывал на YouTube. Он также превратил ролик 1906 года с видом на Сан-Франциско в современный, а также преобразовал «самое старое записанное видео» — «Сцена в саду Раундхэй». Это самый первый известный фильм в истории кинематографа, датированный 14 октября 1888 года. Кадры нейросеть смогла преобразить в полноценное видео.

    На днях Ширяев попробовал новый формат — «оживление» картин. Он взял семь известных работ художников и обучил нейронную сеть превращать портрет в живого человека (не буквально), который даже может улыбаться, смеяться, грустить или задумчиво смотреть. В числе выбранных картин была «Мона Лиза» (написана между 1503 и 1505 годами Леонардо да Винчи).

    Россиянин обучил нейросеть «оживлять» известные картины. Его хобби помогло увидеть другую улыбку Моны Лизы | Изображение 1
    Источник фото: YouTube / Denis Shiryaev

    Также нейросеть смогла «оживить» картину «Рождение Венеры» (1482–1486, Сандро Боттичелли).

    Россиянин обучил нейросеть «оживлять» известные картины. Его хобби помогло увидеть другую улыбку Моны Лизы | Изображение 2
    Источник фото: YouTube/Denis Shiryaev

    Всего в ролике семь картин. Помимо вышеуказанных, там есть: «Девушка с жемчужной сережкой», «Ночной дозор», «Автопортрет с терновым ожерельем и колибри», «Дама с горностаем», «Американская готика».

    Несколько нейросетей работали как одна

    «360» удалось пообщаться с автором «оживленных» картин Денисом Ширяевым. Он рассказал, что примерно четыре года занимается нейронными сетями, но это не его рабочая сфера, а только хобби. Все началось с Telegram-канала о нейронных сетях, где Ширяев публиковал интересные для него алгоритмы работы.

    Там почти все алгоритмы, которые я применял, ни одному из этих алгоритмов нет и года, они все, скажем так, state-of-the-art („современные“), то есть они самые лучшие, что есть из доступного. И там шесть-семь нейронных сетей, каждая делает что-то свое

    Денис Ширяев.

    Например, одна нейронная сеть обучена на десятках тысячах фотографий и «галлюцинирует» лицо, похожее на то, которое дается в виде картины, пытается сделать что-то наиболее похожее.

    Другая сеть позволяет применить эмоции из TikTok-видео на уже сгенерированную картину, в итоге получается наслоение нейронных сетей.

    Ролик с «оживлением» картин Ширяев делал в свободное время. Это заняло у него примерно три месяца. Сначала он хотел сделать подборку из 15 картин, потом из 10, но когда понял, что все это занимает много времени, остановился на семи.

    Там постоянно что-то шло не так, неправильно генерировалось, приходилось перезаписывать. Я свои собственные эмоции применял в каких-то кусках, это нужно было сопоставить

    Денис Ширяев.

    В начале мая на канале Ширяева вышло видео Берлина в 1945 году, но его заблокировали правообладатели из Германии. Уговоры не помогли, и теперь ролик посмотреть нельзя. Для Ширяева обидно было, что на то творение он потратил очень много времени, так как вычисления нейронных сетей быстро не происходят.

    На этом работа Ширяева не закончена. Он планирует «оживить» портреты других известных людей, события и пейзажи. Через какое-то время молодой человек планирует показать, как мог выглядеть Вольфганг Моцарт.