Категория
Инновации
Дата

RefaceAI научился менять лицо на картинках и видео. Все только начинается, говорит его СEO Роман Могильный

6 хв читання

Стэнфорд, третий турнир ImageNet Large Scale, 2012 год. Участники конкурса – алгоритмы. Они соревнуются в умении распознавать изображения. Профессор Фей-Фей Ли собрала 3,2 млн картинок в 5247 категориях – от котов до столов. Дебютные результаты далеки от идеала: на первых состязаниях алгоритмы всех команд ошибались минимум в 25% случаев. В 2012 году все меняется – нейросеть AlexNet вырывается вперед, добившись точности в 16,4%. Эта победа оказывается судьбоносной.

Amazon інвестує мільярди доларів у ШІ, роботів та машинне навчання. Якими принципами й правилами керується компанія?

Дізнайтеся вже 22 листопада на Forbes Tech 2024. Купуйте квиток за посиланням!

AlexNet разработала команда из Университета Торонто: профессор Джефф Хинтон и два его студента, Илья Суцкевер и канадец украинского происхождения Алекс Крижевский. Через пять лет после их победы конкурс ImageNet попросту закрыли, так как 29 из 38 алгоритмов уже работали с точностью более 98%.

«Это был настоящий прорыв, потому что все увидели, как применять нейронные сети на практике», – вдохновенно рассказывает про AlexNet технический директор украинского стартапа Reface Олесь Петрив, 30. Он с командой сделал приложение, которое умеет заменять лица на картинках и GIF-анимациях, реалистично меняя черты знаменитостей или актеров.

У программы более 45 млн загрузок, среди пользователей – Илон Маск, Джастин Бибер, Бритни Спирс. 1 сентября 2020 года Reface взял ранее недостижимую для украинцев высоту: стал самым популярным iOS-приложением в США, обогнав TikTok, Netflix, Zoom и других именитых конкурентов. Чем украинцы заинтересовали остальной мир?

Выпускники Могилянки Роман Могильный, Олесь Петрив и Ярослав Бойко работают вместе с 2011 года. Их первый стартап Neocortext специализировался на машинном обучении. «Мы были студией вольных художников», – рассказывает нынешний CEO Reface Могильный, 29. Neocortext настраивали алгоритмы, чтобы анализировать тональность голоса, конвертировать двухмерные изображения в трехмерные для голливудских студий, генерировать описания к изображениям.

В 2018 году по запросу одного из клиентов стартаперы разработали алгоритм для замены лиц на фотографиях. Создание face swap роликов – синтезированных алгоритмами изображений, на которых меняются черты лица, – оказалось золотой жилой. Кому не интересно увидеть себя на месте героя любимого фильма или клипа?

Ответ на этот риторический вопрос стал путеводной идеей для вольных художников из Могилянки. До них так называемые дипфейки были уделом продакшн-студий или продвинутых энтузиастов. «Ролик студийного качества мог стоить десятки тысяч долларов, – рассказывает Могильный. – Мы хотели вложить эту технологию в руки обычным людям». Вложили. В сентябре 2020 года пользователи Reface создавали до 20 млн роликов ежедневно.

Первое приложение, Reflect, позволяло менять черты лица на фотографиях. Вторая программа, Doublicat, работала уже с GIF-анимациями. В 2019 году ее переименовали в Reface, а саму компанию – в Reface. К тому моменту расширилась и команда. К отцам-основателям добавилось еще четыре партнера: Дмитрий Швец, Иван Алцибеев, Денис Дмитренко и Кирилл Сыгыда.

RefaceAI научился менять лицо на картинках и видео. Все только начинается, говорит его СEO Роман Могильный /Фото 1

Сооснователи стартапа Reface (слева направо): Ярослав Бойко, Роман Могильный, Денис Дмитренко.

Во сколько обошлась разработка продукта, фаундеры не раскрывают. В первой половине 2020 года стартап получил конвертируемый заем от фонда Adventures Labs. Вернуть его можно деньгами или акциями во время следующего раунда. Ранним инвестором проекта является Сергей Токарев – основатель компании Lucky Labs, которая занимается разработкой для гемблинг-индустрии. С 2017-го по май 2020-го Токарев находился в санкционном списке Совета национальной безопасности и обороны.

Главное отличие Reface от конкурентов – скорость обработки и качество контента. В библиотеке приложения есть сцены из популярных сериалов. Свое лицо можно дорисовать Брэду Питту, Леонардо ДиКаприо, Олегу Виннику или Леди Гаге. Лицензируют все по обоюдному согласию и пока чаще всего бесплатно. «Для создателей контента наше приложение – способ продвигать свой продукт», – рассказывает Могильный.

Пользователи Reface в 65% случаев делятся результатом в соцсетях. Это хороший знак для всех, кто ищет промо. К примеру, коллаборацию с Reface к релизу нового клипа выпустил музыкант Джон Ледженд. Сколько это может стоить на коммерческих условиях? От $10 000, нехотя отвечает Могильный. «А впрочем, давайте в этом интервью без цифр», – добавляет он.

Reface зарабатывает в основном на подписке. За $2,5 в неделю, $3,99 в месяц или $24,99 в год пользователи могут делать безлимитное количество «рефейсов», загружать собственные GIF для обработки и экспортировать все без водяного знака приложения. Если не заплатить, придется смотреть рекламу. В августе, по оценке аналитической платформы SensorTower, программа выручила $2 млн в AppStore и $1 млн в Google Store. «Работаем в ноль, – рассказывает директор по развитию бизнеса Дмитрий Швец. – Все заработанное вкладываем в развитие». В компании более 60 сотрудников.

Фаундеры говорят, что, в отличие от коллег из постсоветских стран, делают Reface не не продажу. Хотя могли бы. Facebook купил белорусский проект MSQRD по созданию масок. Россиянин Виктор Шабуров продал Snapchat две компании на сумму более $300 млн. «Мы зарабатываем самостоятельно и не планируем продаваться», – подчеркивает Денис Дмитренко, который отвечает за взаимоотношения с инвесторами. По его словам, у стартапа почти неограниченный доступ к капиталу – инвестиции готовы дать ведущие мировые фонды. Предложения купить компанию тоже звучали, говорит Могильный.

«У них классная технология и команда. Но им нужна большая уверенность в том, что Google или Facebook еще не нашли, как это повторить», – говорит основатель интернет-компании Nika Tech Family Максим Слободянюк.

Один из менторов команды Reface – белорус Юрий Гурский. Он был инвестором MSQRD, а позже вложился в стартап по обработке фотографий с помощью нейросетей Prisma. Это приложение попало на вершину AppStore в начале 2016 года, после чего Mail.Ru Group проинвестировала в компанию при оценке около $20 млн. Через несколько месяцев программа вылетела из эшелона самых скачиваемых. Гурский со временем сделал на ее базе приложение по обработке селфи Lensa. В середине 2019-го оно приносило ему $0,5 млн в месяц. Сегодня стоимость управляющей всеми его активами компании Palta Гурский оценивает в $200 млн. Основную капитализацию дает доля в трекере менструаций Flo, который стоит более $230 млн. Заработки у программы сопоставимы с Reface: в августе продажи Flo в AppStore принесли $2 млн, оценивает SensorTower.

Прочно поставить развлекательный проект на ноги – половина успеха. «Такого рода приложения не могут постоянно быть на высоте всех чартов, поэтому необходимо работать над продуктом, удерживать пользователей», – говорил в 2017 году сооснователь Prisma Алексей Моисеенков. Основатели Reface в курсе этой проблемы. «Мы прекрасно понимаем, что нельзя постоянно быть на волне, – говорит Могильный. – Просто мы запустим не одну волну». По его словам, пользователи открыли для себя от силы 10% возможностей Reface.

До конца года компания позволит загружать пользователям собственные видео, а затем выпустит инструмент для замены всего тела, а не только лиц. По мнению Петрива, в качестве технологии они опережают рынок минимум на год. Руководитель по разработке одного из конкурирующих приложений соглашается с выводом. «Про перенос лиц написано много статей, – говорит он. – Все упирается в то, что нужно это сделать в режиме реального времени, на устройстве».

Мозг Reface – так называемая генеративно -состязательная нейросеть (GAN). Этот тип алгоритмов состоит из двух компонентов, которые соревнуются между собой: генератор создает поддельные кадры, а дискриминатор пытается их различать. В ходе обучения картинки становятся настолько реалистичными, что дискриминатор уже не может отличить их от подделки. Это значит, что качество дипфейка – приемлемое и для человека.

В Reface между генератором и дискриминатором расположены десятки дополнительных программных слоев, которые лучше распознают черты лица и меняют их. Ключ к успеху – удачно перенести глаза, губы, нос, по которым и формируется узнаваемость. Пока что все вычисления идут в облаке, в будущем компания хочет перенести их локально, на устройство. «Главное – понять, как оставить исходный код на смартфоне и не допустить его воровства конкурентами, – говорит Петрив.– Но у нас есть очень элегантное решение».

Кроме потребительского рынка, в Reface думают и про бизнес-аудиторию. Компания разрабатывает сервис Reface Studio. Он обе — щает в десятки раз удешевить процесс постпродакшна при съемках, заменяя лица актеров в хорошем качестве и с большим количеством настроек. «Крупные планы так снимать пока рано, но в остальном технология будет очень полезна индустрии. Это дешевле классического CGI», – говорит Могильный. Reface Studio тестируют в ограниченном режиме, денег это еще не приносит.

В эпоху постправды возможность произвести дипфейк на смартфоне – опасное оружие. «Для нас этичность разработки – не пустое слово, мы много про это думаем», – говорит Могильный. Пока придумали строго запретить использование своего софта для создания политического, порнографического и любого другого контента, способного нанести вред людям. Система модерации, которая будет отслеживать поведение пользователей – Reface Check – пока разрабатывается.

Она заработает после того, как пользователи получат доступ к загрузке своих видео. Reface Check будет распознавать дипфейки «своего» производства. Для этого в изображение будет встроен невидимый глазу, но доступный другому алгоритму «водяной знак». Если у пользователя возникнут сомнения в достоверности ролика, он сможет проверить его на сайте Reface. Крупные платформы вроде Google или Facebook смогут получить доступ к проверке по API, говорят в компании. 

Опубликовано в четвертом номере журнала Forbes (октябрь 2020)

Материалы по теме

Вы нашли ошибку или неточность?

Оставьте отзыв для редакции. Мы учтем ваши замечания как можно скорее.

Предыдущий слайд
Следующий слайд