Переозвучить Голливуд. Украинский стартап Respeecher выиграл «Эмми» за искусственные голоса. Как он зарабатывает на «Звездных войнах» и других кинохитах

Украинцы в Голливуде

Соучредитель стартапа Александр Сердюк неохотно говорит о клиентах Respeecher – индустрия кинофильмов славится жесткими NDA. В портфеле Respeecher – более 50 проектов, но расценки на них учредители не раскрывают, как и выручку и свою оценку.

Среди публичных кейсов есть громкие имена.

В 2020 году Lucasfilm, создатель франшизы «Звездные войны», которая сейчас принадлежит Walt Disney, выпустила сериал «Мандалорец». В последнем эпизоде появляется главный герой саги – молодой Люк Скайуокер. Актер Марк Хэмилл играет персонажа с 1977 года, поэтому на момент выхода эпизода сериала ему уже было 68. Омолодить внешность Хэмилла помогла калифорнийская студия Lola Visual, обычно работающая с Marvel. Respeecher воспроизвел голос молодого джедая. Как это он сделал?

Стартап проанализировал аудиозаписи молодого Хэмилла с помощью нейронных сетей, создал копию его голоса и наложил ее на озвучку зачитывавшего сценарий актера. Никто не подозревал, что голос искусственный, пока режиссер фильма Джон Фавро сам в этом не признался.

Новый проект Respeecher – еще один сериал из вселенной «Звездных войн». «Книга Бобы Фетта» вышла в декабре 2021 года на стриминговом сервисе Disney+. Сердюк не может раскрыть, кого Respeecher озвучил в сериале. «Позже Disney сам все расскажет», – говорит он.

Технология Respeecher

В основе бизнеса Respeecher – технология voice conversion: компания накладывает искусственно сгенерированный голос на реальную запись и получает новый трек. Сделать это качественно – дорого и сложно.

Процесс выглядит так: Respeecher требуется ориентировочно час записи голоса, который потом используют в игре или фильме, – это могут быть фрагменты интервью или выступлений.

Нейросеть анализирует эту запись и накладывает ее на другую аудиодорожку, которую начитывает дублер.

Что получим в результате? Новое сгенерированное аудио, звучащее как реальный голос. Подобным способом Respeecher озвучил Никсона в фильме In Event of Moon Disaster, выигравшем «Эмми» в номинации «Выдающиеся интерактивные медиа: документальный фильм».

Стартап проанализировал архивные выступления 37-го президента США и наложил голос Никсона на голос дублера, зачитывавшего никогда не провозглашенную речь. Никсон написал ее на случай, если космическая миссия «Аполлон-11» закончится катастрофой.

За более чем два года с момента выхода фильма стартап, по словам Сердюка, научился делать еще больше.

Межъязычная озвучка. Компания может сделать так, что «в украинском переводе голос Тома Хэнкса будет звучать как его реальный голос, сохраняя тембр», – говорит Сердюк.

Эта технология поможет компаниям вроде Amazon, HBO и Netflix локализовать фильмы для разных аудиторий.

Локализация – в приоритете этих студий, ведь хитовые фильмы для них часто производят за пределами Голливуда. К примеру, «Игра Кальмара» – южнокорейский сериал, оскароносный фильм «Рома» сделали в Мексике.

Работа с песнями. Ранее стартап работал только с обычным языком человека, ведь он состоит из коротких фонем, которые искусственному интеллекту легче повторить. Теперь же система научилась держать длинные ноты и работать с песнями.

Работа с длинными отрезками аудио открыла компании рынок аудиокниг.

У Respeecher уже есть кейс, когда книгу записали одним голосом, который можно было конвертировать в 50 других. Все эти голоса Respeecher хранит на своем голосовом маркетплейсе – новой бизнес-нише.

«Мы планируем серьезно инвестировать в маркетплейс в этом году», – говорит Сердюк. Там Respeecher продает искусственные и реальные голоса людей, животных, воображаемых монстров.

Студии разработки игр или мультфильмов могут использовать эти голоса, чтобы не нанимать новых актеров. «Можно нанять одного человека и конвертировать его голос в любой другой из нашей библиотеки», – говорит Сердюк.

Использование технологии

Рынок голосовых технологий будет быстро расти: в 2026 году он будет стоить $20,9 млрд против $7,7 млрд в 2020 году.

Среди фанатов технологии – студии фильмов, желающих сэкономить на этапе постпродакшена.

«Если на этом этапе в звуковой дорожке выявляют дефекты, то возвращать актера в студию на перезапись дорого и занимает много времени», – говорит Дионис Акулов, креативный продюсер украинской постпродакшн-компании To Be Production. Respeecher мог бы исправить эти дефекты удаленно.

У технологии есть и недостатки – ее могут использовать, чтобы манипулировать и обманывать.

К примеру, в 2019 году мошенники использовали технологию клонирования голоса, чтобы выдать себя за СЕО британской энергетической компании, пытаясь украсть $240 000. В прошлом году мошенники вывели со счета гонконгского банка $400 000, подделав голос директора одной из компаний-клиентов.

Манипулировать голосом легче, чем видео, поэтому технология будет распространяться, говорит Джейк Мур, эксперт по кибербезопасности в британской охранной компании ESET.

«Без изучения этого нового типа атаки, а также лучших методов аутентификации в сети, больше компаний станет жертвами искусственных разговоров», – говорит Мур в интервью американскому Forbes.

Основатели Respeecher знают о возможных злоупотреблениях и говорят, что пытаются противодействовать им. К примеру, стартап не использует голос без разрешения его владельца и подписывает с актерами согласие. Украинцы также разрабатывают технологию по обнаружению аудио-манипуляций.

«Фильм с Никсоном как раз показывает, как технологии могут манипулировать историей», — говорит Сердюк. Ведь создатели проекта смогли сделать так, чтобы событие, которое никогда не произошло, звучало по-настоящему.

Материалы по теме

Категория

Инновации

Дата

18 ноября 2020

Стартап Respeecher научился имитировать голоса. Осталось найти, кому это нужно