У 2020 році Respeecher «оживив» голос колишнього президента США Річарда Ніксона для короткометражки In Event of Moon Disaster. У вересні 2021 року Американська телевізійна академія відзначила роботу стартапу премією «Еммі», проте українці отримали статуетки лише 7 лютого. Хто ще в Голлівуді покладається на технології українців
Українці в Голлівуді
Співзасновник стартапу Олександр Сердюк неохоче говорить про клієнтів Respeecher – індустрія кінофільмів славиться жорсткими NDA. У портфелі Respeecher – понад 50 проєктів, але розцінки на них засновники не розкривають, як і виручку та свою оцінку.
Серед публічних кейсів є гучні імена.
У 2020 році Lucasfilm, творець франшизи «Зоряні війни», що зараз належить Walt Disney, випустила серіал «Мандалорець». В останньому епізоді з’являється головний герой саги – молодий Люк Скайуокер. Актор Марк Хемілл грає персонажа з 1977 року, тож на момент виходу епізоду серіалу йому вже було 68. Омолодити зовнішність Хемілла допомогла каліфорнійська студія Lola Visual, яка зазвичай працює з Marvel. Respeecher відтворив голос юного джедая. Як він це зробив?
Стартап проаналізував аудіозаписи молодого Хемілла за допомогою нейронних мереж, створив копію його голосу та наклав її на озвучку актора, який зачитував сценарій. Ніхто не підозрював, що голос штучний, поки режисер фільму Джон Фавро сам у цьому не зізнався.
Новий проєкт Respeecher – ще один серіал із всесвіту «Зоряних воєн». «Книга Боби Фетта» вийшла у грудні 2021 року на стримінговому сервісі Disney+. Сердюк не може розповісти, кого Respeecher озвучив у серіалі. «Пізніше Disney сам усе розповість», – каже він.
Чим займається Respeecher
Компанію Respeecher у 2018 році заснували українці Дмитро Бєлєвцов та Олександр Сердюк, а також американець Грант Рібер. Усього у компанії працює 32 особи.
Із 2018 року компанія залучила понад $3 млн інвестицій, але станом на 2021 рік ще не стала прибутковою. «Інвестуємо дохід у розвиток», – сказав Сердюк в інтерв’ю для видання Kyiv Post.
У 2019 році стартап потрапив у акселератор Techstars і одержав $120 000. На початку 2020 року Respeecher закрив раунд на $1,5 млн, його очолив нью-йоркський фонд ffVC. В інвестиції взяли участь український ICU Ventures і голландський Acrobator Ventures.
Серед клієнтів стартапу – компанії, які працюють у сферах кіно, телебачення, відеоігор, анімації та радіо, каже Сердюк.
Технологія Respeecher
В основі бізнесу Respeecher – технологія voice conversion: компанія накладає штучно згенерований голос на реальний запис і отримує новий трек. Зробити це якісно – дорого і складно.
Процес має такий вигляд: Respeecher потрібна орієнтовно година запису голосу, який потім використовують у грі чи фільмі, – це можуть бути фрагменти інтерв’ю або виступів.
Нейромережа аналізує цей запис і накладає його на іншу аудіодоріжку, яку начитує дублер.
Що отримаємо в результаті? Нове згенероване аудіо, яке звучить як реальний голос. Схожим способом Respeecher озвучив Ніксона у фільмі In Event of Moon Disaster, який виграв «Еммі» у номінації «Видатні інтерактивні медіа: документальний фільм».
Стартап проаналізував архівні промови 37-го президента США і наклав голос Ніксона на голос дублера, який зачитував ніколи не проголошену промову. Ніксон мав озвучити її, якби космічна місія «Аполлон-11» закінчилася катастрофою.
Cтатуетки «Еммі», які отримав Respeecher. Фото Олександр Чекменьов
За понад два роки з моменту виходу фільму стартап, за словами Сердюка, навчився робити ще більше.
Міжмовна озвучка. Компанія може зробити так, що «в українському перекладі голос Тома Хенкса звучатиме як його реальний голос, зберігаючи тембр», – каже Сердюк.
Ця технологія допоможе компаніям на зразок Amazon, HBO та Netflix локалізовувати фільми для різних аудиторій.
Локалізація – у пріоритеті цих студій, адже хітові фільми для них часто роблять за межами Голлівуду. Наприклад, «Гра Кальмара» – південнокорейський серіал, оскароносний фільм «Рома» зробили у Мексиці.
Робота з піснями. Раніше стартап працював лише зі звичайною мовою людини, адже вона складається з коротких фонем, які штучному інтелекту легше повторити. Тепер же система навчилася тримати довгі ноти і працювати з піснями.
Робота з довгими відрізками аудіо відкрила компанії ринок аудіокниг.
У Respeecher вже є кейс, коли книжку записали одним голосом, який можна було конвертувати у 50 інших. Усі ці голоси Respeecher зберігає на своєму голосовому маркетплейсі – новій бізнес-ніші.
«Ми плануємо серйозно інвестувати у маркетплейс цього року», – каже Сердюк. Там Respeecher продає штучні та реальні голоси людей, тварин, уявних монстрів.
Студії розробки ігор чи мультфільмів можуть використати ці голоси, щоб не наймати нових акторів. «Можна найняти одну людину і конвертувати її голос у будь-який інший з нашої бібліотеки», – каже Сердюк.
Олександр Чекменьов
Використання технології
Ринок голосових технологій буде швидко рости: у 2026 році він коштуватиме $20,9 млрд проти $7,7 млрд у 2020 році.
Серед фанатів технології – студії фільмів, які хочуть зекономити на етапі постпродакшену.
«Якщо на цьому етапі у звуковій доріжці виявляють дефекти, то повертати актора в студію на перезапис дорого і займає багато часу», – каже Діоніс Акулов, креативний продюсер української постпродакшн-компанії To Be Production. Respeecher міг би виправити ці дефекти віддалено.
У технології є й недоліки – її можуть використовувати, щоб маніпулювати і обманювати.
Наприклад, у 2019 році шахраї використали технологію клонування голосу, щоб видати себе за СЕО британської енергетичної компанії, намагаючись вкрасти $240 000. Минулого року шахраї вивели з рахунку гонконгського банку $400 000, підробивши голос директора однієї з компаній-клієнтів.
Маніпулювати голосом легше, ніж відео, тому технологія ставатиме більш поширеною, каже Джейк Мур, експерт з кібербезпеки у британській охоронній компанії ESET.
«Без вивчення цього нового типу атаки, а також кращих методів аутентифікації в мережі, більше компаній ставатиме жертвами штучних розмов», – каже Мур в інтерв’ю американському Forbes.
Засновники Respeecher знають про можливі зловживання і кажуть, що намагаються протидіяти ним. Наприклад, стартап не використовує голос без дозволу його власника і підписує з ним згоду. Українці також розробляють технологію, яка виявлятиме аудіо-маніпуляції.
«Фільм з Ніксоном якраз про те, щоб показати, як технології можуть маніпулювати історією», – каже Сердюк. Адже творці проєкту змогли зробити так, щоб подія, якої ніколи не відбулося, звучала по-справжньому.
Ви знайшли помилку чи неточність?
Залиште відгук для редакції. Ми врахуємо ваші зауваження якнайшвидше.
