Китайська ByteDance, власник TikTok, розпочала навчання нової моделі штучного інтелекту, яка може досягати 10 трлн параметрів. Це зробить її однією з найбільших у світі та потенційно потужнішою за нинішні китайські аналоги, пише FT із посиланням на обізнані джерела.
Заощаджуйте, отримуючи 6 журналів за ціною 4
Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.
Деталі
- Модель перебуває на початковому етапі попереднього навчання, який зазвичай триває від трьох до шести місяців, повідомили троє співрозмовників видання. Лише після цього її донавчатимуть і, якщо проєкт буде успішним, випустять для користувачів.
- Очікується, що модель матиме до 10 трлн параметрів – це приблизно втричі більше, ніж у Kimi K3 від китайської Moonshot, яка зараз є найбільшою моделлю, створеною в Китаї.
- За оцінками галузевих експертів, найсучасніша модель Anthropic Mythos 5 має близько 8 трлн параметрів, хоча компанія офіційно не розкриває цих характеристик. Водночас експерти наголошують, що кількість параметрів не є єдиним показником продуктивності: на можливості моделі також впливають якість даних і методи навчання.
- Кілька китайських компаній уже працюють над моделями масштабу Anthropic Fable 5, однак саме ByteDance реалізує найамбітніший проєкт, кажуть експерти.
- Компанія дотримується стратегії незалежної розробки моделей без використання методу «дистиляції», коли менша модель навчається на основі вже існуючої великої моделі. Засновник ByteDance Чжан Їмін під час внутрішньої зустрічі із командою розробників закликав орієнтуватися на створення «моделі світового рівня» і не перейматися тимчасовим відставанням від конкурентів.
Контекст
ByteDance є власником TikTok і активно інвестує у розвиток штучного інтелекту. За останні три роки компанія розширила мережу дата-центрів, збільшила штат дослідників, розвиває хмарний підрозділ Volcano Engine та працює над власними ШІ-чипами. Її споживча модель Doubao є найпопулярнішим ШІ-асистентом у Китаї із 324 млн активних користувачів на місяць, а модель SeeDance входить до числа світових лідерів у генерації відео.
На 2026 рік ByteDance підвищила план капітальних витрат до понад 200 млрд юанів (близько $29 млрд) – це на 25% більше за початковий прогноз, що пояснюють зростанням цін на чипи та потребою масштабувати обчислювальні потужності, а комбінований прогноз капітальних витрат девʼяти найбільших глобальних хмарних провайдерів піднявся приблизно до $830 млрд, тобто на 79% більше, ніж роком раніше. Частину бюджету компанія спрямовує на закупівлю чипів, зокрема повідомлялося про можливу купівлю близько 20 000 Nvidia H200 за умови експортних дозволів, а також про плани налагодити у 2026 році масове виробництво двох власних ШІ-чипів, розроблених спільно з TSMC, щоб зменшити залежність від Nvidia.
