Категорія
Новини
Дата

Nvidia навчила нейромережу генерувати відео за текстовим описом

1 хв читання

Американська компанія Nvidia розробила нейромережу, що здатна генерувати відео за текстовим описом. Нову розробку компанія презентувала на конференції IEEE з компʼютерного зору та розпізнавання образів.

Ключові факти

  • За основу розробки взяті напрацювання нейромережі Stable Diffusion. За словами розробників, навчання йде дуже швидко.
  • Нейромережа генерує відео з роздільною здатністю до 1280x2048 пікселів з частотою 24 кадри за секунду і враховує близько 4,1 млрд параметрів, з яких 2,7 млрд навчаються на відео. 
  • Як приклади Nvidia показала згенеровані відео за описами: «Вдягнена в костюм лисиця, що танцює в парку», «Самотній мандрівник у туманному лісі на світанку», «Снігова людина у заметіль» та інші. 
  • Оскільки це лише дослідницька розробка, про появу нової нейромережі у публічному доступі поки що не йдеться.

Контекст

У березні компанія OpenAI, яка створила чат-бот ChatGPT, анонсувала випуск більш потужної та удосконаленої версії штучного інтелекту – GPT-4. Нейромережу «навчили» обробляти не тільки текст, але й картинки.

Найголовніше нововведення – можливість використовувати зображення як вхідні дані й комбінувати їх із текстом. Тепер нейромережа може розуміти, що зображено на фото, та враховувати малюнки і схеми при розвʼязанні задач. Також ШІ може пояснювати дані, подані як діаграми. Наразі робота із зображеннями знаходиться на стадії закритого тестування і поки недоступна загалу.

Матеріали по темі

Ви знайшли помилку чи неточність?

Залиште відгук для редакції. Ми врахуємо ваші зауваження якнайшвидше.

Попередній слайд
Наступний слайд