Американська компанія Nvidia розробила нейромережу, що здатна генерувати відео за текстовим описом. Нову розробку компанія презентувала на конференції IEEE з компʼютерного зору та розпізнавання образів.
Ключові факти
- За основу розробки взяті напрацювання нейромережі Stable Diffusion. За словами розробників, навчання йде дуже швидко.
- Нейромережа генерує відео з роздільною здатністю до 1280x2048 пікселів з частотою 24 кадри за секунду і враховує близько 4,1 млрд параметрів, з яких 2,7 млрд навчаються на відео.
- Як приклади Nvidia показала згенеровані відео за описами: «Вдягнена в костюм лисиця, що танцює в парку», «Самотній мандрівник у туманному лісі на світанку», «Снігова людина у заметіль» та інші.
- Оскільки це лише дослідницька розробка, про появу нової нейромережі у публічному доступі поки що не йдеться.
Контекст
У березні компанія OpenAI, яка створила чат-бот ChatGPT, анонсувала випуск більш потужної та удосконаленої версії штучного інтелекту – GPT-4. Нейромережу «навчили» обробляти не тільки текст, але й картинки.
Найголовніше нововведення – можливість використовувати зображення як вхідні дані й комбінувати їх із текстом. Тепер нейромережа може розуміти, що зображено на фото, та враховувати малюнки і схеми при розвʼязанні задач. Також ШІ може пояснювати дані, подані як діаграми. Наразі робота із зображеннями знаходиться на стадії закритого тестування і поки недоступна загалу.
Ви знайшли помилку чи неточність?
Залиште відгук для редакції. Ми врахуємо ваші зауваження якнайшвидше.
