Категорія: Новини
Дата: 25 лютого 2023 18:53

Meta Цукерберга представила власну мовну модель LLaMA для дослідників AI

Таїса Мельник

Forbes

1 хв читання

Материнська компанія Facebook, Instagram і WhatsApp — Meta — представили мовну модель LLaMA (Large Language Model Meta AI), розроблену, щоб допомогти дослідникам працювати в галузі штучного інтелекту. Про це йдеться в блозі корпорації.

Ключові факти

Мовна модель буде доступна за некомерційною ліцензією для дослідників і організацій, повʼязаних з урядом, громадянським суспільством і науковими колами.
LLaMA працює, приймаючи послідовність слів як вхідні дані та прогнозуючи наступне слово для рекурсивного генерування тексту. Щоб навчити модель, розробники використовували контент на 20 найпоширеніших мовах, зосередившись на мовах з латиницею та кирилицею.
Як пише Reuters, LLaMA з 65 мільярдами параметрів є «конкурентоспроможною» з Chinchilla70B і PaLM-540B від Google. Вона потужніша за модель, яку Google використовував для демонстрації свого пошуку в чаті Bard.
Представник Meta пояснив продуктивність більшою кількістю «чистіших» даних і «архітектурними поліпшеннями» в моделі, які підвищили стабільність навчання. Для дослідників мовна модель буде доступна у декількох розмірах — 7 млрд, 13 млрд, 33 млрд та 65 млрд параметрів.
«Ми віримо, що вся спільнота штучного інтелекту — академічні дослідники, громадянське суспільство, політики та індустрія — повинні працювати разом, щоб розробити чіткі вказівки щодо відповідального використання штучного інтелекту загалом і великих мовних моделей зокрема. Ми з нетерпінням очікуємо побачити, чого спільнота може навчитися — і зрештою створити — за допомогою LLaMA», — ідеться в блозі Meta.

Контекст

Нове програмне забезпечення ChatGPT від OpenAI розбурхало технологічні фірми. Агентство Reuters виявило, що ШІ став навʼязливою ідеєю для технічних керівників, які згадували про це у шість разів частіше у нещодавніх звітах про доходи, ніж у попередні квартали.

Привабливість пошуку на основі ШІ полягає в тому, що він може видавати результати простою мовою, а не у вигляді списку посилань, що може зробити перегляд швидшим та ефективнішим. Тому власник Google – Alphabet Inc – анонсував запуск чат-бота Bard і більше інструментів штучного інтелекту для своєї пошукової системи.

Одразу після того Microsoft оголосила про презентацію свого пошуковика Bing із вбудованим ChatGPT. Новий Bing доступний сьогодні «для обмеженого попереднього перегляду».

Матеріали по темі