Meta Platforms разрабатывает новую систему искусственного интеллекта, которая должна быть столь же мощной, как и самая совершенная модель ChatGPT от OpenAI. Об этом пишет Wall Street Journal со ссылкой на людей, знакомых с этим вопросом.
Ключевые факты
- Материнская компания Facebook и Instagram планирует запустить новую модель в следующем году, отмечает издание и добавляет, что она будет в несколько раз мощнее коммерческой версии Llama 2.
- Новая ИИ-модель, над которой работает Meta, призвана помочь компаниям создавать сложный текст, анализ и выполнять другие задачи, пишет WSJ.
- Разработкой занимается группа, созданная главой компании Марком Цукербергом для ускорения разработки генеративных инструментов искусственного интеллекта. Meta планирует начать обучение новой модели ИИ, известной как крупная языковая модель, в начале 2024 года.
- Сейчас компания строит необходимые центры обработки данных и покупает самые современные микросхемы Nvidia H100 для обучения ИИ.
- Хотя Meta и объединилась с Microsoft, чтобы сделать Llama 2 доступной на платформе облачных вычислений Microsoft Azure, она планирует обучить новую модель на собственной инфраструктуре, говорят собеседники WSJ.
- Цукерберг отмечает, что новая модель, как и предыдущие предложения Meta по искусственному интеллекту, будет с открытым кодом, то есть бесплатной.
- Планы по новой модели, о которых ранее не сообщалось, являются частью усилий Цукерберга позиционировать Meta как главную силу в мире ИИ после отставания конкурентов, отметило издание.
Контекст
В феврале Meta представила языковую модель LLaMA (Large Language Model Meta AI), разработанную, чтобы помочь исследователям работать в области ИИ. Языковая модель была доступна по некоммерческой лицензии для исследователей и организаций, связанных с правительством, гражданским обществом и научными кругами.
LLaMA работала, принимая последовательность слов в качестве входных данных и прогнозируя следующее слово для рекурсивного генерирования текста. Чтобы научить модель, разработчики использовали контент на 20 самых распространенных языках, сосредоточившись на языках с латиницей и кириллицей.
В марте Цукерберг заявил, что «развитие ИИ и добавление его в каждый наш продукт» – самая большая инвестиция компании. Он надеется расширить технологию и в метавселенную.
В конце августа Meta представила ИИ-генератор программного кода Code Llama, построенный на базе большой языковой модели Llama 2. Инструментом можно пользоваться бесплатно в коммерческих и исследовательских целях.
В блоге компании рассказали, что Code Llama является специальной версией Llama 2, дополнительно обученной на специфическом для программирования наборе данных. Она поддерживает популярные языки программирования, включая Python, C++, Java, PHP, JavaScript, TypeScript, C# и Bash.
Также Meta представила специализированные модели Code Llama-Python и Code Llama-Instruct. Модель Python была обучена на дополнительном наборе данных. Code Llama-Instruct – модель, адаптированная для лучшего понимания природного языка. Компания отметила, что Code Llama работает быстрее и лучше других общедоступных моделей.
Вы нашли ошибку или неточность?
Оставьте отзыв для редакции. Мы учтем ваши замечания как можно скорее.
