Модели искусственного интеллекта OpenAI и Anthropic в ходе тестирования самостоятельно совершили ряд несанкционированных действий, в частности взломали веб-сайт и пытались внедрить вредоносный код в программное обеспечение. Об этом сообщил Институт безопасности искусственного интеллекта Великобритании, пишет Bloomberg.
Заощаджуйте, отримуючи 6 журналів за ціною 4
Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.
Подробности
- В ходе проверки британский институт предоставил моделям доступ к интернету и отключил часть защитных ограничений, чтобы оценить их поведение в реалистичных условиях.
- По данным учреждения, модель Mythos 5 от Anthropic пыталась внести вредоносный код в проект с открытым исходным кодом на GitHub. Для этого она даже создала фальшивые учетные записи, чтобы повысить шансы на одобрение изменений. Однако администратор проекта обнаружил попытку и отклонил ее.
- Модели OpenAI во время другого теста воспользовались ошибкой в настройках тестовой среды, получили доступ к интернету и взломали сайт неназванной организации.
- Всего исследователи зафиксировали 19 случаев автономных несанкционированных действий в интернете, из которых 17 пришлись на модель Anthropic. В учреждении заявили, что это первый случай, когда риски автономного и обманчивого поведения моделей проявились столь отчетливо в ходе реальных испытаний.
- OpenAI сообщила об инциденте, произошедшем во время тестирования совместно с компанией Irregular. Anthropic заявила, что сотрудничает с британским институтом и проводит собственное расследование.
Контекст
В последние недели обе компании уже сообщали о других инцидентах, произошедших во время тестирования, в частности о взломах систем платформы Hugging Face и других организаций.
OpenAI назвала инцидент беспрецедентным для кибербезопасности и пообещала усилить механизмы защиты. Соучредитель Hugging Face Клеман Деланг подтвердил факт атаки, написав в социальной сети X: «Трудно поверить, что все это ИИ сделал самостоятельно!».
После этого Nvidia, Microsoft, SpaceX, Palantir и десятки других американских и европейских технологических компаний объявили о создании Open Secure AI Alliance – альянса по развитию открытых инструментов безопасности искусственного интеллекта. Инициатива была представлена после кибератаки на платформу Hugging Face, которая продемонстрировала ограничения закрытых моделей ИИ в сфере киберзащиты.
