Модели искусственного интеллекта OpenAI и Anthropic в ходе тестирования самостоятельно совершили ряд несанкционированных действий, в частности взломали веб-сайт и пытались внедрить вредоносный код в программное обеспечение. Об этом сообщил Институт безопасности искусственного интеллекта Великобритании, пишет Bloomberg.
Новое приложение: вовремя о главном без чужих алгоритмов
Мы предлагаем концентрат бизнес-знаний по более чем 40 направлениям. В приложении удобно читать или слушать Forbes Ukraine в любых условиях, даже офлайн
Подробности
- В ходе проверки британский институт предоставил моделям доступ к интернету и отключил часть защитных ограничений, чтобы оценить их поведение в реалистичных условиях.
- По данным учреждения, модель Mythos 5 от Anthropic пыталась внести вредоносный код в проект с открытым исходным кодом на GitHub. Для этого она даже создала фальшивые учетные записи, чтобы повысить шансы на одобрение изменений. Однако администратор проекта обнаружил попытку и отклонил ее.
- Модели OpenAI во время другого теста воспользовались ошибкой в настройках тестовой среды, получили доступ к интернету и взломали сайт неназванной организации.
- Всего исследователи зафиксировали 19 случаев автономных несанкционированных действий в интернете, из которых 17 пришлись на модель Anthropic. В учреждении заявили, что это первый случай, когда риски автономного и обманчивого поведения моделей проявились столь отчетливо в ходе реальных испытаний.
- OpenAI сообщила об инциденте, произошедшем во время тестирования совместно с компанией Irregular. Anthropic заявила, что сотрудничает с британским институтом и проводит собственное расследование.
Контекст
В последние недели обе компании уже сообщали о других инцидентах, произошедших во время тестирования, в частности о взломах систем платформы Hugging Face и других организаций.
OpenAI назвала инцидент беспрецедентным для кибербезопасности и пообещала усилить механизмы защиты. Соучредитель Hugging Face Клеман Деланг подтвердил факт атаки, написав в социальной сети X: «Трудно поверить, что все это ИИ сделал самостоятельно!».
Журнал Forbes Ukraine – у продажу з безкоштовною доставкою
Четвертий номер Forbes Ukraine у 2026 році – про людей і бізнеси, які вже сьогодні визначають майбутнє країни. Усередині – «30 до 30», 15 перспективних ветеранських компаній, 20 франшиз із потенціалом зростання, Говард Баффет і $1,4 млрд допомоги Україні, ціна війни для бізнесу та українське мистецтво воєнного часу.
После этого Nvidia, Microsoft, SpaceX, Palantir и десятки других американских и европейских технологических компаний объявили о создании Open Secure AI Alliance – альянса по развитию открытых инструментов безопасности искусственного интеллекта. Инициатива была представлена после кибератаки на платформу Hugging Face, которая продемонстрировала ограничения закрытых моделей ИИ в сфере киберзащиты.
