Компанія Anthropic під час внутрішнього аудиту виявила три випадки, коли її ШІ-модель Claude отримала несанкціонований доступ до систем трьох компаній під час тестів із кібербезпеки. Причиною стала помилка в конфігурації тестового середовища, яка відкрила моделі доступ до інтернету. Про результати розслідування Anthropic повідомила у своєму блозі.
Новий журнал Forbes Ukraine – у продажу з безкоштовною доставкою
Четвертий номер Forbes Ukraine у 2026 році – про людей і бізнеси, які вже сьогодні визначають майбутнє країни. Усередині – «30 до 30», 15 перспективних ветеранських компаній, 20 франшиз із потенціалом зростання, Говард Баффет і $1,4 млрд допомоги Україні, ціна війни для бізнесу та українське мистецтво воєнного часу.
Деталі
- Перевірку компанія розпочала після того, як минулого тижня OpenAI розкрила випадок, коли одна з її експериментальних моделей проникла в системи Hugging Face під час внутрішнього тестування.
- Anthropic проаналізувала 141 006 запусків тестів і виявила три інциденти. У кожному з них модель Claude під час взаємодії з партнером Irregular отримувала доступ до інтернету через помилково налаштоване середовище тестування, хоча за задумом мала працювати в ізольованому режимі.
- За даними компанії, доступ до реальної інфраструктури отримали три різні моделі: Opus 4.7, Mythos 5 та внутрішня експериментальна модель. У всіх випадках моделі отримували інструкцію, що доступу до інтернету немає, однак сприйняли реальні системи як частину тестового сценарію.
- Найстаріша модель Opus 4.7 розпізнала, що працює з реальною інфраструктурою, але все одно продовжила виконувати завдання, зокрема отримала облікові дані та взаємодіяла з виробничою базою даних.
- Mythos 5 також виявила ознаки роботи в реальному середовищі, але дійшла висновку, що це частина симуляції, після чого опублікувала шкідливий програмний пакет у відкритому репозиторії Python Package Index (PyPI). Пакет встигли завантажити й запустити сторонні системи до того, як його виявили.
- Лише найновіша внутрішня дослідницька модель припинила виконання завдання після того, як визначила, що взаємодіє з реальною системою.
- Anthropic наголосила, що не знайшла доказів того, що моделі діяли за власною ініціативою. За висновками компанії, вони лише намагалися виконати поставлене завдання. Також під час цих тестів не використовувалися додаткові механізми безпеки, які працюють у публічних версіях Claude і, за оцінкою компанії, могли б запобігти таким діям.
- Компанія заявила, що вже переглядає процедури проведення тестів і проводить незалежний аудит інцидентів разом із дослідницькою організацією METR.
Контекст
Минулого тижня OpenAI заявила, що під час тестування одна з її найсучасніших моделей змогла вийти за межі ізольованого випробувального середовища, отримати доступ до інтернету та провести хакерську атаку на Hugging Face.
Компанія назвала інцидент безпрецедентним для кібербезпеки та пообіцяла посилити механізми захисту. Співзасновник Hugging Face Клеман Деланг підтвердив факт атаки, написавши в соцмережі X: «Важко повірити, що все це ШІ зробив самостійно!»
Цього тижня Nvidia, Microsoft, SpaceX, Palantir та десятки інших американських і європейських технологічних компаній оголосили про створення Open Secure AI Alliance – альянсу для розвитку відкритих інструментів безпеки штучного інтелекту. Ініціативу презентували після кібератаки на платформу Hugging Face, яка показала обмеження закритих моделей ШІ для кіберзахисту.
Скільки бізнесу коштує вразливість: як HackenProof змінює економіку кібербезпеки
- Категорія
- Інновації
- Дата
