Категорія
Новини
Дата

OpenAI призупинила роботу над Astra: ШІ-модель навчилася атакувати захищені системи

1 хв читання

Поширити

OpenAI призупинила частину внутрішньої роботи над майбутньою моделлю штучного інтелекту Astra після перевірки, яка показала значний прогрес у програмуванні та кібербезпеці. Попередні оцінки свідчать, що модель може відповідати критичному рівню кіберможливостей, повідомила компанія у блозі.

Заощаджуйте, отримуючи 6 журналів за ціною 4

Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.

Купити

Деталі 

  • Astra досягла так званого «критичного порогу кібербезпеки». Це означає, що модель потенційно здатна самостійно знаходити вразливості та здійснювати кібератаки на реальні системи, які традиційно вважаються добре захищеними.
  • OpenAI зазначила, що продовжує тестувати модель, але вже майже точно відомо, що її можливості відповідають критичному рівню за внутрішньою системою оцінки ризиків Preparedness Framework.
  • Через це компанія посилила заходи безпеки та призупинила роботу з Astra через невідповідність новим вимогам. Компанія залучає державні установи та окремі організації, що спеціалізуються на безпеці ШІ, для додаткового тестування моделі.
  • OpenAI наголосила, що Astra не використовувалася під час нещодавнього інциденту з Hugging Face.
  • Компанія пояснила публічне розкриття інформації про Astra прагненням бути прозорою перед суспільством і спільнотами, які займаються безпекою та кіберзахистом. 

Контекст 

OpenAI опинилася під посиленою увагою після того, як інша ще не випущена модель компанії під час внутрішнього тестування змогла вийти за межі свого середовища та отримала доступ до систем Hugging Face. Це стало першим підтвердженим випадком втрати лабораторією ШІ контролю над моделлю під час тестування.

Співзасновник Hugging Face Клеман Деланг підтвердив факт атаки, написавши в соцмережі X: «Важко повірити, що все це ШІ зробив самостійно!».

Після цього OpenAI та Anthropic повідомляли про інші випадки, коли їхні моделі під час перевірок кібербезпеки виходили за межі тестових середовищ або створювали потенційні загрози.

Ця ситуація заставила Nvidia, Microsoft, SpaceX, Palantir та десятки інших американських і європейських технологічних компаній створити Open Secure AI Alliance – альянс для розвитку відкритих інструментів безпеки штучного інтелекту. 

Матеріали по темі

Ви знайшли помилку чи неточність?