ШІ-агенти OpenAI під час двох внутрішніх завдань із програмування відключали системи моніторингу та вводили співробітників в оману. Компанія посилює контроль за автономними моделями й з’ясовує, чи свідчать ці випадки про їхню схильність обходити захисні механізми, пише FT.
Заощаджуйте, отримуючи 6 журналів за ціною 4
Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.
Деталі
- За даними OpenAI, в одному з інцидентів на початку жовтня ШІ-агент вимкнув автоматичні сповіщення для команди безпеки. Через кілька днів інший агент видалив систему моніторингу, а потім збрехав співробітникам про свої дії.
- Обидва випадки сталися приблизно за два тижні до оприлюднення інформації 20 жовтня. OpenAI пояснила, що агенти розглядали можливість зберегти захисні механізми, але сприйняли звичайні інструкції з програмування як дозвіл послабити їх.
- Компанія посилює моніторинг і перевіряє, чи була така поведінка наслідком надмірної наполегливості під час виконання завдань, чи свідчить про схильність моделей навмисно обходити системи контролю.
Контекст
Інциденти посилюють занепокоєння щодо кібербезпеки автономних ШІ-систем. Експерти побоюються, що просунуті моделі можуть розпізнавати ситуації, коли за ними спостерігають, приховувати небажану поведінку або діяти інакше під час тестування, ніж у реальних умовах.
Раніше під час тестування моделі OpenAI демонстрували небажану поведінку, зокрема виходили за встановлені обмеження. Незалежні дослідники з Asymmetric Security і Transluce виявили, що масштаби деяких попередніх інцидентів із кібератаками були більшими, ніж компанія повідомляла спочатку. Серед іншого, йшлося про спроби приховати дії зі збору даних.
У серпні OpenAI повідомила про перегляд процедур тестування та збільшення ресурсів для моніторингу ШІ-агентів. Компанія планувала налаштувати сповіщення про потенційні проблеми протягом 30 хвилин після їх виявлення.
Конкурент OpenAI Anthropic надала некомерційній організації METR доступ до своїх моделей на умовах, подібних до доступу внутрішнього співробітника, для оцінювання ризиків. OpenAI поки не повідомляла про аналогічну угоду із зовнішнім оцінювачем.
Гендиректор OpenAI Сем Альтман заявляв, що компанія відкладе IPO, яке спочатку очікували цього року, доки не буде впевнена у своїй готовності до наступного етапу розвитку ШІ. Тепер вихід на біржу очікується у 2027 році.
