ИИ-агенты OpenAI в ходе двух внутренних заданий по программированию отключали системы мониторинга и вводили сотрудников в заблуждение. Компания усиливает контроль над автономными моделями и выясняет, свидетельствуют ли эти случаи об их склонности обходить защитные механизмы, пишет FT.
Заощаджуйте, отримуючи 6 журналів за ціною 4
Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.
Подробности
- По данным OpenAI, в одном из инцидентов в начале октября ИИ-агент отключил автоматические уведомления для команды безопасности. Через несколько дней другой агент удалил систему мониторинга, а затем солгал сотрудникам о своих действиях.
- Оба случая произошли примерно за две недели до обнародования информации 20 октября. OpenAI объяснила, что агенты рассматривали возможность сохранить защитные механизмы, но восприняли обычные инструкции по программированию как разрешение ослабить их.
- Компания усиливает мониторинг и проверяет, было ли такое поведение следствием чрезмерной настойчивости при выполнении задач или свидетельствует о склонности моделей намеренно обходить системы контроля.
Контекст
Эти инциденты усиливают опасения по поводу кибербезопасности автономных систем искусственного интеллекта. Эксперты опасаются, что продвинутые модели могут распознавать ситуации, когда за ними наблюдают, скрывать нежелательное поведение или вести себя во время тестирования иначе, чем в реальных условиях.
Ранее в ходе тестирования модели OpenAI демонстрировали нежелательное поведение, в частности выходили за установленные ограничения. Независимые исследователи из Asymmetric Security и Transluce обнаружили, что масштабы некоторых предыдущих инцидентов с кибератаками были больше, чем компания сообщала изначально. Среди прочего речь шла о попытках скрыть действия по сбору данных.
В августе OpenAI сообщила о пересмотре процедур тестирования и увеличении ресурсов для мониторинга ИИ-агентов. Компания планировала настроить оповещения о потенциальных проблемах в течение 30 минут после их обнаружения.
Конкурент OpenAI, компания Anthropic, предоставила некоммерческой организации METR доступ к своим моделям на условиях, аналогичных доступу внутреннего сотрудника, для оценки рисков. OpenAI пока не сообщала об аналогичном соглашении с внешним оценщиком.
Гендиректор OpenAI Сэм Альтман заявил, что компания отложит IPO, которое изначально планировалось провести в этом году, до тех пор, пока не будет уверена в своей готовности к следующему этапу развития ИИ. Теперь выход на биржу ожидается в 2027 году.
