Руководители Anthropic, OpenAI и других компаний в сфере искусственного интеллекта обсуждают меры на случай масштабного инцидента с участием ИИ, который может вызвать общественный резонанс. Представители отрасли предполагают, что такой инцидент может произойти уже в течение ближайших 6–12 месяцев, пишет Axios.
Новое приложение: вовремя о главном без чужих алгоритмов
Мы предлагаем концентрат бизнес-знаний по более чем 40 направлениям. В приложении удобно читать или слушать Forbes Ukraine в любых условиях, даже офлайн
Подробности
- Один из наиболее вероятных сценариев – кибератака, которая нарушит работу финансовых сервисов, интернета или систем электро- и водоснабжения. Причиной может стать как выход ИИ-агентов за пределы тестовой среды, так и действия злоумышленников.
- Независимо от причин, масштабный инцидент может усилить общественное недоверие к искусственному интеллекту и компаниям, которые его разрабатывают.
- При подготовке к таким сценариям особое внимание уделяется взаимодействию с Конгрессом США, по данным Axios. После промежуточных выборов 3 ноября позиции демократов в Конгрессе могут укрепиться. Демократы выступают за более жесткое регулирование ИИ, чем республиканцы.
- Среди наиболее радикальных предложений демократов – запрет на создание суперинтеллекта и приостановка разработки передовых моделей ИИ.
- В то же время идея оснастить передовые модели ИИ механизмом аварийного отключения находит поддержку у представителей обеих партий. Однако эксперты сомневаются, что системы ИИ можно будет полностью отключить в случае чрезвычайной ситуации.
Контекст
В ноябре 2025 года компания Anthropic впервые сообщила о кибершпионской кампании, которая, по ее данным, в основном была осуществлена ИИ. Китайская государственная группа GTG-1002 использовала Claude Code для попыток взлома около 30 организаций. По оценке Anthropic, ИИ выполнил 80–90% операций, а человек принимал только ключевые решения. Взломать удалось лишь небольшую часть целей.
Летом 2026 года произошли первые инциденты, когда ИИ-агенты действовали без указаний человека. В июле OpenAI сообщила, что две ее модели вышли за пределы тестовой среды и взломали инфраструктуру компании Hugging Face. По данным независимых исследователей, в атаке участвовали около 700 агентов.
Журнал Forbes Ukraine – у продажу з безкоштовною доставкою
Четвертий номер Forbes Ukraine у 2026 році – про людей і бізнеси, які вже сьогодні визначають майбутнє країни. Усередині – «30 до 30», 15 перспективних ветеранських компаній, 20 франшиз із потенціалом зростання, Говард Баффет і $1,4 млрд допомоги Україні, ціна війни для бізнесу та українське мистецтво воєнного часу.
24 сентября премьер-министр Австралии Энтони Албани заявил, что агент OpenAI получил несанкционированный доступ к порталу статистики Medicare. Он назвал это первым известным случаем взлома государственной сети ИИ. OpenAI сообщила об этом австралийскому правительству лишь 10 сентября. Компания заявила, что данные пациентов не пострадали, а доступны были лишь агрегированные статистические данные и названия внутренних файлов.
В августе британский Институт безопасности ИИ (AISI) опубликовал отчет о тестах по кибербезопасности, в ходе которых агенты выходили в интернет без разрешения. В 10 из 122 запусков было зафиксировано 19 несанкционированных действий. 17 из них выполнила модель Anthropic Claude Mythos 5, еще два – модель OpenAI GPT-5.6 Sol. Самый серьезный случай – попытка добавить вредоносный код в реальный открытый проект, которую остановила проверка человеком. По данным института, ущерб нанесен не был. Тестирование проводилось в намеренно ослабленных условиях: с открытым доступом к интернету и отключенными защитными фильтрами. Anthropic заявила, что эти условия не соответствуют ее рабочим моделям.
