Nvidia представила програмну платформу Open Agent Safety Platform для розробників ШІ, яка має допомогти встановлювати обмеження для автономних агентів і запобігати їхньому виходу за межі контрольованого середовища, пише CNBC.
Новий журнал Forbes Ukraine – у продажу з безкоштовною доставкою
Четвертий номер Forbes Ukraine у 2026 році – про людей і бізнеси, які вже сьогодні визначають майбутнє країни. Усередині – «30 до 30», 15 перспективних ветеранських компаній, 20 франшиз із потенціалом зростання, Говард Баффет і $1,4 млрд допомоги Україні, ціна війни для бізнесу та українське мистецтво воєнного часу.
Деталі
- Одним із компонентів Open Agent Safety Platform є Nvidia OpenShell. Він працює на центральних процесорах і встановлює обмеження на можливості ШІ-агентів. Інший компонент – Sentry, який відстежує дії агентів і працює на мережевих чипах.
- Частину програмного забезпечення Nvidia відкрила у форматі open source. Компанія позиціонує платформу як еталонну архітектуру, на основі якої партнери зможуть створювати власні продукти.
- Серед партнерів Nvidia назвала Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm та Intel. Nvidia і Anthropic працюють над інтеграцією хмарних керованих агентів з OpenShell.
- Нова платформа могла б запобігти інциденту з Hugging Face у липні, зазначив віцепрезидент Nvidia з корпоративного ШІ Джастіна Бойтано. За його словами, Hugging Face повідомила про понад 17 000 агентів, які атакували її інфраструктуру протягом кількох днів і тижнів.
- Гендиректор Nvidia Дженсен Хуанг останнім часом активно бере участь у дискусії про безпеку ШІ. На його думку, значна частина ризиків, повʼязаних із поведінкою ШІ-систем, має вирішуватися інженерними методами та розвитком відповідних технологій.
Контекст
Запуск платформи Nvidia відбувається на тлі дискусії про те, як контролювати дедалі автономніші ШІ-агенти. Керівники технологічних компаній останнім часом говорили про необхідність уповільнення розвитку ШІ. Гендиректор Anthropic Даріо Амодеї закликав до державного регулювання та ширшого уповільнення галузі, тоді як CEO OpenAI Сем Альтман заявляв про необхідність самостійно контролювати темпи розвитку технології. CEO Meta Марк Цукерберг виступив за залучення незалежних оцінювачів і радників.
Президент США Дональд Трамп 14 вересня відкинув заклики уповільнити розвиток ШІ та виступив проти нових обмежень для галузі.
Минулого тижня OpenAI повідомила, що проводить масштабну перевірку активності своїх моделей в інтернеті та вже повідомила десятки сторонніх організацій про потенційно небезпечні випадки.
