Категорія
Новини
Дата

Nvidia запускає платформу для захисту ШІ-агентів від неконтрольованих дій

1 хв читання

Поширити

Nvidia представила програмну платформу Open Agent Safety Platform для розробників ШІ, яка має допомогти встановлювати обмеження для автономних агентів і запобігати їхньому виходу за межі контрольованого середовища, пише CNBC.

Новий журнал Forbes Ukraine – у продажу з безкоштовною доставкою

Усередині — рейтинг «202 найбільші приватні компанії», 25 найдорожчих брендів України, зміна керівників у великому бізнесі, 10 перспективних косметичних брендів та 58 нових ресторанів у спецпроєкті «Смак країни».

Купити журнал

Деталі

  • Одним із компонентів Open Agent Safety Platform є Nvidia OpenShell. Він працює на центральних процесорах і встановлює обмеження на можливості ШІ-агентів. Інший компонент – Sentry, який відстежує дії агентів і працює на мережевих чипах.
  • Частину програмного забезпечення Nvidia відкрила у форматі open source. Компанія позиціонує платформу як еталонну архітектуру, на основі якої партнери зможуть створювати власні продукти.
  • Серед партнерів Nvidia назвала Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm та Intel. Nvidia і Anthropic працюють над інтеграцією хмарних керованих агентів з OpenShell.
  • Нова платформа могла б запобігти інциденту з Hugging Face у липні, зазначив віцепрезидент Nvidia з корпоративного ШІ Джастіна Бойтано. За його словами, Hugging Face повідомила про понад 17 000 агентів, які атакували її інфраструктуру протягом кількох днів і тижнів.
  • Гендиректор Nvidia Дженсен Хуанг останнім часом активно бере участь у дискусії про безпеку ШІ. На його думку, значна частина ризиків, повʼязаних із поведінкою ШІ-систем, має вирішуватися інженерними методами та розвитком відповідних технологій.

Контекст

Запуск платформи Nvidia відбувається на тлі дискусії про те, як контролювати дедалі автономніші ШІ-агенти. Керівники технологічних компаній останнім часом говорили про необхідність уповільнення розвитку ШІ. Гендиректор Anthropic Даріо Амодеї закликав до державного регулювання та ширшого уповільнення галузі, тоді як CEO OpenAI Сем Альтман заявляв про необхідність самостійно контролювати темпи розвитку технології. CEO Meta Марк Цукерберг виступив за залучення незалежних оцінювачів і радників.

Президент США Дональд Трамп 14 вересня відкинув заклики уповільнити розвиток ШІ та виступив проти нових обмежень для галузі.

Заощаджуйте, отримуючи 6 журналів за ціною 4

Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.

Купити

Минулого тижня OpenAI повідомила, що проводить масштабну перевірку активності своїх моделей в інтернеті та вже повідомила десятки сторонніх організацій про потенційно небезпечні випадки.

Матеріали по темі

Ви знайшли помилку чи неточність?