OpenAI розкрила кілька раніше неоприлюднених випадків некоректної поведінки своїх моделей штучного інтелекту та представила нову систему для відстеження і розкриття таких інцидентів, пише Bloomberg. Серед них – моделі приховували та вигадували інформацію, щоб виконати поставлене завдання.
Новий журнал Forbes Ukraine – у продажу з безкоштовною доставкою
Четвертий номер Forbes Ukraine у 2026 році – про людей і бізнеси, які вже сьогодні визначають майбутнє країни. Усередині – «30 до 30», 15 перспективних ветеранських компаній, 20 франшиз із потенціалом зростання, Говард Баффет і $1,4 млрд допомоги Україні, ціна війни для бізнесу та українське мистецтво воєнного часу.
Деталі
- Компанія описала випадки, коли її моделі намагалися досягти результату під час виконання завдання або проходження оцінювання. Зокрема, ШІ вигадував відсутні дані, намагався обходити мережеві обмеження, а окремі агенти передавали один одному файли, які мали залишатися приватними.
- OpenAI називає такі випадки misalignment – поведінкою ШІ, яка не відповідає цілям людини. Водночас компанія уточнила, що жоден із нових розкритих інцидентів не передбачав злому або проникнення в системи сторонніх компаній.
- Нова система передбачає можливість для співробітників OpenAI самостійно повідомляти про подібні випадки. Компанія планує сортувати такі повідомлення та системно публікувати результати.
- Раніше OpenAI розкривала дослідження misalignment окремими публікаціями, але визнає, що такий підхід був нерегулярним.
- Оприлюднений перелік є лише початковим і не охоплює всі проблеми, які виникають під час роботи її чатботів і моделей, наголосила компанія.
- OpenAI заявила, що індустрія ШІ поки не досягла рівня контролю та моніторингу, який дозволив би безпечно продовжувати максимально швидке масштабування технології протягом тривалого часу.
- Подальші рішення щодо розвитку ШІ мають ґрунтуватися на даних, які можуть самостійно перевіряти дослідники та інші зовнішні спостерігачі, вважає компанія.
Контекст
У липні OpenAI повідомила про інцидент, під час якого її найсучасніші моделі отримали доступ до систем зовнішньої компанії Hugging Face. OpenAI пізніше заявила, що нові випадки misalignment не були пов’язані зі зломом сторонніх систем.
Питання безпеки ШІ загострилися на тлі низки інцидентів із моделями OpenAI, Anthropic та Meta.
Керівники технологічних компаній останніми днями по-різному оцінювали необхідність уповільнення розвитку ШІ. Гендиректор Anthropic Даріо Амодеї закликав до державного регулювання та ширшого уповільнення галузі, тоді як CEO OpenAI Сем Альтман заявляв про необхідність самостійно контролювати темпи розвитку технології. CEO Meta Марк Цукерберг виступив за залучення незалежних оцінювачів і радників.
Президент США Дональд Трамп 14 вересня відкинув заклики уповільнити розвиток ШІ та виступив проти нових обмежень для галузі.
