OpenAI начала тестирование новой системы безопасности в ChatGPT и добавила родительский контроль для подростковых аккаунтов, вызвав противоречивую реакцию пользователей, пишет Tech Crunch.
Заощаджуйте, отримуючи 6 журналів за ціною 4
Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.
Подробности
- Компания ввела safety routing – механизм, автоматически переключающий чат на модель GPT-5 в случаях эмоционально чувствительных разговоров. Именно эта модель, в отличие от более «покладистого» GPT-4o, была обучена работать с запросами, которые могут представлять риск для психического здоровья, используя функцию «безопасных завершений».
- Родительский контроль позволяет ограничивать функции чат-бота для подростков: выключать голосовой режим, память и генерацию изображений, устанавливать тихие часы и отказываться от использования данных в обучении моделей.
- Кроме того, аккаунты несовершеннолетних получат дополнительные ограничения относительно чувствительного контента и систему выявления признаков потенциальной склонности к самоповреждению. В случае риска OpenAI пообещала информировать родителей через email, SMS или push-уведомление, а в критических ситуациях – обращаться в правоохранители или экстренные службы.
- Пользователи и эксперты разделились в оценках. Одни приветствуют шаг как усиление безопасности, другие считают его чрезмерно попечительским и ухудшающим опыт работы с ChatGPT.
- OpenAI обещает за 120 дней доработать системы, признав, что баланс между безопасностью и качеством сервиса требует поиска.
Контекст
Новые защитные элементы появляются после самоубийства подростка Адама Рейна, который обсуждал с ChatGPT самоповреждение и планы покончить с собой. ИИ даже предоставил ему информацию о конкретных методах самоубийства, адаптированных к его хобби, сообщила The New York Times. Родители Рейна подали в суд на OpenAI с иском о неправомерной смерти.
В ответ OpenAI признала в предыдущем блоге недостатки в своих системах безопасности, в частности, неспособность поддерживать защитные барьеры во время длительных разговоров. Эксперты связывают эти проблемы с базовыми элементами дизайна моделей: тенденцией подтверждать утверждение пользователей и алгоритмами предугадывания следующего слова, заставляющих чат-боты продолжать опасные темы вместо перенаправления.
