Компания OpenAI решила бороться с искажением информации искусственным интеллектом, предложив новый метод обучения моделей ИИ, пишет CNBC. Когда именно он будет внедрен – пока неизвестно.
Ключевые факты
- Дезинформация, исходящая от систем ИИ, обсуждается больше, чем когда-либо, на фоне бума генеративного ИИ и накануне президентских выборов в США в 2024 году.
- Так называемые галлюцинации ИИ возникают, когда такие модели, как ChatGPT от OpenAI или Bard от Google, полностью фабрикуют информацию, ведя себя так, будто они представляют факты.
- К примеру, в своем февральском рекламном ролике Google для Bard чат-бот делает ложное заявление о космическом телескопе Джеймса Уэбба. Совсем недавно ChatGPT сослался на фиктивные дела в Федеральном суде Нью-Йорка, и участвующие в них нью-йоркские адвокаты могут столкнуться с санкциями.
- «Даже самые современные модели склонны к ошибочным выводам – они склонны придумывать факты в моменты неопределенности, – пишут исследователи OpenAI в отчете. – Эти галлюцинации особенно проблематичны в областях, требующих многоступенчатого соображения, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение».
- Потенциальная новая стратегия OpenAI для борьбы с фальсификациями заключается в том, чтобы научить модели ИИ вознаграждать себя за правильный шаг рассуждений вместо того, чтобы просто вознаграждать правильный окончательный вывод. По словам исследователей, этот подход называется «наблюдением за процессом», а не «наблюдением за результатом», и может привести к более понятному ИИ, поскольку стратегия побуждает модели придерживаться более похожей на человеческую цепочки мыслей.
- «Обнаружение и устранение логических ошибок модели или галлюцинаций – важный шаг на пути создания согласованного искусственного общего интеллекта», – сказал CNBC Карл Коббе, исследователь математики в OpenAI. Коббе отметил, что компания, «скорее всего, представит [статью о новом методе] на предстоящей конференции для экспертной оценки». OpenAI не сообщила, когда планирует внедрить новую стратегию в ChatGPT и другие свои продукты.
Контекст
Технологическая индустрия разрабатывает ИИ уже много лет, но в прошлом году эта технология получила большее распространение, когда OpenAI выпустила ChatGPT. Бесплатный чат-бот может быстро ответить практически на любой вопрос.
Выпуск ChatGPT положил начало гонке среди технологических компаний, таких как Google и Microsoft, за создание аналогичных технологий. В середине марта компания OpenAI представила четвертую версию языковой модели ChatGPT.
После этого более 1000 технологических лидеров и исследователей подписали открытое письмо с призывом ввести шестимесячный мораторий на разработку новых систем, поскольку технологии ИИ представляют «серьезные риски для общества и человечества». Через несколько дней 19 нынешних и бывших лидеров Ассоциации по развитию искусственного интеллекта, академического общества с 40-летней историей, выпустили собственное письмо с предупреждением о рисках, связанных с ИИ.
Недавно 350 технических руководителей и ученых, занимающихся искусственным интеллектом, забили тревогу из-за технологии, подчеркнув в совместном заявлении, что она является таким же большим риском, как пандемия и ядерная война, пишет The Wall Street Journal. Среди подписавшихся заявлений – Сэм Альтман, гендиректор OpenAI.
11 мая депутаты Европарламента проголосовали за широкий набор правил, которые станут частью европейского закона об искусственном интеллекте, включая полный запрет почти всех средств распознавания лиц и ограничения для чат-ботов, таких как ChatGPT, пишет Financial Times. Европейский союз и США намерены активизировать сотрудничество в области искусственного интеллекта с целью установления минимальных стандартов для работы отрасли до вступления законодательства в силу, заявила европейский комиссар по вопросам конкуренции Маргрете Вестагер, пишет Reuters.
Вы нашли ошибку или неточность?
Оставьте отзыв для редакции. Мы учтем ваши замечания как можно скорее.
