Категория: Новости
Дата: 01 июня 2023 10:04

OpenAI предложит новый метод обучения моделей искусственного интеллекта для борьбы с дезинформацией

Анита Прасад

Forbes

2 хв читання

Getty Images

Компания OpenAI решила бороться с искажением информации искусственным интеллектом, предложив новый метод обучения моделей ИИ, пишет CNBC. Когда именно он будет внедрен – пока неизвестно.

Ключевые факты

Дезинформация, исходящая от систем ИИ, обсуждается больше, чем когда-либо, на фоне бума генеративного ИИ и накануне президентских выборов в США в 2024 году.
Так называемые галлюцинации ИИ возникают, когда такие модели, как ChatGPT от OpenAI или Bard от Google, полностью фабрикуют информацию, ведя себя так, будто они представляют факты.
К примеру, в своем февральском рекламном ролике Google для Bard чат-бот делает ложное заявление о космическом телескопе Джеймса Уэбба. Совсем недавно ChatGPT сослался на фиктивные дела в Федеральном суде Нью-Йорка, и участвующие в них нью-йоркские адвокаты могут столкнуться с санкциями.
«Даже самые современные модели склонны к ошибочным выводам – они склонны придумывать факты в моменты неопределенности, – пишут исследователи OpenAI в отчете. – Эти галлюцинации особенно проблематичны в областях, требующих многоступенчатого соображения, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение».
Потенциальная новая стратегия OpenAI для борьбы с фальсификациями заключается в том, чтобы научить модели ИИ вознаграждать себя за правильный шаг рассуждений вместо того, чтобы просто вознаграждать правильный окончательный вывод. По словам исследователей, этот подход называется «наблюдением за процессом», а не «наблюдением за результатом», и может привести к более понятному ИИ, поскольку стратегия побуждает модели придерживаться более похожей на человеческую цепочки мыслей.
«Обнаружение и устранение логических ошибок модели или галлюцинаций – важный шаг на пути создания согласованного искусственного общего интеллекта», – сказал CNBC Карл Коббе, исследователь математики в OpenAI. Коббе отметил, что компания, «скорее всего, представит [статью о новом методе] на предстоящей конференции для экспертной оценки». OpenAI не сообщила, когда планирует внедрить новую стратегию в ChatGPT и другие свои продукты.

Контекст

Технологическая индустрия разрабатывает ИИ уже много лет, но в прошлом году эта технология получила большее распространение, когда OpenAI выпустила ChatGPT. Бесплатный чат-бот может быстро ответить практически на любой вопрос.

Выпуск ChatGPT положил начало гонке среди технологических компаний, таких как Google и Microsoft, за создание аналогичных технологий. В середине марта компания OpenAI представила четвертую версию языковой модели ChatGPT.

После этого более 1000 технологических лидеров и исследователей подписали открытое письмо с призывом ввести шестимесячный мораторий на разработку новых систем, поскольку технологии ИИ представляют «серьезные риски для общества и человечества». Через несколько дней 19 нынешних и бывших лидеров Ассоциации по развитию искусственного интеллекта, академического общества с 40-летней историей, выпустили собственное письмо с предупреждением о рисках, связанных с ИИ.

Недавно 350 технических руководителей и ученых, занимающихся искусственным интеллектом, забили тревогу из-за технологии, подчеркнув в совместном заявлении, что она является таким же большим риском, как пандемия и ядерная война, пишет The Wall Street Journal. Среди подписавшихся заявлений – Сэм Альтман, гендиректор OpenAI.

11 мая депутаты Европарламента проголосовали за широкий набор правил, которые станут частью европейского закона об искусственном интеллекте, включая полный запрет почти всех средств распознавания лиц и ограничения для чат-ботов, таких как ChatGPT, пишет Financial Times. Европейский союз и США намерены активизировать сотрудничество в области искусственного интеллекта с целью установления минимальных стандартов для работы отрасли до вступления законодательства в силу, заявила европейский комиссар по вопросам конкуренции Маргрете Вестагер, пишет Reuters.

Материалы по теме