Может ли программа на основе искусственного интеллекта (ИИ) закрыть вам доступ к работе мечты? Городской совет Нью-Йорка хочет убедиться, что такого не произойдет с людьми, которые ищут работу в «Большом яблоке». Совет недавно принял законопроект, по которому провайдеры, предоставляющие рекрутерам инструменты автоматизированного отбора кандидатов на работу, должны ежегодно разрешать аудит своих алгоритмов ИИ, а результаты проверки сообщать компаниям-клиенткам.
«Эта рассылка о тех, кто ищет свои ИИ-кейсы вслух»
Если такая мера станет законом, то это будет одним из первых значительных шагов в США, направленных на то, чтобы предотвратить появление встроенных предвзятостей в ПО на основе ИИ, дискриминирующих людей на основе расовой, этнической и другой принадлежности. Если таких мер будет больше, то это может привести к буму спроса на цифровых «охотников за головами», которые используют компьютеры, чтобы найти свою «добычу».
Многие компании сейчас предлагают вознаграждение за обнаружение багов в защите, которое может превышать сотни тысяч долларов. Компании готовы платить такие деньги людям, которые помогают им обнаружить ранее не обнаруженные недостатки защиты в их ПО.
Эта сфера настолько разрослась, что подарила миру такие стартапы, как Bugcrowd и HackerOne, помогающие директорам по информационным технологиям и другим руководителям запускать программы для цифровых «охотников за головами» и нанимать этичных хакеров.
Теперь эти стартапы сообщают о повышении интереса к программам, предлагающим вознаграждение этичным хакерам и исследователям за сообщения о незамеченных до сих пор предвзятостях в алгоритмах. Кроме дискриминации при отборе кандидатов на работу, такие предвзятости могут влиять на все: от рассмотрения заявления на кредит до полицейских стратегий.
Их могут намеренно или ненамеренно запрограммировать сами разработчики, либо эти предвзятости могут стать результатом выбора данных, на которых «учится» алгоритм.
Заощаджуйте, отримуючи 6 журналів за ціною 4
Купуйте річну передплату на шість журналів Forbes Ukraine за 1 799 грн замість 2 400 грн. Читайте головні історії українського бізнесу, ексклюзивні рейтинги та глибоку аналітику в кожному номері.
Почти все инициативы поиска ошибок в ИИ держали в секрете, а небольшие хакерские группы приглашали работать в таких программах, чтобы компании могли, так сказать, прощупать почву возможностей. «Это очень нервное занятие», – говорит Кэйси Эллис, основатель и голова Bugcrowd.
Вознаграждения от Twitter
Есть одна компания, которая пошла на шаг дальше и провела публичный эксперимент – Twitter. В июле гигант социальных медиа запустил программу поиска предвзятостей алгоритма за вознаграждение, предусматривавшую до $3500 за анализ алгоритма «обрезки» фотографий.
Компания уже признала, что алгоритм неоднократно «фильтровал» темнокожие лица, предпочитая белые лица, а также чаще выбирал мужчин, «обрезая» женщин. К таким выводам пришли после пользовательского возмущения потенциальной предвзятостью, вынудившей Twitter проанализировать алгоритм.
Некоторые критики решили, что дальнейшее решение публично запустить программу для выявления предвзятостей ИИ за вознаграждение – это просто пиар, но инженеры Twitter ответили, что разношерстная группа людей, которая будет анализировать алгоритм, имеет больше шансов на успешное выявление предвзятостей.
В итоге компания заплатила $7000, которые достались тем, кто показал Twitter, что его модель на основе ИИ предпочитает стереотипные стандарты красоты, то есть выбирает более худые, молодые, женственные и светлые лица.
Компания подчеркнула, что ценность этого замысла была в том, что он привлек людей со всех сторон. Алекс Райс, технический директор компании HackerOne, которая помогла Twitter запустить вышеупомянутую программу, уверен, что вознаграждения могут помочь другим бизнесам определить проблемы с алгоритмами, если позволят подвергнуть их модели на основе ИИ широкому анализу.
«Идея состоит в том, чтобы привлечь к решению проблемы людей с разнообразными взглядами, происхождением и опытом, чтобы как можно точнее воспроизвести модель реального мира», – говорит он.
Хотя Twitter не обещал запустить еще одну такую программу, фирма технологических исследований Forrester прогнозирует, что, по крайней мере, пять крупных компаний, среди которых банки и медицинские компаний, в следующем году запустят собственные программы выявления предвзятостей ИИ за вознаграждение.
Брендон Перселл, один из аналитиков фирмы, считает, что в течение нескольких лет количество таких программ будет расти в геометрической прогрессии, а директора ИТ, скорее всего, станут их ключевыми промоутерами вместе с кадровиками.
Разыскиваются: цифровые «охотники за головами»
Чтобы удовлетворить будущий спрос, миру нужно будет гораздо больше специалистов по ИИ. Экспертов по кибербезопасности сейчас мало, а вот людей с глубоким пониманием работы моделей на основе ИИ еще меньше. Некоторые хакеры, специализирующиеся на кибербезопасности, пойдут охотиться и на предвзятости ИИ, если вознаграждение будет достаточно большим. Но некоторые эксперты отмечают, что эти деятельности имеют ключевые отличия, которые делают поиск предвзятостей более сложной задачей.
Одна из них состоит в том, что алгоритмы постоянно эволюционируют с течением времени, когда им «скармливают» новые данные. Системы кибербезопасности тоже изменяются, но, как правило, медленнее. «Охотники за предвзятостями ИИ» должны будут смотреть на то, как алгоритмы взаимодействуют с более широкими системами в бизнесе, в то время как проблемы кибербезопасности более ограничены.
Некоторые этичные хакеры, охотящиеся на проблемы с безопасностью, говорят, что сами эти уникальные трудности поиска предвзятостей ИИ делают поиск такой интересной задачей. «Это скорее творческий, чем логический, процесс, требующий использования нестандартных методов», – объясняет Меган Говелл, одна из «охотниц за ИИ-предвзятостями», принявшая участие в программе Twitter.
Люди, которые хорошо разбираются в таких индустриях, как выдача кредитов и медицинские профилактические обследования, но не имеют навыков работы с ИИ, также могут помочь. Эллис из Bugcrowd отмечает, что некоторые самые успешные «охотники» на недостатки киберзащиты в автомобильной сфере – это фанаты автомобилей, которые настолько заинтересовались проблемами безопасности в индустрии, что решили овладеть инструментами кодирования.
Идея заключается в том, чтобы привлечь к решению проблемы людей с различными взглядами, происхождением и опытом, чтобы точнее воспроизвести модель реального мира.
Алекс Райс, директор IТ в HackerOne
В то время как «охотничьи» программы могут быть полезны в поиске предвзятостей, директора IТ убеждены, что они не должны быть первым и главным оружием для решения этой проблемы. Зато нужно сосредоточиться на том, чтобы использовать инструменты и процессы для создания алгоритмов, чтобы компании могли четко объяснять результаты на выходе.
Например, учить алгоритмы использовать контролируемое обучение, предусматривающее внесение четко определенных наборов данных, а не бесконтрольное обучение, в ходе которого алгоритмы сами должны определить структуру данных. Это может снизить риск появления предвзятостей.
Техноруководители в секторах, таких как банковское дело, обращают особое внимание на то, как создаются их алгоритмы и как они работают.
«Поскольку наша индустрия находится под пристальным контролем, это автоматически распространяются и на модели на основе ИИ, – объясняет Сатиш Мутукришнан, директор по данным, информационным и цифровым технологиям в Ally Financial (рыночная капитализация $16,8 млрд). – Мы начинаем с разработки контролируемых моделей дел, связанных с работой с клиентами».
Райс из HackerOne согласен, что многое можно и нужно делать для устранения предубеждений в моделях на основе ИИ еще на стадии их разработки. Но он все равно считает, что директорам компаний следует рассматривать «охотничьи» программы за вознаграждение как дополнительный инструмент в их арсенале.
«Вы хотите найти предвзятости с помощью автоматизации, сканирования, обучения разработчиков, инструментов для управления уязвимыми местами, – говорит Райс. – Но проблема в том, что этого недостаточно».
