Может ли программа на основе искусственного интеллекта (ИИ) закрыть вам доступ к работе мечты? Городской совет Нью-Йорка хочет убедиться, что такого не произойдет с людьми, которые ищут работу в «Большом яблоке». Совет недавно принял законопроект, по которому провайдеры, предоставляющие рекрутерам инструменты автоматизированного отбора кандидатов на работу, должны ежегодно разрешать аудит своих алгоритмов ИИ, а результаты проверки сообщать компаниям-клиенткам.
Если такая мера станет законом, то это будет одним из первых значительных шагов в США, направленных на то, чтобы предотвратить появление встроенных предвзятостей в ПО на основе ИИ, дискриминирующих людей на основе расовой, этнической и другой принадлежности. Если таких мер будет больше, то это может привести к буму спроса на цифровых «охотников за головами», которые используют компьютеры, чтобы найти свою «добычу».
Многие компании сейчас предлагают вознаграждение за обнаружение багов в защите, которое может превышать сотни тысяч долларов. Компании готовы платить такие деньги людям, которые помогают им обнаружить ранее не обнаруженные недостатки защиты в их ПО.
Эта сфера настолько разрослась, что подарила миру такие стартапы, как Bugcrowd и HackerOne, помогающие директорам по информационным технологиям и другим руководителям запускать программы для цифровых «охотников за головами» и нанимать этичных хакеров.
Теперь эти стартапы сообщают о повышении интереса к программам, предлагающим вознаграждение этичным хакерам и исследователям за сообщения о незамеченных до сих пор предвзятостях в алгоритмах. Кроме дискриминации при отборе кандидатов на работу, такие предвзятости могут влиять на все: от рассмотрения заявления на кредит до полицейских стратегий.
Их могут намеренно или ненамеренно запрограммировать сами разработчики, либо эти предвзятости могут стать результатом выбора данных, на которых «учится» алгоритм.
Почти все инициативы поиска ошибок в ИИ держали в секрете, а небольшие хакерские группы приглашали работать в таких программах, чтобы компании могли, так сказать, прощупать почву возможностей. «Это очень нервное занятие», – говорит Кэйси Эллис, основатель и голова Bugcrowd.
Вознаграждения от Twitter
Есть одна компания, которая пошла на шаг дальше и провела публичный эксперимент – Twitter. В июле гигант социальных медиа запустил программу поиска предвзятостей алгоритма за вознаграждение, предусматривавшую до $3500 за анализ алгоритма «обрезки» фотографий.
Компания уже признала, что алгоритм неоднократно «фильтровал» темнокожие лица, предпочитая белые лица, а также чаще выбирал мужчин, «обрезая» женщин. К таким выводам пришли после пользовательского возмущения потенциальной предвзятостью, вынудившей Twitter проанализировать алгоритм.
Некоторые критики решили, что дальнейшее решение публично запустить программу для выявления предвзятостей ИИ за вознаграждение – это просто пиар, но инженеры Twitter ответили, что разношерстная группа людей, которая будет анализировать алгоритм, имеет больше шансов на успешное выявление предвзятостей.
В итоге компания заплатила $7000, которые достались тем, кто показал Twitter, что его модель на основе ИИ предпочитает стереотипные стандарты красоты, то есть выбирает более худые, молодые, женственные и светлые лица.
Компания подчеркнула, что ценность этого замысла была в том, что он привлек людей со всех сторон. Алекс Райс, технический директор компании HackerOne, которая помогла Twitter запустить вышеупомянутую программу, уверен, что вознаграждения могут помочь другим бизнесам определить проблемы с алгоритмами, если позволят подвергнуть их модели на основе ИИ широкому анализу.
«Идея состоит в том, чтобы привлечь к решению проблемы людей с разнообразными взглядами, происхождением и опытом, чтобы как можно точнее воспроизвести модель реального мира», – говорит он.
Хотя Twitter не обещал запустить еще одну такую программу, фирма технологических исследований Forrester прогнозирует, что, по крайней мере, пять крупных компаний, среди которых банки и медицинские компаний, в следующем году запустят собственные программы выявления предвзятостей ИИ за вознаграждение.
Брендон Перселл, один из аналитиков фирмы, считает, что в течение нескольких лет количество таких программ будет расти в геометрической прогрессии, а директора ИТ, скорее всего, станут их ключевыми промоутерами вместе с кадровиками.
Разыскиваются: цифровые «охотники за головами»
Чтобы удовлетворить будущий спрос, миру нужно будет гораздо больше специалистов по ИИ. Экспертов по кибербезопасности сейчас мало, а вот людей с глубоким пониманием работы моделей на основе ИИ еще меньше. Некоторые хакеры, специализирующиеся на кибербезопасности, пойдут охотиться и на предвзятости ИИ, если вознаграждение будет достаточно большим. Но некоторые эксперты отмечают, что эти деятельности имеют ключевые отличия, которые делают поиск предвзятостей более сложной задачей.
Одна из них состоит в том, что алгоритмы постоянно эволюционируют с течением времени, когда им «скармливают» новые данные. Системы кибербезопасности тоже изменяются, но, как правило, медленнее. «Охотники за предвзятостями ИИ» должны будут смотреть на то, как алгоритмы взаимодействуют с более широкими системами в бизнесе, в то время как проблемы кибербезопасности более ограничены.
Некоторые этичные хакеры, охотящиеся на проблемы с безопасностью, говорят, что сами эти уникальные трудности поиска предвзятостей ИИ делают поиск такой интересной задачей. «Это скорее творческий, чем логический, процесс, требующий использования нестандартных методов», – объясняет Меган Говелл, одна из «охотниц за ИИ-предвзятостями», принявшая участие в программе Twitter.
Люди, которые хорошо разбираются в таких индустриях, как выдача кредитов и медицинские профилактические обследования, но не имеют навыков работы с ИИ, также могут помочь. Эллис из Bugcrowd отмечает, что некоторые самые успешные «охотники» на недостатки киберзащиты в автомобильной сфере – это фанаты автомобилей, которые настолько заинтересовались проблемами безопасности в индустрии, что решили овладеть инструментами кодирования.
Идея заключается в том, чтобы привлечь к решению проблемы людей с различными взглядами, происхождением и опытом, чтобы точнее воспроизвести модель реального мира.
Алекс Райс, директор IТ в HackerOne
В то время как «охотничьи» программы могут быть полезны в поиске предвзятостей, директора IТ убеждены, что они не должны быть первым и главным оружием для решения этой проблемы. Зато нужно сосредоточиться на том, чтобы использовать инструменты и процессы для создания алгоритмов, чтобы компании могли четко объяснять результаты на выходе.
Например, учить алгоритмы использовать контролируемое обучение, предусматривающее внесение четко определенных наборов данных, а не бесконтрольное обучение, в ходе которого алгоритмы сами должны определить структуру данных. Это может снизить риск появления предвзятостей.
Техноруководители в секторах, таких как банковское дело, обращают особое внимание на то, как создаются их алгоритмы и как они работают.
«Поскольку наша индустрия находится под пристальным контролем, это автоматически распространяются и на модели на основе ИИ, – объясняет Сатиш Мутукришнан, директор по данным, информационным и цифровым технологиям в Ally Financial (рыночная капитализация $16,8 млрд). – Мы начинаем с разработки контролируемых моделей дел, связанных с работой с клиентами».
Райс из HackerOne согласен, что многое можно и нужно делать для устранения предубеждений в моделях на основе ИИ еще на стадии их разработки. Но он все равно считает, что директорам компаний следует рассматривать «охотничьи» программы за вознаграждение как дополнительный инструмент в их арсенале.
«Вы хотите найти предвзятости с помощью автоматизации, сканирования, обучения разработчиков, инструментов для управления уязвимыми местами, – говорит Райс. – Но проблема в том, что этого недостаточно».
Вы нашли ошибку или неточность?
Оставьте отзыв для редакции. Мы учтем ваши замечания как можно скорее.
