Чи може програма на основі штучного інтелекту (ШІ) закрити вам доступ до роботи мрії? Міська рада Нью-Йорка хоче переконатися, що такого не станеться з людьми, які шукають роботу у «Великому яблуці». Рада нещодавно прийняла законопроєкт, за яким провайдери, що надають рекрутерам інструменти автоматизованого відбору кандидатів на роботу, повинні щороку дозволяти аудит своїх алгоритмів ШІ, а результати перевірки повідомляти компаніям-клієнткам.
Якщо такий захід стане законом, то це буде одним із перших значних кроків у США, які спрямовані на те, щоб попередити появу вбудованих упередженостей у ПЗ на основі ШІ, які дискримінують людей на основі расової, етнічної та іншої приналежності. Якщо таких заходів буде більше, то це може призвести до буму попиту на цифрових «мисливців за головами», які використовують компʼютери, щоб знайти свою «здобич».
Багато компаній нині пропонує винагороду за виявлення багів у захисті, яка може перевищувати сотні тисяч доларів. Компанії готові платити такі гроші людям, які допомагають їм знайти раніше не виявлені недоліки захисту в їхньому ПЗ.
Ця сфера настільки розрослася, що подарувала світу такі стартапи, як Bugcrowd і HackerOne, що допомагають директорам з інформаційних технологій та іншим керівникам запускати програми для цифрових «мисливців за головами» і наймати етичних хакерів.
Тепер ці стартапи повідомляють про підвищення інтересу до програм, які пропонують винагороду етичним хакерам і дослідникам за повідомлення про непомічені досі упередженості в алгоритмах. Окрім дискримінації під час відбору кандидатів на роботу, такі упередженості можуть впливати на все: від розгляду заяви на кредит до поліцейських стратегій.
Їх можуть навмисно чи ненавмисно запрограмувати самі розробники, або ці упередженості можуть стати результатом вибору даних, на яких «вчиться» алгоритм.
Майже всі ініціативи пошуку помилок у ШІ тримали в секреті, а невеликі групи хакерів запрошували працювати в таких програмах, щоб компанії могли, так би мовити, промацати ґрунт можливостей. «Це дуже нервове заняття», – каже Кейсі Елліс, засновник і голова Bugcrowd.
Винагороди від Twitter
Є одна компанія, яка пішла на крок далі і провела публічний експеримент – це Twitter. У липні гігант соціальних медіа запустив програму пошуку упередженостей алгоритму за винагороду, що передбачала до $3500 за аналіз алгоритму «обрізання» фотографій.
Компанія вже визнала, що алгоритм неодноразово «фільтрував» темношкірі обличчя, надаючи перевагу білим обличчям, а також частіше обирав чоловіків, «обрізаючи» жінок. До таких висновків прийшли після користувацького обурення потенційною упередженістю, яке змусило Twitter проаналізувати алгоритм.
Деякі критики вирішили, що подальше рішення публічно запустити програму для виявлення упередженостей ШІ за винагороду – це просто піар, але інженери Twitter відповіли, що розмаїта група людей, яка буде аналізувати алгоритм, має більше шансів на успішне виявлення упередженостей.
Врешті, компанія заплатила $7000, які дісталися тим, хто показав Twitter, що його модель на основі ШІ надає перевагу стереотипним стандартам краси, тобто обирає більш худі, молоді, жіночні та світлі обличчя.
Компанія наголосила, що цінність цього задуму була в тому, що він залучив людей з усіх усюд. Алекс Райс, технічний директор компанії HackerOne, яка допомогла Twitter запустити вищезгадану програму, впевнений, що винагороди можуть допомогти іншим бізнесам визначити проблеми з алгоритмами, якщо дозволять піддати їхні моделі на основі ШІ широкому аналізу.
«Ідея полягає в тому, щоб залучити до розвʼязання проблеми людей із різноманітними поглядами, походженням і досвідом, щоб якомога точніше відтворити модель реального світу», – каже він.
Хоч Twitter не обіцяв запустити ще одну таку програму, фірма технологічних досліджень Forrester прогнозує, що принаймні пʼять великих компаній, серед яких банки і медичні компаній, наступного року запустять власні програми виявлення упередженостей ШІ за винагороду.
Брендон Перселл, один з аналітиків фірми, вважає, що протягом кількох років кількість таких програм буде рости в геометричній прогресії, а директори ІТ найімовірніше стануть їхніми ключовими промоутерами разом із кадровиками.
Розшукуються: цифрові «мисливці за головами»
Щоб задовольнити майбутній попит, світу треба буде значно більше спеціалістів зі ШІ. Експертів з кібербезпеки зараз обмаль, а от людей із глибоким розумінням роботи моделей на основі ШІ ще менше. Деякі хакери, що спеціалізуються на кібербезпеці, підуть полювати і на упередженості ШІ, якщо винагорода буде достатньо великою. Але дехто з експертів зазначає, що ці діяльності мають ключові відмінності, які роблять пошук упередженостей більш складним завданням.
Одна з них полягає в тому, що алгоритми постійно еволюціонують із часом, коли їм «згодовують» нові дані. Системи кібербезпеки теж змінюються, але, як правило, повільніше. «Мисливці за упередженостями ШІ» повинні будуть дивитися на те, як алгоритми взаємодіють із ширшими системами в бізнесі, в той час як проблеми кібербезпеки є більш обмеженими.
Деякі етичні хакери, які полюють на проблеми з безпекою, кажуть, що самі ці унікальні труднощі пошуку упередженостей ШІ роблять пошук таким цікавим завданням. «Це радше творчий, ніж логічний, процес, який вимагає використання нестандартних методів», – пояснює Меган Говелл, одна з «мисливиць за ШІ-упередженостями», яка взяла участь у програмі Twitter.
Люди, які добре розуміються на таких індустріях, як видача кредитів і медичні профілактичні обстеження, але не мають навичок роботи з ШІ, також можуть допомогти. Елліс з Bugcrowd зауважує, що деякі найуспішніші «мисливці» на недоліки кіберзахисту в автомобільній сфері – це фанати автомобілів, які настільки зацікавилися проблемами безпеки в індустрії, що вирішили опанувати інструменти кодування.
Ідея полягає в тому, щоб залучити до розвʼязання проблеми людей із різноманітними поглядами, походженням і досвідом, щоб якомога точніше відтворити модель реального світу.
Алекс Райс, директор ІТ в HackerOne
У той час як «мисливські» програми можуть бути корисними в пошуку упередженостей, директори ІТ переконані, що вони не повинні бути першою і головною зброєю для вирішення цієї проблеми. Натомість треба зосередитися на тому, щоб так використовувати інструменти й процеси для створення алгоритмів, щоб компанії могли чітко пояснювати результати на виході.
Наприклад, вчити алгоритми використовувати контрольоване навчання, яке передбачає внесення чітко визначених наборів даних, а не безконтрольне навчання, під час якого алгоритми самі мають визначити структуру даних. Це може зменшити ризик появи упередженостей.
Технокерівники в секторах, таких як банківська справа, звертають особливу увагу на те, як створюються їхні алгоритми і як вони працюють.
«Так як наша індустрія знаходиться під пильним контролем, це автоматично поширюються й на моделі на основі ШІ, – пояснює Сатіш Мутукрішнан, директор з питань даних, інформаційних і цифрових технологій в Ally Financial (ринкова капіталізація $16,8 млрд). – Ми починаємо з розробки контрольованих моделей справ, що повʼязані з роботою з клієнтами».
Райс із HackerOne згоден, що багато чого можна і треба робити для усунення упереджень у моделях на основі ШІ ще на стадії їх розробки. Та він все одно вважає, що директорам компаній треба розглядати «мисливські» програми за винагороду як додатковий інструмент у їхньому арсеналі.
«Ви хочете знайти упередженості за допомогою автоматизації, сканування, навчання розробників, інструментів для управління вразливими місцями, – каже Райс. – Але проблема в тому, що цього недостатньо».
Ви знайшли помилку чи неточність?
Залиште відгук для редакції. Ми врахуємо ваші зауваження якнайшвидше.
