Проблемы с фильтрацией материалов, содержащих сексуальное насилие над детьми, есть у всех платформ социальных сетей. Но у подрядчика, которого нанял TikTok для модерации своего контента, особый подход к подготовке людей, ежедневно работающих над тем, чтобы неприемлемые материалы не распространялись по этой платформе.
Amazon інвестує мільярди доларів у ШІ, роботів та машинне навчання. Якими принципами й правилами керується компанія?
Дізнайтеся вже 22 листопада на Forbes Tech 2024. Купуйте квиток за посиланням!
Нессер ожидал, что ему придется просмотреть неприятные графические материалы во время обучения на должность модератора контента TikTok. Но он никак не мог подумать, что ему и другим будущим модераторам покажут изображение сексуального характера без цензуры с участием детей.
Нессер работал на компанию Teleperformance, которая модерирует контент для TikTok, и ему поручили особый проект: научить ИИ TikTok узнавать худшее из худшего, постящегося в популярной соцсети.
Через несколько дней после начала работы ему и его коллегам показали видео и изображения сексуальных сцен с участием детей. Все эти графические материалы были удалены из TikTok.
«У меня есть дочь, и я не думаю, что это нормально, когда кучка незнакомцев смотрит на такое, – сказал Нессер, покинувший Teleperformance в 2020-м, в разговоре с Forbes. – Не думаю, что следует использовать что-то такое для обучения». (Его фамилия и фамилии нескольких других людей в этой истории убрали из-за соображений конфиденциальности.)
Уитни Тернер, работавшая в Teleperformance в программе TikTok в Эль-Пасо более года и ушедшая в 2021-м, также напоминает, что и ее группе во время подготовки показывали откровенные фото и видео с участием детей. Уитни имела доступ к общей таблице, в которой собраны материалы, противоречащие правилам TikTok.
Она и другие бывшие сотрудники подрядчика TikTok рассказали, что там содержались сотни графических материалов, на которых дети были обнажены или подвергались насилию.
Бывшие модераторы рассказали, что этот документ под названием «Обязательно читать каждый день» (ОЧКД) еще этим летом был широко доступен сотрудникам Teleperformance и TikTok. Хотя некоторые модераторы, выполняющие другие функции, не могут просматривать эти материалы, однако собственные источники рассказали Forbes, что сотни людей в обеих компаниях имеют свободный доступ к документу.
«ОЧКД» и другие учебные материалы хранились в Lark, программе для внутреннего пользования сотрудников, разработанной ByteDance, материнской компанией TikTok.
Уитни была настолько ошеломлена тем, как относятся к таким чувствительным материалам в компании, что написала заявление в ФБР, а в июне встретилась с агентом. ФБР не ответило на ряд запросов рассказать о том, будет ли расследование этого дела.
Родители тех детей не знают, что у нас есть эти изображения, видео, что мы сохраняем доказательства травм этих детей, преступлений против них. Если бы родители это знали, уверена, они сожгли бы TikTok.
Уитни Тернер, бывшая модератор TikTok
«Я выполняла задание и думала: это ведь чей-то сын. Это чья-то дочь. Родители этих детей не знают, что у нас есть эти изображения, видео, что мы сохраняем доказательства травм этих детей, преступлений против них, – жалуется Уитни. – Если бы родители это знали, уверена, они сожгли бы TikTok».
Международный президент по доверию и безопасности в Teleperformance Акаш Пугалиа сказал Forbes, что компания не использует материалы, содержащие сексуальное насилие над детьми, во время обучения сотрудников. Кроме того, по его словам, они не хранят такие материалы в своих «калибрационных инструментах», но отказался объяснить, что это за инструменты и зачем они.
Он также отказался отвечать на подробный список вопросов о том, сколько людей имеет доступ к материалам, изображающим сексуальное насилие над детьми, и как Teleperformance охраняет такие материалы.
Не только у TikTok проблемы с тем, чтобы очистить свою сеть от графических материалов с сексуальным насилием над детьми. Наиболее мощные платформы соцмедиа давно используют машинное обучение и нанимают подрядчиков для человеческой модерации, чтобы находить и удалять такой контент до того, как он разойдется по сети. Многие компании сотрудничают с Национальным центром розыска и предотвращения эксплуатации детей (НЦРПЭД), чтобы сообщать правоохранителям о таком неприемлемом контенте.
Необычно то, как TikTok и его подрядчики обращаются с такими материалами. Эксперты считают такой подход минимум неуклюжим и неосторожным, а максимум – вредным и эмоционально травматичным для жертв. А хранить такие материалы в широкодоступном документе – безответственно и необязательно.
Представительница TikTok Джейми Фавацца сказала, что в компании действует «строгий контроль за учебными материалами, и в эти материалы не входят изображения сексуального насилия над детьми». Тем не менее, она признала, что TikTok работает с подрядчиками, у которых могут быть собственные процессы подготовки работников.
TikTok отказался отвечать на вопрос о том, сколько людей имеет доступ к документу «ОЧКД» и где он хранится. В ByteDance, материнской компании TikTok, создавшей платформу Lark, тоже не ответили ни на один из многих запросов прокомментировать ситуацию.
Американская семья, создавшая TikTok о своей жизни во время пандемии, за два года выросла до того, что бросила свою повседневную работу. Фото Getty Images
Свободный доступ здесь не вариант
Изображения эксплуатации и насилия над детьми незаконны, и существуют строгие правила обращения с материалами, когда компания их фиксирует. Их нужно немедленно убрать и сообщить на горячую линию CyberTipline НЦРПЭД. Там сотрудники анализируют полученные файлы и пытаются отследить их происхождение, чтобы можно было обратиться в соответствующие правоохранительные органы.
Как только компания сообщила НЦРПЭД о таких материалах, правила позволяют ей хранить их до 90 дней, чтобы помочь правоохранителям. Но федеральный закон четко требует от компаний «минимизировать количество сотрудников с доступом» к такому контенту, «хранить такие файлы в защищенном месте» и «обеспечить полное их уничтожение по запросу правоохранительных органов».
Ведущие эксперты по правам и безопасности в сети сказали, что широкий доступ сотрудников Teleperformance и TikTok к контенту с эксплуатацией и насилием над детьми, а также низкий уровень безопасности таких файлов противоречат вышеуказанным правилам. Проблемы с безопасностью и конфиденциальностью могут перерасти в преступление.
«Когда речь идет о таких материалах, должны быть очень жесткие правила хранения, просмотра и доступа. Их нельзя просто хранить на компьютере или в файле для обучения сотрудников», – сказала генеральный советник НЦРПЭД Иота Саурас.
На вопрос, что нужно, чтобы обращение с такими материалами считалось преступлением, Саурас сказала, что нужно принимать во внимание многие факторы. Все зависит от способа хранения и защиты таких файлов, от того, кто имеет к ним доступ, как их распространяют, загружают и воспроизводят (в документе, например).
«Насколько они защищены? – сказала Саурас. – Свободный и открытый доступ здесь не вариант».
Фавацца сказала: «Мы стремимся минимизировать контакт модераторов [с материалами, изображающими насилие над детьми] в соответствии с лучшими практиками индустрии». На вопрос о том, предоставил ли TikTok Teleperformance правила обращения с материалами, изображающими насилие над детьми, подрядчик популярной среди подростков платформы не ответил. Пугалиа, вышеупомянутый директор в Teleperformance, сообщил лишь, что компания соблюдает все соответствующие законы.
Использовать примеры из реальной жизни и показывать эти примеры новым поколениям сотрудников – это, по-моему, безответственно.
Дэвид Владек, бывший директор Бюро по защите потребителей при ФТК
Дэвид Владек, директор Центра по конфиденциальности и технологиям при Центре права Джорджтаунского университета, добавил, что сотрудников и подрядчиков, безусловно, нужно учить распознавать неприемлемые посты. Но, замечает он, для этого не нужно использовать уже удаленный с платформы контент.
«Не так и сложно разработать инструменты для обучения, которые помогут сотрудникам различать приемлемое и неприемлемое, – сказал Владек, являвшийся директором Бюро защиты потребителей при Федеральной торговой комиссии. – Использовать примеры из реальной жизни и показывать эти примеры новым поколениям сотрудников – это, по-моему, безответственно».
«Стражи интернета»
Teleperformance – это международный титан услуг для клиентов, работающий с 1970-х. В прошлом году компания показала рекордный рост, заработав более $8 млрд. Она может похвастаться около 1000 клиентами почти каждого сектора – от здравоохранения и туризма до ритейла и телекоммуникаций. С социальными сетями Teleperformance работает недавно.
Свое подразделение «Доверия и безопасности» компания открыла в 2019 году. По словам бывших модераторов, начавших работать в этот период, программа модерации для TikTok, реализуемая в техасском городе Эль-Пасо, заработала в конце 2019-го. (Ни одна компания не пожелала сказать, когда они начали официальное сотрудничество.)
Это партнерство стало возможностью для Teleperformance показать, что компания идет в ногу со временем. Во время последнего годового отчета компания похвасталась сотрудничеством с « видеоплатформой, имеющей самый быстрый в мире рост», и сказала, что многие сотрудники теперь считают себя «стражами интернета».
В прошлом году компания Teleperformance показала рекордный рост, заработав более $8 млрд. Фото Shutterstock
Teleperformance сказала Forbes, что у компании существует комплексный процесс отбора модераторов контента и что она заботится об их благополучии. Но разговоры с бывшими сотрудниками показывают, что модераторы не получают должного обучения и страдают от чрезмерной нагрузки.
Ричард – бывший модератор и супервайзер в подразделении Teleperformance в Эль-Пасо, ушедший из компании в июле после трех лет работы на Teleperformance. Он рассказал, что от TikTok начало поступать все большее и большее количество запросов на модерацию, когда платформа начала быстро развиваться, а объем контента стремительно увеличивался. Возникла потребность в увеличении количества модераторов.
По его словам, отдел обучения модераторов был неорганизован, у них были проблемы с коммуникацией между собой и высокая текучесть кадров, из-за которой молодые или неопытные сотрудники возглавляли подготовку новичков.
TikTok «почти никак не контролирует процесс подготовки сейчас», сказал Ричард. А Teleperformance «пока не способна организовать соответствующую подготовку… Там все перегружены».
Энджел, работавший в Эль-Пасо с февраля 2020-го по декабрь 2021-го сначала модератором контента, а затем менеджером, рассказал то же самое, добавив, что подразделение модерации Teleperformance просто не смогло справиться со взрывным ростом TikTok.
«Компанию просто завалили работой, по крайней мере, отдел обучения и подготовки», – сказал он. По словам Энджела, когда возросло количество задач от TikTok и появилась необходимость в увеличении количества модераторов, готовили новичков супервайзеры и руководители, которые сами не проходили соответствующего обучения. Он пояснил, что на тренеров по подготовке новичков «давило руководство, чтобы те скорее допускали новых людей к работе», даже плохо подготовленных.
Уитни добавила, что спрашивала у своих руководителей, «почему мы просто не можем откровенно сказать TikTok, что нам нужно больше времени на подготовку новых людей». По ее словам, ей неоднократно говорили, что «мы подписали контракт и должны выполнять его условия, иначе нас заменят теми, кто с этим справится».
«Обязательно читать каждый день»
Так называемая таблица «ОЧКД» – это один из нескольких файлов, которые модераторы контента TikTok используют как ресурс для своей работы. (Ни TikTok, ни Teleperformance не подтвердили использование этого файла на данный момент, но три бывших модератора, покинувших компанию в мае, июне и июле, сказали, что этой таблицей пользовались на момент их увольнения.)
Энджел и другие бывшие сотрудники описали «ОЧКД» как таблицу, где собраны примеры неприемлемого контента, удаленного из TikTok. Модераторы сказали, что они должны обращаться к ней для подсказок о том, как «тегать» правила, которые нарушает определенный материал. В таблице есть разные разделы под разные виды контента: один под терроризм, другой под обнаженные изображения и так далее. Был свой раздел и в насилия над детьми, рассказал Энджел.
По оценке Уитни, фото, видео и описания насилия над детьми составляли около четверти таблицы, содержащей тысячи примеров неприемлемых материалов. По ее мнению, материалы в «ОЧКД» датируются началом работы TikTok с Teleperformance. Марджори Диллоу, которая до мая работала модератором в другом подразделении Teleperformance, считает также. «Они ничего не удаляют из ОЧКД», – сказала она.
Когда TikTok получил всю эту информацию, компания сказала Forbes, что здесь недостаточно деталей, подтверждающих существование «ОЧКД», и не ответила на перечень вопросов по таблице. Teleperformance также отказалась отвечать на вопросы по этому документу.
Ни одна из компаний не сказала, сколько работников имеет доступ к таблице (однако она хранится в программе от ByteDance, а эта компания в прошлом имела доступ к данным американского TikTok) или какая компания контролирует доступ к ней.
Также они не рассказали о давности материалов с насилием над детьми, входящих в «ОЧКД», и есть ли процесс для удаления таких файлов через 90 дней после сообщения правоохранителей, как того требует закон.
Лидер Tech Coalition, группы по борьбе с сексуальным насилием над детьми в сети, в которую входит и TikTok, говорит, что нет пока единственного наилучшего набора практик для обращения с такими материалами. Однако есть основа.
«Есть определенные законы, на которые нужно ориентироваться. К примеру, удалять такие файлы после 90 дней, убирать из общего доступа, как только о них известно, сразу сообщать НЦРПЭД. В конце концов, хранение таких файлов – это преступление, – объяснил Шон Литтон, исполнительный директор Tech Coalition. – Однако каждая компания вводит собственные процессы».
Верховный суд США и другие признали, что всякий раз, когда кто-то пересматривает такой контент, жертве наносится повторная психологическая травма, поэтому к нему нельзя относиться легкомысленно.
Мэри Гров Лири, бывший федеральный прокурор
Бывший федеральный прокурор Мэри Гров Лири, эксперт по детской порнографии и эксплуатации, ранее возглавлявшая юридический отдел НЦРПЭД, уверена, что к материалам с сексуальным насилием над детьми нужно относиться, как к «контрабанде», вроде оружия или наркотиков.
«Если вы нашли наркотики на рабочем месте или в школе, то не будете ими размахивать на следующем собрании коллектива со словами «Вот так выглядит кокаин», – приводит она пример. – То же самое и с изображениями насилия над детьми. Верховный суд США и другие признали: всякий раз, когда кто-то смотрит такой контент, жертве наносится повторная психологическая травма, поэтому к нему нельзя относиться легкомысленно».
У бывших сотрудников Teleperformance спросили, сколько человек имеет доступ к таблице «ОЧКД». Энджел сказал, что сотни людей только в офисе в Эль-Пасо, потенциально все, кто работает с контентом TikTok в других офисах Teleperformance, и сотрудники TikTok могли ее просматривать.
Энджел также рассказал, что в Эль-Пасо придерживаются политики «без бумаг» и правила «автоматическое увольнение модератора за пользование мобильным телефоном». Однако во время дистанционной работы из-за пандемии контролировать соблюдение таких мер безопасности и конфиденциальности гораздо труднее.
Согласно последнему годовому отчету компании, 70% из 420 000 сотрудников Teleperformance работали из дома в 2021-м.
Нессер также сказал, что на дистанционке сотрудники имели доступ к этой таблице из дома. «Если бы кто-нибудь захотел, то легко мог бы вытащить телефон и записать то, что видит, – сказал он. – Они могли разослать это друзьям, приятелям или еще кому-нибудь. Не думаю, что в Teleperformance могли бы это отследить».
Бывшая модератор Анна-София Лерма рассказала Forbes, что, несмотря на то, что во время учебы ей показывали видео сексуального насилия над детьми, в работе она никогда не наталкивалась на такой контент. Она не понимает, почему ей вообще нужно было это смотреть.
Французские подростки-инфлюэнсеры снимают видео для TikTok. Фото Getty Images
«Не думаю, что это вообще нужно, – говорит Лерма, работавшая в Teleperformance в 2020-м. – Если кто это загружает на платформу, это нужно сразу убирать и удалять с концами… Я не раз спрашивала себя, зачем они хранят такие видео».
«Серьезно, – добавляет она. – После просмотра мне нужно было проветриться несколько минут».
Уитни рассказала, что радостно приняла предложение зарабатывать $18,50 в час в Teleperformance, ведь до этого она получала $16 в компании, которая ремонтирует и обновляет магазины Walmart. Рекрутер сказал Уитни, что она будет как «коп для TikTok», а возможность защищать людей стала дополнительным преимуществом.
Но через год работы в Teleperformance ей было невмоготу «работать как положено», рассказала Уитни. Она часто сбивалась с мысли, ее без видимых причин охватывал гнев, и появлялись суицидальные настроения.
Нессеру, ветерану с ПТСР, тоже было тяжело в Teleperformance. Он рассказал, что служба в армии иногда была легче, чем некоторые аспекты работы в компании. «Однако обсуждения темы и признаков сексуального насилия над детьми было бы достаточно», – считает он. Поэтому ему непонятно, зачем его заставляли просматривать откровенные видео.
«То, что мы видели, мерзко, – сказал он Forbes. – Мы не должны были на это смотреть».
Вы нашли ошибку или неточность?
Оставьте отзыв для редакции. Мы учтем ваши замечания как можно скорее.
