Интернет-издание «Зеркало недели» опубликовало статью с результатами социологического опроса об отношении украинцев к войне, миру, мобилизации и возможным переговорам со страной-агрессором. В материале – 10 графиков и много выводов о социальной природе украинского общества. Социолог и ректор Киевской школы экономики Тимофей Брик решил разобрать статью и собрал 19 критических замечаний
За 107 років існування Forbes логотип змінювався 18 разів, але таким авангардним і вільним світ його бачить вперше. В новому числі журналу Forbes Ukraine: сучасне мистецтво, топ-50 благодійних фондів, альтернативна енергетика, 30 до 30. Замовляйте вже зараз!
Если в этой статье и есть единое мнение, которое лейтмотивом проходит по всем графикам и интерпретациям, то это – южный макрорегион отличается от других.
В статье много говорится об усталости восточного макрорегиона от войны, о готовности южного макрорегиона на переговоры с Россией и об общей тенденции украинцев давать амбивалентные ответы (переговоры актуальны, но не надо уступать).
«Восток просто устал от десятилетней войны, а юг все еще питает иллюзии, что с Путиным можно договориться, если пойти на определенные уступки» – цитата из статьи.
Этот текст вызвал большой резонанс в социальных сетях. Пользователи обращали внимание на разные графики и удивлялись ответам респондентов.
Вместе с тем само исследование и вся статья имеют много проблем: допущено немало ошибок как на «мелком» уровне методик, так и на уровне концептуального представления результатов. Поэтому опираться на них не советую.
Это уже третий большой пафосный текст от «Зеркала недели» на моей памяти, так небрежно представляющий социологические данные. Предыдущие – статьи «Кровотечение» (2018 год) о миграции и «Тест на совместимость» (2019) с опросом украинцев на неподконтрольных территориях. Эти материалы я регулярно использую на своих лекциях «Как не нужно делать опрос» и «Как не нужно писать о социологии».
Для одной из предыдущих статей «Зеркала недели» я насчитал 21 критическое замечание. Тогда это стало моим личным рекордом.
Проверим, побьет ли эта новая статья этот рекорд.
Свою критику я разбил на три группы:
1. Социологические неточности.
2. Ошибки интерпретации данных и концептуальные неточности.
3. Нарратив текста.
Социологические неточности
В этом разделе речь пойдет о кодировании данных, шкалах, формулировании вопросов. Все, что является основой опросов.
Кодирование регионов
В тексте автор акцентирует внимание на региональных различиях. В большой его части обсуждаются именно восточные и южные регионы. Подчеркивается, что южный регион существенно отличается от других. Большая часть статьи мотивирована тем, что эту разницу следует обсудить и объяснить.
Но вопрос – как именно определен «юг». Социологи имеют различные мнения относительно областей и регионов Украины. Некоторые социологи относят Днепропетровскую и Запорожскую области либо к югу, либо к востоку.
Подход в статье «Зеркала недели» имеет право на существование, но есть вероятность того, что результаты анализа – статистический артефакт от кодирования данных. Если бы Днепропетровскую и Запорожскую области закодировали по подходам КМИС или ИС, результаты могли бы быть другими. Соответственно длинный и пафосный текст о том, что южный регион отличается и является нетипичным, пришлось бы переписывать.
Собственно, социологи делают разные упражнения с данными и проверяют влияние различных параметров перед тем, как писать свои тексты.
Небольшая деталь. «Зеркало недели» упоминает Луганскую область как часть востока. В настоящее время эта область почти полностью оккупирована Россией. Возникает вопрос, проводили ли там опрос и где именно (в нескольких селах области?). Если не производили, область оставили в описании методологии случайно. На первый взгляд, это мелочь, может быть просто опечатка. Но из таких мелочей складывается качество текстов.
Два вопроса в одном
Задавать вопросы в анкетах очень сложно. Есть множество методик и мотиваций. Всё зависит от контекста. Вместе с тем именно в опросах общественного мнения очень важно не иметь несколько вопросов в тексте одного вопроса. Например, не стоит спрашивать «Вы сегодня рано проснулись и вы в хорошем настроении: да, нет, не знаю».
В «Зеркале недели» можно увидеть такие вопросы : «В октябре 2022 года президент Зеленский издал указ о невозможности проведения переговоров с Владимиром Путиным. Как вы думаете, нужно ли отменить этот указ для возможных мирных переговоров с президентом России?».
На первый взгляд, вопрос нормальный. Это моделирование определенного сценария. Респондента спрашивают, как следует действовать в таком сценарии. Но проблема все равно остается. Здесь спрашивают об указе Зеленского. Нужно ли его упразднить? И в то же время спрашивают по поводу указа о переговорах с президентом России. Все люди разные, респонденты разные, и у каждого есть своя эмоциональная или когнитивная реакция.
Кто-то плохо реагирует на Зеленского и скажет, что его указы нужно отменить. А кто-то будет реагировать именно на упоминание президента России. Такие вопросы не являются «надежными» (в социологическом смысле этого слова – мы не сможем нормально воспроизвести результат и получить схожие ответы в другой случайной выборке, потому что распределение того, кто как понимает вопрос, неизвестно).
Также добавлю сюда мелкое наблюдение, что сама терминология в вопросах не согласована. Иногда в вопросе написано «Зеленский», а иногда «руководство Украины». Иногда «Путин», а иногда «президент России».
В общем-то, это не очень страшно. Но обычно социологи стараются использовать одинаковые термины во избежание когнитивных предубеждений или резких эмоциональных искажений. Не стоит оставлять шанс респонденту дать какой-нибудь искаженный ответ.
Использование неоднозначных слов
Большие сомнения у меня вызывает сам вопрос «Как вы считаете, стыдно ли ныне, во время войны, быть уклонистом?». Само слово «уклонист» сейчас не является термином, который все понимают одинаково. Для кого-то это жаргон, для кого-то аморальный человек, а для кого-то – антисистемный человек, негативно реагирующий на условную «преступную власть».
В ситуации, когда люди имеют разное понимание слов, каждый будет отвечать о чем-то своем. Ответы будут ненадежны.
Так же и слово «стыдно» может иметь различные значения для разных людей. Обычно социологи избегают таких слов, за исключением, когда происходили специальные эксперименты и обоснования (например, Роналд Инглхарт известен тем, что опрашивал людей «в лоб», насколько они счастливы. Но делал это с серьезным методологическим и статистическим обоснованием).
Шкалы ответов
Почти на каждый вопрос в исследовании «Зеркала недели» шкала ответа состоит из трех пунктов: «да»–«нет»–«затрудняюсь ответить», «стоит»–«не стоит»–«трудно определиться», «согласны»–«не согласны»–«затрудняюсь ответить».
Очень странный выбор шкалы. Почти все методики оценки политик, которые я знаю, используют шкалы от 1 до 5 или шкалы от 1 до 7. Это может быть шкала Лайкерта или шкала Терстоуна.
Такие шкалы более чувствительны, ведь мнения людей это часто спектрум. Стыдно ли быть уклонистом? Может, немного и стыдно, а может и очень стыдно. Кроме того, что эти шкалы более близки к реальному способу мышления людей, также их проще использовать для статистического анализа (например, сравнивать между регионами).
Если же социологи хотят использовать много шкал «да»–«нет», это часто делается для создания специальных индексов. Например, если я ответил «да» четыре раза, а вы ответили «да» ноль раз, то мы можем сравнивать эти данные и тестировать гипотезы, откуда между нами разница.
Пример: «Как вы считаете, настало ли время для начала официальных мирных переговоров Украины и России»?
Шкала Лайкерта
Варианты ответов:
1. Совершенно не согласен.
2. Не согласен.
3. Как согласен, так и не согласен.
4. Согласен.
5. Совершенно согласен.
6. Затрудняюсь ответить.
Респондент выбирает один из ответов, который лучше всего отражает его мнение.
Шкала Терстоуна
Утверждение:
1. «Время для мирных переговоров давно пришло».
2. «Еще рано начинать мирные переговоры».
3. «Мирные переговоры могут начаться в ближайшее время».
4. «Не стоит начинать мирные переговоры в ближайшее время».
5. «Затрудняюсь ответить»
Нет первоисточника и описания методологии
Вот этот пункт очень удивителен. Во всех тренингах по медиаграмотности и разговорам о «плохой социологии» всегда акцентируется, что необходимо дать ссылку на первоисточник. Сейчас речь идет о каких-то графиках и цифрах, которые никто, кроме автора статьи, не видел.
Нет ссылки на исследование, на сайте Центра Разумкова (исполнитель полевых работ) этого исследования также нет (по состоянию на 17 июля). Невозможно ознакомиться с описанием методологии, описательными статистиками, сверить полный отчет с интерпретациями журналистов «Зеркала недели».
Это на самом деле настолько базовая вещь, что я даже не сразу обратил на это внимание.
Интерпретации данных и концептуальные неточности
В этой части о том, как авторы неверно понимают данные или ссылки, неверно интерпретируют данные, говорят нечто антинаучное.
Неверное пересказывание данных о доверии
Во вступлении в текст автор цитирует социологическое исследование группы Рейтинг о снижении доверия населения к президенту Украины Владимиру Зеленскому.
«…начиная от кухни простого украинца, к которому каждый вечер в своих видеопосланиях обращается президент Владимир Зеленский (рейтинг доверия к главе государства за два года снизился на 30%)».
Не очень понятно, зачем читателю сразу говорить, что рейтинг президенту упал. Возможно, автор хотела зафреймить читателей. 30% – это много или мало? Ссылка, которой пролинковано слово «рейтинг» в этом предложении, ведет читателя на разговор с социологом Алексеем Антиповичем. В нем идет речь о том, что доверие к Зеленскому во время войны значительно возросло – до 90%, а затем упало до 60%. Это все равно высокий уровень доверия – больше, чем до войны, и нельзя говорить, что президент нелегитимен.
Выходит странно. В оригинале социолог целый абзац посвящает тому, что падение есть, но доверие все равно нестандартно высоко. А в статье читателям говорят, что доверие упало. Это очень разный тон, у читателей Антиповича и «Зеркала недели » останутся очень разные ощущения от прочитанного.
Неправильное пересказывание международного опроса
Цитата из статьи ЗН: «…а также псевдосоциологии, согласно которой «почти каждый второй украинец согласен на потерю захваченных Россией земель в обмен на свободу выбора вступления в НАТО и ЕС, сохранение армии и независимости – ECFR».
Это искаженная интерпретация. Ссылка, которой линкует автор эту цитату, ведет на исследование Ивана Крастева, известного политолога и признанного в Украине интеллектуала. Его исследование включает более 19 000 респондентов из разных стран, в том числе Украины. В нем четко артикулируется, что война в Украине важна, что есть потребность в оружии, что украинцы все еще верят в победу. Украинцам важен суверенитет, и некоторые вопросы формулировались специально для проверки гипотез о ценности суверенитета. Никакого месседжа о «в обмен на» в оригинале текста не было.
Собственные мнения без привязки к данным-1
Цитата из статьи ЗН: «Возможно, здесь снова стоит упомянуть, что война 2014-го началась именно на востоке. И за десять лет драмы, которую испытывают разбросанные по всей стране жители этого региона, у них стерлись какие-либо ощущения относительно слов российского диктатора. Осталась только боль».
В общем, социологи постоянно используют очень простую методику. Они спрашивают место происхождения респондента. Если респондент из восточных регионов, а сейчас проживает, например, в Киеве или Львове, это можно сохранить в базе данных опроса и делать статистические сравнения.
Правда ли, что у «разбросанных по всей стране» подобные ответы? Отличаются ли выходцы востока в Киеве от выходцев востока во Львове? И вообще, как именно они измеряли «боль» и «ощущение» по отношению к диктатору? Например, компания Градус регулярно проводит опрос и спрашивает, какие чувства и эмоции вызывало определенное событие или личность. В принципе это реально сделать, но здесь автор просто говорит пафосные предложения без привязки к реальным данным.
Собственные мнения без привязки к данным-2
Цитата из статьи ЗН: «Кстати, именно восток (13%) и юг (10%) более лояльны к фиксации границы по линии фронта. Но мотивация здесь вряд ли может быть одинаковой. Восток просто устал от 10-летней войны, а юг все еще питает иллюзии, что с Путиным можно договориться, если пойти на определенные уступки».
Опять же автор статьи приводит сравнение юга и востока в своих данных, но потом говорит вещи, которые в данных отсутствуют. Что означает «Восток просто устал» с социологической точки зрения? Приводит ли автор хоть одну «шкалу усталости», есть ли какие-то доказательства, что «усталость» имеет большее выражение среди респондентов с востока против респондентов из центра?
Автор статьи утверждает, что восток и юг отличаются тем, что на востоке есть вопросы «усталости», а на юге – вопросы «иллюзии» по отношению к Путину. Есть ли хоть одна таблица или график, где эти два региона сравниваются по параметрам усталости или иллюзий? Таких данных в статье нет. Автор просто на ходу придумала и навязала читателям собственные мнения, которые не основываются на данных.
Собственные мнения без привязки к данным-3
Цитата из статьи ЗН о южном регионе: «Ведь дело не в том, что он не пойдет против Зеленского, а в том, что он достаточно лоялен к России. Не чувствуете? И это не обвинение, а призыв искать причину».
Интересная гипотеза. Так регион более антизеленский или пророссийский? Это интересная исследовательская задача. Ее можно проверить. К сожалению, в этом исследовании нет никакой попытки это сделать, только додумывание без ссылок на данные.
Удивительный статистический анализ и статистические артефакты
Точнее, никакого статистического анализа нет. Обычно, когда исследователи сравнивают разные группы (регионы), проверяется статистическая гипотеза. В этом случае никаких статистических тестов нет.
Не очень ясна причина, почему вообще нужно сравнивать регионы между собой? Автор ссылается на теорию социолога Евгения Головахи об амбивалентности, но она присуща всем регионам. Также автор сама пишет, что в случае с оценкой уклонистов играет роль возраст: «37% процентов от 60+ считают, что быть уклонистом стыдно».
Выходит, что статистически на оценку уклонистов влияет именно возраст. Соответственно, если в разных регионах и отличная возрастная структура, то именно это объясняет ответы респондентов.
Искать правильную причину (или регион, возраст, амбивалентность, влияние власти или влияние медиа) и есть задача статистического анализа. Существует известная фраза «корреляция не означает причинно-следственной связи». Но в этом случае «корреляция не означает корреляции». Автор увидела какие-то тенденции в данных и не отнеслась к ним критически, но написала обширный текст о регионах, который, возможно, нужно будет полностью переписать, если сделать несколько простых шагов.
Непонятное описание с уклонистами
В тексте встречаются странные предложения, из которых трудно понять, что же происходит в данных: «на юге 13% опрошенных заявили, что в их окружении почти все уклонисты» и «на западе преобладают люди, в окружении которых большинство пытается всеми способами уклониться от службы – 17%».
Не точно, но, скорее всего, это означает, что у респондентов есть «меньшинство в окружении», «большинство в окружении» и «почти все окружение». И люди отвечали о процентах по каждой категории. Но я не знаю точно, потому что отчет исследования не опубликован и свериться нет возможности (по состоянию на 17 июля).
Стилистический пустяк, но…
Цитата из статьи ЗН: «основная часть пассионариев-добровольцев или вынужденно присоединившихся к ним – на фронте. Изучить мнение армии, которая несет на себе все бремя войны и имеет право если не решающего, то наиболее значимого голоса по переговорам с Россией, сейчас невозможно».
Здесь сразу два триггера для социолога. Первый – это слово «пассионарии». Это слово относится к устаревшим антинаучным теориям и добавлять его к серьезному тексту, опирающемуся на социологические данные или теории, очень странно.
Второй триггер – это мысли о невозможности проводить опрос в армии. На самом деле опрос в армии делать можно, но это очень сложно и имеет определенный уровень секретности. В то же время говорить «невозможно» – это неточно.
Общие проблемы с нарративом
Неудачная аналитическая рамка
Автор статьи с одной стороны очень много пишет об уникальности юга, с другой – об амбивалентности ответов (даже приобщила мнения уважаемого эксперта Евгения Головахи). Проблема в том, что эти два объяснения несовместимы.
Или речь о том, что универсальная составляющая украинской культуры – последние 30 лет украинцы регулярно дают амбивалентные ответы о политике и экономике. Или о том, что универсального нет, есть отдельные регионы и их надо понимать. Да, можно попытаться объединить эти подходы. К примеру, можно писать, что почему-то именно на юге амбивалентность проявляется сильнее. Но автор на это не обращает внимания и данные глубоко не анализирует.
Диагноз без данных
Почему автор не анализирует данные, чтобы объяснить, а что именно в них происходит. Ей не интересен вопрос «почему». А почему юг иной? Это потому, что там другая возрастная структура (автор вскользь упоминает возраст), или потому что там какая-то особая амбивалентность, или потому что там есть российская пропаганда, или потому что там небрежно работают украинские власти?
Причин может быть много. И именно здесь требуются данные. Опираясь на опрос, таблицу, графики, можно было бы показать причину. Но нет, автор сама ставит диагнозы, не опираясь на данные.
Внутренние несогласованности
Цитата о южном регионе: «Ведь дело не в том, что он не пойдет против Зеленского, а в том, что он достаточно лоялен к России. Не чувствуете? И это не обвинение, а призыв искать причину. Безотлагательно узнать, чем дышит регион, работать с ним, помогать, честно говорить обо всем. То есть стать сильным государством, а не оставаться слабой властью, думающей исключительно о втором сроке».
Эта цитата хорошо иллюстрирует общий нарратив статьи – власть плохая, но мы это знаем не по исследованиям или данным, а с позиции автора. В этом абзаце есть внутреннее противоречие. Если плохая власть действительно думает только о втором сроке, тогда она как раз работает с регионом на усиление собственного имиджа. А если – как говорит автор – власти там нет, она не узнает, чем дышит регион, значит, прямо сейчас она не ведет там электоральную борьбу.
Выводы без ссылок на исследование-1
В выводах к статье автор пишет: «У государства нет четкой информационной политики, которая основывается на реальности, а не на ее умалчивании». Откуда взялся тезис об информационной политике? Был ли хотя бы один график по этой теме?
Выводы без ссылок на исследование-2
В выводах «А не просто затягивать поводок военных администраций на шее общин, чтобы получить в единоличное пользование местные бюджеты. Это не о региональной политике единого государства и точно не о победе». Откуда вдруг взялся тезис о местных бюджетах и региональной политике? Если бы автор показала данные, из которых следует, что неудачная политика с местными бюджетами привела к антивластным настроениям и желанию вести переговоры с Россией, это было бы очень ценно. Но ведь таких данных в статье нет, это просто позиция, не привязанная к исследованию.
Ответственность
Напоследок не могу удержаться и хочу обратить внимание еще на две цитаты из статьи. Первая: «…цифры, которые получил Центр Разумкова во время социологического опроса, проведенного с 20 по 28 июня 2024 года по заказу ZN.UA».
Автор прямо пишет, что заказчиком исследования является издание « Зеркало недели». В профессиональной социологической группе Snobbish Sociologist представитель Центра Разумкова подтвердил, что именно заказчик делал анкету, но социологи давали свои советы и редактировали часть вопросов. На мой взгляд, именно социологи сделали свою часть работы хорошо. Они получили анкету заказчика, предложили правки, затем работали с тем, что утвердили. Это обычная ситуация.
А вот автор в статье начала удаляться от собственной анкеты и отмечает: «Поэтому социологи задали им такой вопрос:», или «Здесь, безусловно, стоит вопрос о том, что наши люди понимают под победой, – его социологи на этот раз не задавали». Из этих цитат читатель может подумать, что именно социологи определяли, какие вопросы задавать, а какие не задавать.
Но ведь мы знаем, что заказчиком и автором анкеты было именно «Зеркало недели». Дистанцирование и перекладывание ответственности за данные на социологов выглядят для меня странно.
Вывод
В предыдущей «социологической» и скандальной статье «Зеркала недели» я насчитал 21 критическое замечание. Для этой статьи – всего 19. Собственного рекорда ЗН не побило, но все равно это очень большая цифра.
Обычно, когда социологи критикуют исследования, речь идет о трех-четырех замечаниях, часть из которых являются вопросами вкуса или научной школы.
В этом же случае речь идет и о неверной трактовке чужих исследований, и о странной методологии и ошибках в собственной анкете, и неверных интерпретациях, а также допечатывании и написании текста, не опираясь на данные, а только на собственную идеологическую или мировоззренческую позицию автора.
Вы нашли ошибку или неточность?
Оставьте отзыв для редакции. Мы учтем ваши замечания как можно скорее.
