Консультация
Консультация

Отказы: кризис или новая реальность социологии?

Что такое отказы и как их считать?
В контексте социологических исследований отказом называют категорию ситуаций, при которых потенциальный респондент выражает нежелание или неготовность поучаствовать в опросе. Причём то, до какого момента и в какой форме такое выражение можно засчитать за отказ, зависит от операционализации понятия. В то время как в одних исследованиях в категорию отказов включается лишь отклонение предложения об участии ещё на этапе приветствия, другие относят к этой категории и дальнейшее нежелание отвечать на конкретные вопросы, приводящее к завершению диалога. Кроме того, отказами могут называться не только те случаи, когда человек прямо озвучивает неготовность участвовать, но и проявление невербальных сигналов, которые могут быть интерпретированы соответствующим образом (т.н. «мягкие отказы»: сбрасывание звонка, нечёткий перенос на другое время или продолжительное молчание в телефонных опросах).

Существует риск спутать или смешать отказы с другой категорией, прерванным анкетированием, в случае если методология не предполагает отнесения ее к отказам. Как правило, оно подразумевает отказ отвечать на конкретные вопросы, в результате чего опрос завершается. Именно поэтому при обсуждении темы отказов в первую очередь необходимо определить критерии этой категории.

Особенно важно учитывать этот фактор при сопоставлении данных об отказах из разных исследований, поскольку они могут варьироваться в том числе из-за разницы подхода к операционализации.
На этапе работы с данными отказы рассматриваются в процентной оптике. То есть показателем, интересующим аналитиков, является именно процент (доля) отказов, который сопоставляется с процентами (долями) успешно завершённых и прерванных опросов.

Базовый способ рассчитать процент отказов — через отношение числа потенциальных респондентов, выразивших неготовность поучаствовать в исследовании, к сумме всех людей, с которыми удалось установить контакт, умноженное на 100%.
Например, если в опросе количество людей, которые прошли его целиком, составляет 2000, количество людей, которые начали прохождение, но не завершили, — 1500, а количество человек, которые отказались от участия в опросе, — 20 000, то процент отказов (с округлением) составит 85%. Опять же необходимо учитывать методологию, поскольку в некоторых исследованиях формула расчёта может усложняться. Например, к трём основным категориям могут добавляться новые, либо, наоборот, уже существующие могут быть разделены на более узкие подгруппы.

Методология Russian Field
На сегодняшний день наши телефонные интервьюеры работают с девятью категориями, к которым может быть отнесена та или иная попытка связаться с респондентом. Помимо основных трёх (успешные, прерванные и отказы) выделяются следующие: «автоответчик» — все информативные автоответчики, в том числе «умные», задающие вопросы и отвечающие на них; «ошибка связи» — человек долго не берёт трубку, или ещё до начала контакта слышны помехи; «неверный номер» — автоответчик сообщает, что набранного телефонного номера не существует; «перезвонить сейчас» — ситуации, когда в процессе опроса связь либо мешает восприятию, либо прерывается, но есть смысл незамедлительно перезвонить; «перенести звонок» — случаи, когда потенциальный респондент просит позвонить снова в другое время; «не подходит» — отвечает пьяный человек, представитель организации, несовершеннолетний, либо достигнут лимит по квоте, то есть необходимый объём респондентов по соответствующему полу/возрасту/региону/населённому пункту уже набран.

В категорию успешных опрос включается в том случае, если анкета пройдена от начала до конца. Под прерванными звонками понимаются ситуации, при которых анкетирование завершается по инициативе респондента на втором или следующих вопросах: когда человек согласился принять участие в исследовании, но прервал связь в процессе прохождения анкеты. Наконец, к категории отказов относятся случаи нежелания участвовать в опросе, которое человек озвучивает либо сразу после приветствия интервьюера, либо на этапе вступительных социодемографических вопросов (регион, населённый пункт, возраст). Обычно озвучиваются следующие сигналы-формулировки: «мне не интересно», «не участвую в опросах», «буду жаловаться», «не звоните больше» и т. д. К такой операционализации отказов мы пришли при подготовке к 11 волне исследования о «военной операции»: до этого к категории отказов мы также относили отбои вызова, неэффективные переносы звонка и отсутствие реакции со стороны собеседника.
К такой операционализации отказов мы пришли при подготовке к 11 волне исследования о «военной операции»: до этого к категории отказов мы также относили отбои вызова, неэффективные переносы звонка и отсутствие реакции со стороны собеседника
При расчёте процента отказов мы используем базовую формулу: отношение числа отказов к сумме чисел прерванных, успешных и самих отказов, умноженное на 100% («прерванные» и «успешные» проценты выявляются аналогичным образом). Остальные шесть категорий в формулу не включаются, поскольку являются техническими, а не содержательными.
Почему мы заговорили об отказах?
Мы заметили, что с начала «военной операции» россияне стали чаще отказываться от участия в исследованиях, что повысило риск появления системной ошибки из-за не-ответов (возникает, когда люди, с которыми связались и которые согласились принять участие в опросе, систематически отличаются от тех, с кем связаться не удалось, или кто отказался участвовать), которая, в свою очередь, может влиять на валидность выводов.

Любые попытки принудительно склонить человека к прохождению опроса были бы, во-первых, бесполезными (даже вредоносными), потому что вероятность неискренних ответов в этом случае крайне высока. Во-вторых, такой подход не профессионален и неэтичен. Поэтому мы избегаем системных ошибок косвенными методами, например, снижая сенситивность вопросов с помощью проективных формулировок и стабильно перезванивая респондентам, которые переносят опрос на другое время.

Поэтому мы избегаем системных ошибок косвенными методами, например, снижая сенситивность вопросов с помощью проективных формулировок и стабильно перезванивая респондентам, которые переносят опрос на другое время.

Кроме того, мы исследуем категории людей, которые не согласились участвовать в исследовании. Это важно, потому что разработка новых подходов для этичного и эффективного взаимодействия с «отказниками» возможна только после выявления их мотиваций.

Причины и мотивации для отказов
Политический климат может влиять на процент отказов, затрагивая общий уровень генерализованного доверия, а также усиливая или, напротив, снижая восприятие социально-политических вопросов как сенситивных. Тем не менее, важно помнить, что обстановка в стране является лишь одним из множества факторов, затрагивающих этот показатель, и называть политический фактор более весомым было бы некорректно. Нельзя не упомянуть следующие мотивации для отказов: неудачный тайминг звонка или нехватка времени для участия в интервью (потенциальный респондент занят); общее недовольство телефонными звонками с незнакомых номеров (подозрения в спаме, мошенничестве, навязывании товаров и услуг); сомнения в собственных компетенциях и способности ответить на вопрос; отсутствие у людей веры в то, что их мнение кого-то интересует и может на что-либо влиять; специфика сбора данных и формул расчёта, демографическая, социальная и экономическая специфики (например, в государствах со сравнительно невысоким уровнем трудоустройства среди женщин или со сравнительно большой долей пожилого населения процент отказов ниже).

В контексте личных интервью на дому, согласно выводам эксперимента Левада-центра, наиболее распространённой содержательной причиной для отказа является нежелание открывать дверь интервьюеру из соображений безопасности. Другие сравнительно часто встречаемые компоненты уровня недостижимости: искомого респондента нет дома; потенциальный участник исследования не проходит скрининг (не попадает под необходимые критерии).

Достижимость респондентов в разных странах
Многие исследователи сходятся на том, что в последние 20 лет наблюдается международная тенденция к снижению уровня достижимости (response rate) в социальных исследованиях: процент успешно пройденных опросов снижается в связи с увеличением доли отказов и долей по другим категориям (прерванные; не вышедшие на связь).

В рамках 10 волн международного исследования European Social Survey (2002-2020; метод face-to-face интервью) тенденция к снижению уровня достижимости наблюдалась в Австрии, Великобритании, Венгрии, Германии, Греции, Норвегии, Португалии и Финляндии.

С 2000 по 2018 гг. достижимость существенно снизилась и в International Social Survey Programme (смешанная методология), в рамках которой проводятся исследования на социально-политические темы в различных странах мира. Согласно данным Pew Research Center, процент успешно пройденных телефонных опросов в США снизился с 36% в 1996 г. до 9% в 2012 г. На момент 2016 г. показатель стабилизировался, сохранившись на уровне 9%, что исследователи считают большим успехом.

Для России сегодняшний откат с точки зрения соотношения успешных опросов и отказов от участия — не единичный случай, а продолжение общей тенденции. В конце 1980 - начале 1990-х годов во ВЦИОМе уровень готовности участвовать в опросах составлял 85-90%, а на момент 2012 г. в Леваде — от 35% до 46% в зависимости от методологии.

Вывод
Существует множество факторов, способствующих росту процента отказов, и нет оснований говорить о том, что политическая обстановка играет здесь ключевую роль. Более того, опыт как зарубежных исследований, так и наших собственных показывает, что зачастую наиболее распространённой причиной отказа в телефонных опросах является неудачный тайминг (нехватка времени, высокая занятость).

Если смотреть на уровень достижимости и процент отказов в динамике, можно заметить, что ситуация в России не сильно отличается от европейской и американской. Тенденция к увеличению числа отказов — это не локальная, а международная проблема.

Благодарим всех, кто принимал участие в исследовании, ознакомился с ним и распространил в средствах массовой информации и социальных сетях!


Поддержать нашу работу можно тут