Заведующий лабораторией ИнСАП РАНХиГС Дмитрий Рогозин — о механизмах деградации социологии

Социологические исследования в последние годы превратились в инструмент госуправления, но все меньше отражают собственно общественное мнение. О механизмах деградации социологии и о том, как отличить качественную работу от поделки, корреспондент "Денег" Владимир Рувинский побеседовал с заведующим лабораторией методологии социальных исследований ИнСАП РАНХиГС Дмитрием Рогозиным.

Чиновники часто ссылаются на соцопросы при принятии каких-то решений. Почему?

— На этом рынке произошел взрыв, когда в 2014 году Путин впервые упомянул "социологическое исследование" как форму легитимации присоединения Крыма, если говорить политкорректно.

Это было беспрецедентное исследование: с момента, когда сказали "вот это надо", до момента предоставления отчета на общероссийской выборке в 50 тыс. опрошенных прошло три дня. Никто вообще не мог представить, что такое возможно, ведь цикл исследования — это месяц или три. Но индустрия уже была готова к этому, хотя мобилизация была колоссальная.

На вопросы: "Считаете ли вы, что Крым — это Россия?" и т. д. все обрушились с критикой, что это не изучение общественного мнения, а манипуляция им. В адрес ВЦИОМа и ФОМа даже в нашей среде раздавались упреки. Но методически все было реализовано с довольно высоким качеством за счет того, что бюджет у этого исследования был просто колоссальный. Некоторые региональные компании, которые в этом опросе участвовали (а их были сотни), говорили мне, что на нем они заработали годовой бюджет.

Этот опрос стал ярким маркером для чиновников, потому что они очень восприимчивы не столько к законодательным актам, сколько к сигналам, которые могут перерасти в поручения. Это был сигнал, что опросы общественного мнения легитимны до такой степени, что не просто определяют референдум, а иногда даже замещают его в принятии решений, которые не очень удобны политикам. Он дал еще один толчок к тому, чтобы к опросам уже присмотрелись с точки зрения подтверждения каких-то своих успехов и легитимации политических решений.

А с чего все началось?

— Число госзакупок в сфере опросов стало экспоненциально расти в 2004-2005 годах. Тогда в госуправлении начались игры с new public management, который на самом деле был не "нью" и к тому времени устарел. Тогда у нас к госуправлению предполагалось подключать "стейкхолдеров" — внешних игроков, связанных с НКО, и население.

Но при любой власти любимое занятие высокопоставленных чиновников — кадровые перестановки и создание интриги вокруг них. В эту игру включаются нижестоящие чины, для которых основной ресурс (и так, к сожалению, во всем мире) — это зачастую не общественное благо, а уровень власти внутри своего аппарата. Поэтому опросы, вписывающиеся в дискурс new public management, были восприняты большой группой чиновников как ресурс для получения собственной власти. А у нас еще риторика "сервисного государства" стала чрезвычайно востребованной. Вот тут и появились "социологические опросы" на тему того, что хочет или не хочет общество. Под видом оценки эффективности госслужбы и госуслуг их стали включать в законодательные акты. Опросы стали обязательными для всех регионов.

То есть сейчас вся "социология" чиновниками в регионах заказывается потому, что этого требуют подзаконные акты и это козырь для принятия решений?

— Нет. Вы имеете в виду, что региональные и муниципальные власти — акторы. Но это не так. У нас область принятия политических и государственных решений на региональном уровне сейчас резко сужена. Не только законодательно, но и той нагрузкой по исполнению поручений, которого требует федеральная власть. На регионы также сваливается пласт фантастически объемного ненужного документооборота, который не дает чиновникам даже помыслить, чтобы "подстраховаться соцопросом".

Поэтому опросы — это вмененная обязанность, на которую многие чиновники плюются: "Да на кой мне это вообще надо?" Не то что я не хочу знать, как ведет себя население, но это знание — обуза. У нас ведь действует система поручений, и если оно приходит с определенного участка вертикали, ты все это законодательство отставишь и сделаешь "по поручению".

Как же проходят конкурсы на социсследования по госзакупкам, если чиновникам по большому счету не до них?

— Заказчику нужно "закрыть" госзакупку, чтобы все было чисто и законно. Поэтому основной формальный критерий — это количество страниц отчета. И второе: важно соответствие пунктов, заявленных в техзадании, тому, что будет в отчете. Соответствие должно быть на 100% — это базовое требование. В этом смысле вся машина госзакупок по "социологическим исследованиям" превратилась в формальную процедуру, в которой в общем-то никто не видит смысла.

Законодательство на этом рынке породило новую индустрию коррупционного типа, совершенно безумную, главный товар которой — услуга по выигрышу контракта. Но зачем создавать посредников, которые делают надбавку 10-15% на сумму контракта? Это отъем денег у индустрии и понижение планки качества работы, поскольку очень много компаний имеют крайне опосредованное отношение к социсследованиям, но выигрывают контракты, потому что специализируются на этом. Там сидят два-три юриста — и все, больше никто не нужен.

А как же формальные критерии, когда решение о выигрыше госконтракта обычно на 40% определяется ценой, а на 60% — квалификацией исполнителя?

— Самая главная составляющая — договоренность между тем, кто устраивает торги, и тем, кто их должен выиграть. И она есть на всех торгах по социсследованиям. Катастрофа возникает тогда, когда нужная фирма не выигрывает. Ведь отменить конкурс — это такой геморрой для чиновника, что он машет рукой и говорит: "Да пропади пропадом эти деньги, пусть выигрывают". Этим пользуются компании-пустышки, потому что иногда они вообще ничего не сдают или сдают какую-то лажу.

И ее принимают. Потому что есть риски начала бузы, если на такого рода госзакупке акцентируется внимание. Для региона сумма, потраченная на исследования,— мелочь копеечная. Но внимание прокуратуры к ней может обернуться интересом к гораздо более серьезным вещам. Поэтому если чиновник погорел на исследовании, его сотрудникам объявят выговоры, лишат премий — но контракт не переиграют.

Как тогда заказчик страхуется, чтобы получить нужного исполнителя?

— Есть компания, там раздается звонок, ее просят составить техзадание на госзакупку, чтобы она контракт выиграла. И есть госчиновники, которым важна чистота результата (а такие существуют), они озабочены тем, кто будет проводить исследования, и добиваются выигрыша нужного исполнителя.

На самом деле кто выигрывает госконтракты — не так важно. Даже если это "левая" компания, она затем передает по субподрядам эти работы специализированным командам. Исследователи сделают два отчета: один — формальный, другой — с настоящими данными, который будет передан заказчику. Поэтому я не вижу большой беды с точки зрения получения социологических данных, когда заказчики договариваются с какой-то компанией, если она действительно занимается опросами.

Главная проблема в том, что исследования, у которых есть свои постулаты, принципы, переопределили под чиновничью логику формальных требований — и тем самым весь этот рынок госзакупок убил исследовательскую традицию на легальном поле.

А обход формальных требований, в некотором смысле коррупционный, как раз создает условия для поддержания хоть какой-то легитимности опросных технологий. Их коррупция — это главный удар по отрасли. Самое печальное, что студенты и выпускники соцфаков, только что получившие образование, часто воспринимают систему "откат с госконтракта" как профессию.

Что указывает на то, что тот или иной госзаказ был получен по договоренности или с откатом?

— В первую очередь объем работ, их цена, сроки исполнения. Затем процедуры проверки данных и отведенные на это сроки. Если на проверку дается два-три дня, а надо проверить 10% ответов, делать этого не будут. К тому же на случай ошибок должны быть процедуры дальнейших действий, время на исправление. Оно тоже не выделяется, проще оформить как есть.

Другой маркер — стандартные формулы в техзадании, которые очень часто просто копипастятся. Чем больше совпадений в характеристиках описания опроса, тем больше вероятности, что это коррупционная сделка в чистом виде. Ну или сделка, которая не имеет значения ни для одного из участников.

Должны ли результаты опроса сильно отличаться от техзадания? Что такого в том, что они совпадают?

— Любой исследователь скажет, что, когда вы проводите исследование, структура отчета, полученный результат должны отступать от плана. Не может быть, чтобы вы положили шаблон на население и потом его же получили в итоге. К тому же самое интересное и важное, как правило (если мы говорим о политических и экономических решениях людей), неочевидно, лежит за рамками первоначальных представлений. Если вы уже все знаете, нет смысла в исследовании.

Вот сейчас прошли американские выборы, одна из основных гипотез коллапса опросных технологий связана с "неответами", то есть пришли голосовать те люди, которые отказались отвечать, а уровень "неответов" сейчас по всей индустрии — 70-90% опрашиваемых. Это нормально, в этом ничего страшного нет. Но должны быть модели оценки того, отличаются ли в своих ответах люди, которые ответили на наш основной опрос, от тех, которые отказались отвечать.

"Неответы", или "ошибки репрезентации", как их называют в профессиональной среде, дают, кстати, гораздо больше смещений в результатах, искажений, чем манипуляции с формулировками вопросов.

Если мы проводим интересный и серьезный опрос, это не значит, что мы на него получим ответ и именно у тех людей, которые указаны в техзадании. Но от кого-то же мы получили ответы. Наша задача — показать, что выборка сместилась, и описать ее. Но это табу, опросные компании вынуждены стирать методическую информацию и подстраивать работу под требования техзадания. Проще говоря, репрезентируют население городов и пригородов, а говорят о всей России.

Важно и другое. Методология опросов занимается только одним — поиском ошибок, потому что каждое исследование ошибочно. Если же вы говорите: "У меня ошибка 5%" — то есть она случайная, вы скрыли что-то очень важное. Во всем мире сейчас доминирует "теория общей ошибки исследования" — это правила того, как надо работать. Но такое же вообще в голову чиновника нельзя вбить, он говорит: "Вы что, мне ошибки даете?!"

Желающих манипулировать данными хватает во всем мире. Как от них страхуются иностранные соцкомпании?

— Нужно придерживаться международных стандартов. У Американской ассоциации исследователей общественного мнения (AAPOR) в кодексе профессиональной этики и практики прописано только одно требование, но оно безусловно: тотальное раскрытие методической информации.

Если она раскрыта, то все исследования правильные, представляют важную для нас информацию. Очень часто количество тех же "неответов" дает гораздо больше информации об изучаемом предмете, чем само содержание ответов. Например, мы даже на уровне здравого смысла понимаем, что не по каждому вопросу человек может иметь ответственное суждение. Но нам-то нужно иметь дело с ними, а не ответами, которые даются как в пинг-понге. Поэтому если правильно задаются вопросы, уровень "неответов" должен быть очень высок.

Как можно перепроверить данные ответов и, главное, "неответов"?

— Сейчас исследователи имеют аудиозаписи всех обращений к людям, попавшим в выборку. Это значит, что если выборка — полторы тысячи респондентов, то с отказниками мы располагаем записями где-то тысяч на шесть-семь человек.

Эти параданные о многом говорят: и о полученных ответах на вопросы, и о допущенных интервьюерами нарушениях, фабрикациях и фальсификациях данных. Нам нужно иметь представление, как был сформирован ответ. Например, когда мы прослушали ответы респондентов про Крым, ни у кого из них не было недоумения по поводу вопроса, часть ли он России или нет. Значит, точку зрения респондентов опрос не формировал.

Соцкомпании готовы предоставлять исходные данные?

— Открытость очень неудобна многим в России. Я делаю запросы в социологические компании и очень редко получаю нужную информацию. Все компании, которые проводят исследования, понимают, что по факту их отчеты не соответствуют техзаданиям. По факту, а не потому, что они плохо сработали. Выходит, что потенциально они все не выполнили взятые на себя обязательства.

Опросы не приближают к пониманию происходящего, а журналисты и чиновники просто жонглируют цифрами?

— Безусловно. Если закрыта методическая информация, это факт, и все в опросной индустрии об этом знают.

Какова доля опросов, которым можно доверять?

— Очень мала. Вы сами можете оценить — возьмите данные какого-нибудь опроса и посмотрите, есть ли там параданные.

Доверять нельзя не потому, что они врут, а потому, что вы имеете дело не с результатами опроса, а лишь с малой их частью, вершиной айсберга.