Защо агенциите се разминават: седем причини за различните числа

Преди всеки избор в България излизат проучвания на няколко агенции и числата им рядко съвпадат. Разлика от два-три пункта за една партия лесно поражда съмнения. Често обаче разминаването има методологично обяснение. Ето седем причини, подредени от най-простата.

1. Различни дати

Едно проучване е снимка на нагласите в момента на теренната работа, а не прогноза. Насоките на ESOMAR и WAPOR го казват изрично и искат да се посочва колко време преди изборите е направено. Проучване, приключило десет дни преди вота, и друго, приключило три дни преди него, мерят различни моменти. Ако междувременно е имало събитие в кампанията, разликата може да е реална. Затова в архива на изборите винаги даваме датите на теренната работа.

2. Различна основа

Едни агенции дават дяловете от всички пълнолетни, други от заявилите, че ще гласуват, трети само от решилите за кого да гласуват. Числата от третата основа са най-високи. Сравнението между тях без пояснение е сравнение на различни неща; подробно в „Неопределените избиратели и активността“.

3. Различен метод

Интервюто може да е лично (с хартия или таблет), по телефона или онлайн. ESOMAR и WAPOR предупреждават, че различните методи могат да дадат различни отговори и че при смесени методи трябва да се публикува броят на интервютата по всеки. Всеки метод има и свои пропуски. Телефонът е надежден само ако почти всички имат телефон и могат да бъдат открити; иначе, според насоките, корекцията само по демографски признаци може да не е достатъчна. Онлайн проучванията нямат общоприета рамка на извадката и обикновено разчитат на панели от доброволци.

Колко неравномерен е достъпът по интернет у нас, показва Преброяване 2021. По оперативни данни на НСИ към 30 септември 2021 г. 2 406 055 души са се преброили електронно, но делът им варира от 13,6% в област Кърджали до 60,2% в София (столица), а в 19 области е под 30%. Онлайн извадка без поправка би представила столицата много по-силно от страната. Повече за методите: CATI и CAWI.

4. Различно претегляне

Агенциите изравняват извадката с данните за населението, но изборът по кои признаци да се претегля има последици. Най-известният пример е от САЩ през 2016 г.: комисията на AAPOR установи, че хората с висше образование участват по-охотно в проучвания и гласуват различно, а много проучвания, особено по щати, не са коригирали това. Резултатът е надценяване на единия кандидат. Две агенции с еднакви суровини, но с различни тегла, ще публикуват различни числа.

5. Различен модел на активността

Кой ще гласува е предположение. Едни агенции разчитат на заявеното намерение, други на миналото участие, трети комбинират. AAPOR отбелязва, че нагласянето по активността от предишни избори може да подцени групи, които този път са по-мобилизирани. При ниска и колеблива активност, каквато е у нас, тази причина тежи особено много.

6. Различни въпроси и ред на въпросите

ESOMAR и WAPOR искат да се публикува точната формулировка, защото отговорите зависят от нея и от контекста. Въпрос за гласуване, поставен след въпроси за недоволство от управлението, може да даде друг резултат; затова насоките препоръчват въпросът за вота да е близо до началото.

7. Обикновена случайност

Дори две безупречни проучвания по 1000 души ще се различават само заради случайността на подбора. Pew Research Center припомня, че при 95% увереност около пет на сто от проучванията ще излязат извън собствената си грешка: от 590 национални проучвания за изборите в САЩ през 2012 г. това означава около 30. Разлика между две агенции, по-малка от сбора на грешките им, не е доказателство за пристрастие.

Пример от изборната нощ

Разминавания има дори когато агенциите броят протоколи, а не питат хора. При паралелното преброяване на 27 октомври 2024 г. четирите агенции дадоха на първата формация между 25,1% и 26,4% (при 99–100% от своите извадки), т.е. разлика от 1,3 пункта само заради различния избор на секции. Сравнението с официалния резултат е в „Екзитпол и паралелно преброяване“.

Как да сравнявате

Сравнявайте проучвания на една агенция във времето, а не единични числа на различни агенции. Гледайте дали всички показват една и съща посока. И проверявайте дали публикацията казва дати, основа, метод и брой интервюта: без тях разминаването не може да се обясни.