Статистическа грешка: какво значи „±3 пункта“ и кога разликата е реална

Под почти всяко проучване стои ред от рода на „статистическата грешка е ±3 пункта“. Това е цената на факта, че агенцията е говорила с хиляда души, а не с всички. Как се получава това число, за какво важи и за какво не важи, е най-полезното нещо, което читателят на проучвания може да научи.

Откъде идва числото

Американската асоциация за изследване на общественото мнение AAPOR го обяснява с пример: ако проучване с грешка ±3 пункта покаже, че 58% одобряват работата на губернатора, можем да сме уверени, че истинската стойност сред всички пълнолетни е между 55% и 61%. Увереността обикновено е 95%: при сто повторения на същото проучване около 95 резултата ще попаднат в тези граници, а около пет няма. Затова и най-доброто проучване понякога излиза извън тях.

За проста случайна извадка грешката при 95% увереност се смята по формулата 1,96 × √(p × (1 − p) / n), където p е дялът, а n е броят на интервютата. Тя е най-голяма при p = 50%, затова агенциите обикновено съобщават именно тази стойност. Pew Research Center дава ориентир: извадка от 1067 души дава около ±3 пункта.

Стойностите са изчислени по формулата за проста случайна извадка. Таблицата показва и другото важно правило, което подчертава AAPOR: удвояването от 1000 на 2000 интервюта намалява грешката само с около един пункт. Големината на населението на практика не участва.

Грешката е в процентни пунктове, не в проценти. За малки партии тя е по-малка: при 1000 души и дял 4% е около ±1,2 пункта, а при 10% е около ±1,9 пункта. Но точно около 4-процентната бариера и малката грешка е твърде голяма.

Разликата между двама е по-несигурна

Най-честата грешка при четене е сравнението „партия А води с 3 пункта“. Pew обяснява, че грешката на разликата между двама кандидати е приблизително двойна: при ±3 за всеки поотделно разликата има грешка около ±6. Водене от 5 пункта е съвместимо с всичко между −1 и +11. Още по-голяма е несигурността при промяната между две проучвания: в примера на Pew ръст на преднината от 5 на 8 пункта има грешка около ±8.

Подгрупите се четат още по-внимателно. AAPOR дава пример: в проучване на 1000 души с ±3 пункта подгрупа от 200 души има грешка ±6,9 пункта. Ако една агенция съобщава какво мислят избирателите на малка партия или жителите на една област, броят им в извадката има значение.

Какво не влиза в грешката

Формулата мери само случайността на подбора. AAPOR изрично предупреждава, че няма измерима „обща грешка“ на проучването: формулировката на въпросите, работата на анкетьорите, хората, които отказват да отговорят, и предположенията кой ще гласува също водят до отклонения, но те не могат да се изчислят. Pew добавя пропуските в обхвата (например хора без интернет при онлайн проучване), ефекта на начина на интервюиране и социално желаните отговори.

Отделно претеглянето увеличава реалната грешка (ефект на плана), а при онлайн панели с доброволци класическата грешка изобщо не е приложима. Там някои агенции съобщават „интервал на достоверност“, който според AAPOR почива на трудно проверими допускания.

Пример: 20 гласа под бариерата

На парламентарните избори на 27 октомври 2024 г. ЦИК изчисли 4-процентната бариера на 97 458,24 гласа, като база са действителните гласове за партии и коалиции без „Не подкрепям никого“ (решение № 3972-НС от 30 октомври 2024 г.). Една от партиите получи 97 438 гласа, т.е. около 20 гласа под чертата, или 3,999%. Никое проучване не може да различи 3,999% от 4%: при хиляда души грешката около този дял е над един пункт. Агенциите честно могат да кажат само „около бариерата“. Изборите от октомври 2024 г. по-късно бяха частично касирани от Конституционния съд; цялата картина е на страницата на тези избори.

Как да четем числата

ESOMAR и WAPOR изискват при публикуване да се посочват броят на интервютата, датите и делът на неопределените, защото без тях числото няма смисъл. Практическото правило е просто: разлики, по-малки от двойната грешка, не са доказана преднина; тенденция в няколко поредни проучвания казва повече от едно. Термините поотделно са в речника: статистическа грешка и доверителен интервал.