Статистическа грешка в проучванията и откъде идва ±3%

Статистическа грешка от около ±3,1 пункта се получава при извадка от 1 000 души, когато резултатът е близо до 50 % и доверието е 95 % (Wikipedia). Тя идва от една формула: 1,96 × √(p(1−p)/n), където p е дялът в извадката, а n е броят на анкетираните. Числото ±3 е стандарт не по закон, а защото около 1 067 интервюта дават точно такава граница (Pew Research Center).

Накратко: - При p = 0,5 формулата се опростява до около 0,98/√n, затова най-голямата грешка е при дял около 50 % (Wikipedia). - За ±3 пункта е нужна проста случайна извадка от 1 067 случая (Pew Research Center). - Грешката за разликата между две партии е около два пъти по-голяма от грешката за всяка от тях. - Тежестите на данните увеличават грешката: в едно проучване на Pew от 2017 г. при 1 012 анкетирани тя е ±3,7 пункта (Pew Research Center).

Как се пресмята статистическа грешка по формулата

Грешката е равна на z-стойността, умножена по стандартната грешка на дела (Wikipedia). При 95 % доверие z е 1,96, а стандартната грешка е √(p(1−p)/n). Произведението p(1−p) е най-голямо при p = 0,5 и тогава е 0,25.

Затова агенциите отчитат най-неблагоприятния случай: резултатът, който е най-близо до 50 %, има най-голямо отклонение (Wikipedia). Така едно число за цялата извадка важи за всички дялове в нея. Речникът на сайта описва понятието в статията Статистическа грешка: границата на случайното отклонение.

Защо ±3% е стандарт при национални проучвания

Обръщането на формулата дава размера на извадката: n ≈ 1,96² · p(1−p) / E². За E = 0,03 и p = 0,5 това са около 1 067 души (Pew Research Center). Проучване с такъв размер се организира в рамките на няколко дни, а по-големите извадки струват повече и носят по-малко.

Причината е в корена. Грешката пада с 1/√n, затова за половин грешка е нужна четири пъти по-голяма извадка. Следващата таблица е по наше изчисление по формулата от Wikipedia.

Източник: по наше изчисление по данни на Wikipedia (Wikipedia); стойността за 1 067 съвпада с данните на Pew Research Center (Pew Research Center).

Нашият извод: след около 1 000 души всяка нова стотица интервюта намалява грешката само с части от процентния пункт, както личи от таблицата по формулата (Wikipedia). Затова ±3 е компромис между цена и точност, а не математическа граница (Pew Research Center). Повече за размера на извадката има в материала Представителна извадка, защо хиляда души стигат за проучване в България.

Защо грешката зависи от дела, а не само от извадката

Грешката пада, когато резултатът се отдалечава от 50 % и клони към нула близо до 0 % и 100 % (Wikipedia). При 1 000 души и дял 25 % грешката е около ±2,7 пункта, а при дял 4 % е около ±1,2 пункта (по наше изчисление по формулата от Wikipedia).

Затова партия с резултат под 5 % има по-тясна лента от лидера. Ниският дял не прави оценката на разстоянието до бариерата сигурна: относителната неточност е по-голяма, тъй като 1,2 пункта са цяла четвърт от 4 %. Простата формула има и слабо място при редки дялове. При 1 % и 200 души тя дава долна граница около −0,4 пункта, което няма смисъл, и NIST препоръчва по-устойчив метод от този вид (NIST (САЩ), Engineering Statistics Handbook).

Как се четат разликите между две партии и между две проучвания

Разликата между два дяла в една и съща извадка има грешка около два пъти по-голяма от грешката на всеки дял (Pew Research Center). В примера на Pew при ±3 пункта за един кандидат преднина от 5 пункта е съвместима с реална разлика от −1 до +11 пункта. Нужни са поне 6 пункта, за да се изключи чисто случайното отклонение.

Промяната между две проучвания е още по-несигурна: ръст от 5 на 8 пункта преднина има граница около ±8 пункта (Pew Research Center). Затова скок от 1–2 пункта между две вълни не е сигурна промяна в нагласите. Правилото се прилага и към българските данни, а допълнителни примери са в материала Статистическа грешка: какво значи „±3 пункта“ и кога разликата е реална.

Подгрупите и тежестите увеличават отклонението

Общата грешка не важи за региони, възрастови групи или за решилите да гласуват. При подгрупа от около 160 души Pew посочва ±8 пункта за един дял и ±16 пункта за разлика между два (Pew Research Center).

Тежестите също имат цена. В проучването на Pew от 2017 г. с 1 012 анкетирани грешката е ±3,7 пункта, защото е коригирана за ефекта на плана на извадката (Pew Research Center). Простата формула би дала около ±3,1 пункта (Wikipedia). По наше изчисление по данни на Pew и Wikipedia ефектът е около 1,4, а ефективната извадка е около 700 души.

Какво грешката не обхваща

Формулата измерва само случайното колебание при подбора. Грешките от покритие (хора без интернет), от начина на интервюто, от неискрени отговори и от модела за вероятните гласоподаватели са трудни за измерване и рядко се отчитат (Pew Research Center). Затова един дял от 5 % в 590 проучвания на националните президентски избори през 2012 г. се очаква да излезе извън границата само от случайност, около 30 проучвания.

Тази граница не е гаранция за съвпадение с официалния резултат. Сравнения между проучвания и резултати на ЦИК са в материала Точност на социологическите проучвания в България, евроизборите 2019 и 2024.

Проверка на публикувано проучване по три реда

В паспорта на проучването трябва да се търсят размерът на извадката, дата на теренната работа и посочена грешка. Ако грешката е по-малка от 0,98/√n, а n е с тежести, възниква въпрос дали е коригирана за ефекта на плана (Pew Research Center, Wikipedia). За n = 1 000 прагът е около ±3,1 пункта.

После се проверява за какво важи числото: за цялата извадка, за подгрупа или за разлика. Дали доверието е 95 %, е последната проверка: при 99 % грешката при 1 000 души е ±4,1 пункта вместо ±3,1 (Wikipedia).

Последно практично число за сравнение: при извадка от 300 000 избиратели и 72 000 анкетирани корекцията за крайна съвкупност сваля грешката от ±0,4 на ±0,3 пункта, но при национална извадка от 1 000 души тя е незначителна, защото е под прага от 5 % от съвкупността (Wikipedia).