Тълковен речник на електоралната социология: квотна извадка и тежести

Две понятия определят как се чете графиката от едно проучване: квотната извадка и тежестите. Към тях се добавя статистическата значимост. Квотната извадка е неслучайна, затова грешката ѝ не може да се изчисли като при случайна (Уикипедия). Тежестите поправят състава на извадката, но увеличават грешката: при проучване на Pew с проектен ефект 1,28 грешката е ±2,1 пункта при 2 752 интервюта (Pew Research Center).

Накратко: - Квотната извадка е неслучайна версия на стратифицираната: интервюиращият сам избира хора, докато запълни зададените бройки (Уикипедия). - Тежестите намаляват или увеличават значението на отделни интервюта, така че извадката да съвпада с известни данни за населението, например по пол и възраст (Pew Research Center). - Проектният ефект 1,28 означава, че стандартната грешка се умножава по около 1,13. - „Статистически значимо“ не значи „важно“, а само че резултатът трудно се обяснява със случайност (Уикипедия). - Публикуването на проучване през предизборния период изисква да се разкрие кой стои зад него и как е финансирано (Централна избирателна комисия, чрез БТА).

Какво е квотна извадка и защо не е случайна

Населението се разделя на групи, а за всяка група се задава бройка. Примерът в енциклопедичната дефиниция е 200 жени и 300 мъже на възраст от 45 до 60 години (Уикипедия). Интервюиращият търси такива хора, докато квотата се напълни.

Разликата със случайния подбор е в начина на избор. При случаен подбор всеки човек има известен шанс да попадне в извадката. При квотния изборът зависи от преценката на интервюиращия, а отклонението, което това създава, е трудно да се измери и поправи (Уикипедия).

От това следва наш извод: числото „±3 пункта“ до квотно проучване описва само формула, която предполага случаен подбор. Затова при квотна извадка е редно да се пита как са избрани хората, а не само колко са. Принципът на представителността е описан в материала за извадка и представителност.

Какво са тежестите и как се прилагат

Тежестта е множител на едно интервю. Ако млади мъже са отговорили по-рядко, отколкото са в населението, техните интервюта получават по-голяма тежест.

Pew описва двустъпков процес. Първата стъпка поправя различните шансове за избор, например по броя на възрастните в домакинството и по ползването на телефон. Втората приравнява извадката към национални параметри: пол, възраст, образование, раса, произход, регион, гъстота на населението и ползване на телефон (Pew Research Center). Тежестите се и подрязват, така че нито едно интервю да не влияе прекомерно.

В електоралните проучвания принципът е същият, само че целите са други. Българските агенции публикуват променливите, по които претеглят, в методологичната бележка към всяко проучване. Именно тя казва дали тежестите изобщо са приложени.

Колко тежестите увеличават грешката

Тежестите не са безплатни. Проектният ефект измерва загубата на статистическа ефективност от неравните тежести. В проучването на Pew той е 1,28, а стандартната грешка се умножава по корен квадратен от 1,28, около 1,13 (Pew Research Center). Грешката на цялата извадка от 2 752 души е ±2,1 пункта при 95 % доверие и при дял 50 %, който дава най-голяма вариация.

Нагледно: по наше изчисление по данни на Pew (Pew Research Center) извадка от 2 752 души с проектен ефект 1,28 действа като около 2 150 равноправни интервюта. За извадка от 1 000 души грешката при 95 % доверие е около ±3,1 пункта без тежести и около ±3,5 с проектен ефект 1,28. Това е илюстрация със същия проектен ефект, а не данни от конкретно българско проучване.

Затова две проучвания с еднакъв брой интервюта може да имат различна грешка. Как се чете самата грешка, е обяснено в материала за статистическата грешка.

Четири термина, които стоят до всяка графика

Източник: Уикипедия, Pew Research Center (Уикипедия, Pew Research Center)

Понятията извадка и доверителен интервал имат собствени страници в речника на сайта.

Какво значи статистическа значимост на една графика

Резултатът е статистически значим, когато толкова крайна стойност би била много малко вероятна, ако в действителност няма ефект (Уикипедия). Границата се избира преди събирането на данните и най-често е 5 %, или 1 на 20. Фишър я предлага като удобна граница, а не като закон.

Значимостта не е мярка за важност. Значим резултат може да е с малък ефект, а Американската статистическа асоциация през 2016 г. предупреждава, че правилото p ≤ 0,05 не доказва находка сама по себе си (Уикипедия). През 2019 г. тя призовава самият израз „статистически значимо“ да отпадне.

Приложено към електорална графика, наше заключение: ако две партии се различават с по-малко от грешката на проучването, разликата не може да се обявява за реална. Ако разликата е по-голяма, остава въпросът дали пробата е била случайна. Затова значимост и тип извадка се четат заедно.

Какво трябва да пише до проучването

При публикуване на резултати от проучване през предизборния период Изборният кодекс изисква да се посочат възложителят, организацията, която го е провела, и източниците на финансиране (чл. 205, ал. 1) (Централна избирателна комисия, чрез БТА). Информацията трябва да е пълна и ясна. В печатните медии тя заема отделно поле на видно място, най-малко 5 % от площта на материала, а в аудио и аудиовизуалните медии се казва веднъж в началото и веднъж в края.

Тези три данни са законовият минимум, но не отговарят на въпроса как е направено проучването. Ето какво още да потърсите в доклада на агенцията:

• дати на теренната работа и метод на интервюто;
• размер на извадката и как са избрани респондентите;
• променливите на претегляне и стойността на грешката;
• дял на неопределените и на отказалите.

Проверката има практическо значение: през 2014 г. ЦИК констатира нарушение на чл. 205, ал. 1 и 2 от телевизионно предаване, което показвало резултати от проучвания, без да съобщи кой ги е възложил и финансирал (Централна избирателна комисия, чрез БТА). За проверка на точността на агенциите спрямо официалния резултат вж. точността на проучванията в България.

Какво не може да се каже от публикувана графика

От една графика не може да се установи дали извадката е квотна или вероятностна, ако агенцията не го е написала. Ефективната извадка и подрязването на тежестите също не личат, защото проектният ефект се съобщава само в пълния методологичен доклад, какъвто Pew публикува в (Pew Research Center). Без грешката и проектния ефект на конкретното проучване не може да се прецени и дали разлика от един-два пункта е значима.

Тези данни се намират в методологичната бележка към самото проучване на съответната агенция, която се публикува заедно с него. Според текста на решението на ЦИК, цитирано по-горе, законът изисква поне да се посочи кой е възложил и провел проучването и как е финансирано, но не изброява показателите за извадка (Централна избирателна комисия, чрез БТА).