Archiwa tagu: Estymator

Sondażokracja to jedno z publicystycznych określeń współczesnej demokracji, sugerujące przemożny wpływ badań opinii publicznej na zachowania wyborcze czy sprawowanie władzy przez polityków. Choć sporo w tym przesady, to niewątpliwie sondaże są obecnie ważnym składnikiem systemu politycznego, stanowiąc cenne źródło informacji dla rządzących i rządzonych. Ponieważ w debacie publicznej rezultaty badań społeczno-politycznych są często jednym z najważniejszych argumentów, jakość pracy ośrodków demoskopijnych powinna podlegać kontroli i ocenie. Nie ma z kolei w demokracji lepszej okazji do weryfikacji sondaży niż rzeczywiste wybory prezydenckie, parlamentarne czy europejskie.  

W wielu europejskich krajach niezależne fundacje czy organizacje pozarządowe przeprowadzają po wyborach analizę porównawczą sondaży z oficjalnymi wynikami wyborów. W Polsce nie jest to, niestety, popularna metoda rozliczania firm badawczych z ich pracy. Głosowanie do Parlamentu Europejskiego 25 maja 2014 roku rozpoczęło w naszym kraju prawdziwy, sondażowo-wyborczy maraton, który zakończy się dopiero elekcją parlamentarną na jesieni 2015 roku. W tym czasie opinia publiczna będzie wprost bombardowana dziesiątkami sondaży politycznych kilku różnych firm badawczych. Warto wiedzieć, które z nich zasługują na uwagę, a które należy traktować z dystansem. 

01.  KTÓRY SONDAŻ NAJTRAFNIEJ WSKAZAŁ ZWYCIĘZCĘ?

Na samym początku przyznajmy, że wbrew rytualnym narzekaniom na „różnice w sondażach”, w eurowyborach’2014 polskie ośrodki demoskopijne wypadły całkiem przyzwoicie. I nie chodzi tylko o świetne badanie exit poll przeprowadzone w dniu głosowania przez Ipsos dla TVP/TVN, które z niezwykłą precyzją wskazało zwycięzcę oraz właściwą kolejność partii na wyborczej mecie.  Również ostatnie opublikowane przed ciszą prognozy i sondaże nie rozminęły się drastycznie z oficjalnymi wynikami, trafnie odtwarzając wyrównaną rywalizację PO-PIS. Przez wiele tygodni przed eurowyborami średnia poparcia dla partii politycznych wskazywała na zacięty pojedynek między partiami D. Tuska i J. Kaczyńskiego, którego zwieńczeniem stała się minimalna (0,35 punktu procentowego) wygrana PO.

W rozstrzygnięciu najtrudniejszej kwestii minionych wyborów tj. wskazaniu zwycięzcy w sytuacji remisu między dwiema partiami, największą precyzją wykazał się Instytut Badań Rynkowych i Społecznych Homo Homini. Opublikowana w przedwyborczy piątek w radiu RMF FM prognoza tego ośrodka wskazywała na 0,5 p.p. przewagi PO nad PIS. Błąd względem oficjalnych wyników PKW wyniósł więc zaledwie 0,15 p.p. i jest to w polskich realiach wartość imponująca. Podkreślmy, że zwycięski szacunek Homo Homini jest prognozą, a nie sondażem (jak wszystkie pozostałe wartości w poniższej tabeli). Wysoką trafnością w kwestii wyniku PO i PIS wykazał się również sondaż telefoniczny Estymatora dla „Newsweeka”, w którym partia D. Tuska wygrywała przewagą 1 punktu procentowego. Sondaże Millward Brown dla TVN oraz TNS Polska dla TVP pomyliły się co do zwycięzcy wyborów, wskazując na PIS, lecz pomyłka ta była niewielka i mieściła się w granicach błędu pomiaru. Największą wtopę zaliczył CBOS, wieszcząc aż 5-punktową wygraną PO.

Do analizy użyłem wyników sondaży 5 ośrodków demoskopijnych w takiej postaci, w jakiej rezultaty badań zostały przekazane mediom:

1

 

02.  KTÓRY SONDAŻ BYŁ NAJTRAFNIEJSZY?

Prawidłowe wskazanie zwycięzcy w sytuacji remisu zasługuje na uznanie, lecz nie wyczerpuje oceny całościowej omawianych sondaży. By móc ocenić które z pięciu badań przedwyborczych było najlepsze, musimy porównać do oficjalnych rezultatów nie tylko sondażowe słupki PO i PIS, lecz także pozostałych partii.

Jako kryterium oceny trafności sondażu przyjąłem sumę różnic pomiędzy wyrażonymi procentowo wynikami danego sondażu a oficjalnymi wynikami osiągniętymi przez poszczególne partie. Im wskaźnik ten jest niższy, tym mniejszy błąd całkowity popełniła dana firma badawcza i tym większa trafność jej sondażu.

Pod uwagę wziąłem wszystkie sondaże przeprowadzone w maju 2014 roku, których wyniki były opublikowane najpóźniej w przedwyborczy piątek. Ponieważ niektóre firmy badawcze opublikowały w maju więcej niż jedno badanie preferencji partyjnych, do analizy wybrałem ostatni przed ciszą wyborczą sondaż każdego ośrodka. Kryterium to spełniło pięć firm demoskopijnych (CBOS, TNS Polska, Millward Brown, Estymator, Homo Homini).

Dodatkową trudność w analizie nastręczał fakt, że dwa z pięciu ośrodków zaprezentowały wyniki pozbawione już odsetka wyborców niezdecydowanych (sondaż Estymatora i prognoza Homo Homini), zaś pozostałe firmy badawcze zdecydowały się uwzględnić osoby niepewne, komu przekazać swój głos (CBOS, TNS, Millward Brown). By móc porównać ze sobą tak różne wyniki, sondaże CBOS, TNS i MB pozbawiłem „niezdecydowanych” i przeliczyłem je na postać sondażu tylko wśród wyborców pewnych, na kogo zagłosować. Przykładowo, w sondażu CBOS (PO 26%, PIS 21%) było 30% niezdecydowanych wyborców. Wynik PO: 26/70 x 100 = 37,1%, wynik PIS: 21/70 x 100 = 30% i td.

2014

Jak widać w tabeli, najmniejszy błąd ogółem popełnił w ostatnim przedwyborczym sondażu Millward Brown i to tę pracownię badawczą należy uznać za zwycięzcę w 2014 roku. Drugie miejsce w zestawieniu przypadło TNS Polska, trzecie zaś Homo Homini – autorowi najtrafniejszego oszacowania różnicy PO-PIS. Na szarym końcu rankingu znowu CBOS – suma błędu tego ośrodka (prawie 18 p.p.) w porównaniu z konkurencją (8-11 p.p,) jest wprost olbrzymia.

 

03. RANKING SONDAŻOWNI 2009-2014.

Sondażownie, które przeprowadzały badania sympatii partyjnych przed tegorocznymi wyborami do Parlamentu Europejskiego, działają na polskim rynku od wielu lat. Umożliwia nam to dokładne porównanie efektów ich pracy, które uwzględni kilka ostatnich wyborów powszechnych. Po raz pierwszy wszystkie znane nam dziś dobrze ośrodki demoskopijne – Homo Homini, Millward Brown (dawniej SMG/KRC), CBOS oraz TNS – „spotkały się” przy okazji eurowyborów w 2009 roku. Również przed wyborami prezydenckimi w 2010 i parlamentarnymi w 2011 firmy te realizowały regularne badania preferencji politycznych.

Poniżej zestawienie ostatnich sondaży przed wyborami w 2009, 2010 i 2011 wraz z błędem każdego ośrodka badawczego, obliczonym analogicznie jak przy eurowyborach 2014.

3

 

Ostateczna klasyfikacja ośrodków sondażowych w latach 2009-2014 wygląda zatem następująco:

4

W wyborach ogólnokrajowych w latach 2009-2014 największą trafnością wykazały się sondaże preferencji politycznych realizowane przez TNS Polska (wcześniej TNS OBOP) – dwukrotnie firma ta była najlepsza (2010, 2011) i dwukrotnie zajęła miejsce drugie (2009, 2014).

Na drugim miejscu w rankingu uplasował się instytut Homo Homini, a tuż za nim na trzeciej pozycji Millward Brown. I to właśnie sondaże tych ośrodków – TNS, HH, MB – jako najwierniej oddające sympatie polityczne Polaków należy traktować z największą uwagą przed nadchodzącymi wyborami samorządowymi, prezydenckimi i parlamentarnymi.

Na samym końcu rankingu uplasował się CBOS. Ta 30-letnia rządowa fundacja, która teoretycznie powinna dysponować największym doświadczeniem i precyzją w realizacji badań preferencji elektoratu, aż trzykrotnie zrealizowała najgorszy sondaż przedwyborczy: w 2010, 2011 i 2014 roku, dając się wyprzedzić nie tylko „wielkiej trójce” TNS-HH-MB, ale nawet debiutującemu na polu badań politycznych Estymatorowi. Niewątpliwie CBOS jako najsłabsze ogniwo polskiej socjometrii wymaga reformy nie mniejszej, niż krytykowana za opieszałość w liczeniu głosów Państwowa Komisja Wyborcza.

Po ponad 24 godzinach od zakończenia głosowania Państwowa Komisja Wyborcza podała wreszcie pełne wyniki wyborów do Parlamentu Europejskiego. Oficjalne rezultaty elekcji porównajmy z ostatnimi sondażami opublikowanymi przed ciszą wyborczą.

Na samym wstępie przyznajmy, że w tych wyborach polskie sondażownie wypadły całkiem przyzwoicie. I nie chodzi tylko o świetne badanie exit poll przeprowadzone w dniu głosowania przez Ipsos dla TVP/TVN. Również ostatnie przed ciszą prognozy i sondaże nie rozminęły się z wyborczą rzeczywistością i trafnie odtwarzały wyrównaną rywalizację PO-PIS. No może poza CBOS 😉

W wielu europejskich krajach niezależne fundacje przeprowadzają po wyborach analizę porównawczą sondaży z wynikami wyborów. W Polsce nie jest to, niestety, popularna metoda rozliczania ośrodków demoskopijnych z ich pracy. Niedzielne głosowanie rozpoczęło w Polsce sondażowo-wyborczy maraton, który zakończy się dopiero jesienią 2015 roku. Warto więc wiedzieć, które badania sympatii politycznych zasługują na szczególną uwagę. 

01. KTO NAJTRAFNIEJ WSKAZAŁ ZWYCIĘZCĘ?

Na początek przyjrzyjmy się najtrudniejszej kwestii w tych wyborach tj. prawidłowemu wskazaniu zwycięzcy w sytuacji remisu między PO a PIS. Do analizy użyłem wyników sondaży pięciu ośrodków w takiej postaci, w jakiej zostały one przekazane mediom.

54321

Według PKW Platforma Obywatelska pokonała Prawo i Sprawiedliwość różnicą zaledwie 0,35 punktu procentowego. Najbliżej tej wartości był instytut Homo Homini, który w opublikowanej w radiu RMF FM prognozie typował wygraną PO o 0,5 pkt proc. przed PIS. Błąd wyniósł więc zaledwie 0,15 p.p. i jest to w polskich realiach wartość imponująca. Podkreślmy, że zwycięski szacunek Homo Homini jest prognozą, a nie sondażem. Tylko instytut Homo Homini zdecydował się przed eurowyborami opublikować prognozę na podstawie sondażu, co jak widać wyszło mu na dobre.

W tym roku obok Homo Homini również sondaż Estymatora dla „Newsweeka” bardzo trafnie przewidział różnicę między PO i PIS. Estymator projektował 1-punktowe zwycięstwo Platformy, a błąd względem zanotowanej w wyborach przewagi PO (0,35 p.p.) wyniósł tylko 0,65 punktu procentowego.

02. KTÓRY SONDAŻ BYŁ NAJLEPSZY? (wersja z niezdecydowanymi)

Porównanie wyników sondaży z rzeczywistym poparciem dla wszystkich partii w wyborach, a nie tylko PO i PIS jak powyżej, wygląda następująco (w tabeli sondaże w takiej postaci, w jakiej firmy badawcze przekazały je mediom czyli z uwzględnieniem wyborców niezdecydowanych):

wynikizniezdecydowanymi

Jak widać najmniejszy błąd ogółem popełnił w ostatnim przedwyborczym badaniu Millward Brown, największy jak zwykle CBOS. Pewnie znowu pracownia M. Grabowskiej tłumaczyć się będzie wczesnym terminem realizacji sondażu, tak jak gdyby ktoś jej bronił robić ankiety bliżej terminu wyborów 😉

03. KTÓRY SONDAŻ BYŁ NAJLEPSZY? (wersja bez niezdecydowanych)

By móc porównać powyższe wyniki z Estymatorem, który jako jedyny zaprezentował w mediach wyniki sondażu tylko wśród wyborców zdecydowanych, musimy zrobić to, przed czym firmy badawcze tak się wzbraniają tj. wyłączyć z podstawy procentowania osoby niezdecydowane. Niektóre pracownie odmówiły podania wyników „bez niezdecydowanych”; inne pouczyły mnie, że takie przeliczanie jest nieuprawnione. Opór Millward Brown, TNS i CBOS przed prezentowaniem wyników sondaży w takiej postaci, w jakiej podaje je później PKW jest zastanawiający. Chcąc nie chcąc, musiałem takiego przeprocentowania dokonać sam, a pełen sondażowy ranking w wersji „bez niezdecydowanych” wygląda następująco:

POPPOLITYK

   

PODSUMOWANIE

Najlepszy sondaż przed eurowyborami przeprowadził Millward Brown, z kolei najtrafniej poparcie dla dwóch największych partii (PO i PiS) oszacował w swojej prognozie instytut Homo Homini. Całkiem dobrze w tych wyborach wypadły: TNS Polska oraz Estymator. Tradycyjnie już najsłabszym ogniwem polskiej socjometrii okazał się CBOS i to niezależnie od tego, które kryterium porównawcze przyjmiemy 😉 Zauważmy że błąd konkurencji zamyka się w przedziale 8-11 p.p., a CBOS z błędem rzędu 18 p.p. oddziela od reszty prawdziwa przepaść. Dość przypomnieć poprzednie, przestrzelone sondaże CBOS: PO 44% i PIS 27% w ostatnich wyborach parlamentarnych (było: PO 39%, PIS 30%) czy w poprzednich eurowyborach: PO 49%, PIS 22% (było: PO 44%, PIS 27%). Po raz kolejny więc CBOS pomylił się w ten sam sposób: przeszacował poparcie dla PO i zaniżył wynik PIS. Reforma PKW oraz CBOS wydają się dwoma najpilniejszymi zadaniami po eurowyborach.

Kilka wniosków natury ogólnej:

1. Prognoza trafniej niż zwykły sondaż wskazała zwycięzcę wyborów. Podobna sytuacja miała miejsce przed wyborami parlamentarnymi w 2011 roku, gdy prognoza TNS Polska dla „Gazety Wyborczej” rozgromiła sondażową konkurencję. W polskich realiach prognoza okazuje się skuteczniejsza, więc firmy badawcze powinny rozważyć publikowanie przed wyborami prognoz na podstawie własnych sondaży.

2. Sondaże Homo Homini, Estymatora i Millward Brown były oparte na większej niż standardowa próbie badawczej (1350-2000 ankietowanych) i trafniej przewidziały wynik wyborów niż „zwykłe” sondaże TNS i CBOS zrealizowane na próbie ok 1000 Polaków.  Firmy badawcze powinny rozważyć realizowanie tuż przed wyborami sondaży na większej niż „w ciągu roku” próbie.

3. Tylko CBOS nie zdecydował się zrealizować swojego ostatniego wyborczego badania w tygodniu poprzedzającym głosowanie i wybrał dużo wcześniejszy termin (8-14 maja), co niewątpliwie odbiło się na kiepskiej jakości tego sondażu. Pracownia M. Grabowskiej powinna rozważyć przeprowadzanie ostatniej ankiety bliżej terminu głosowania, co pozwoli jej choć trochę zredukować olbrzymi błąd między sondażem a wynikami wyborów.

 

Linki do analizowanych prognoz i sondaży:

HOMO HOMINI http://www.rmf24.pl/raport-eurowybory-2014/sondaze/news-eurowybory-2014-najnowszy-sondaz-pis-minimalnie-przed-po-fre,nId,1430734

ESTYMATOR http://polska.newsweek.pl/sondaz-newsweeka-poparcie-w-eurowyborach-po-i-pis-ida-na-remis,artykuly,286531,1.html

TNS POLSKA http://www.tvp.info/15320221/eurowybory-sondaz-dla-wiadomosci-pis-wyprzedza-po-o-2-pkt-proc

MILLWARD BROWN http://www.tvn24.pl/ostatnia-prosta-przed-eurowyborami-pis-i-po-leb-w-leb,431145,s.html

CBOS http://www.polskieradio.pl/5/3/Artykul/1129594,Ostatni-sondaz-CBOS-przed-wyborami-do-PE-PO-na-czele-spada-KorwinowiMikke