Archiwa tagu: Homo Homini

Sondażokracja to jedno z publicystycznych określeń współczesnej demokracji, sugerujące przemożny wpływ badań opinii publicznej na zachowania wyborcze czy sprawowanie władzy przez polityków. Choć sporo w tym przesady, to niewątpliwie sondaże są obecnie ważnym składnikiem systemu politycznego, stanowiąc cenne źródło informacji dla rządzących i rządzonych. Ponieważ w debacie publicznej rezultaty badań społeczno-politycznych są często jednym z najważniejszych argumentów, jakość pracy ośrodków demoskopijnych powinna podlegać kontroli i ocenie. Nie ma z kolei w demokracji lepszej okazji do weryfikacji sondaży niż rzeczywiste wybory prezydenckie, parlamentarne czy europejskie.  

W wielu europejskich krajach niezależne fundacje czy organizacje pozarządowe przeprowadzają po wyborach analizę porównawczą sondaży z oficjalnymi wynikami wyborów. W Polsce nie jest to, niestety, popularna metoda rozliczania firm badawczych z ich pracy. Głosowanie do Parlamentu Europejskiego 25 maja 2014 roku rozpoczęło w naszym kraju prawdziwy, sondażowo-wyborczy maraton, który zakończy się dopiero elekcją parlamentarną na jesieni 2015 roku. W tym czasie opinia publiczna będzie wprost bombardowana dziesiątkami sondaży politycznych kilku różnych firm badawczych. Warto wiedzieć, które z nich zasługują na uwagę, a które należy traktować z dystansem. 

01.  KTÓRY SONDAŻ NAJTRAFNIEJ WSKAZAŁ ZWYCIĘZCĘ?

Na samym początku przyznajmy, że wbrew rytualnym narzekaniom na „różnice w sondażach”, w eurowyborach’2014 polskie ośrodki demoskopijne wypadły całkiem przyzwoicie. I nie chodzi tylko o świetne badanie exit poll przeprowadzone w dniu głosowania przez Ipsos dla TVP/TVN, które z niezwykłą precyzją wskazało zwycięzcę oraz właściwą kolejność partii na wyborczej mecie.  Również ostatnie opublikowane przed ciszą prognozy i sondaże nie rozminęły się drastycznie z oficjalnymi wynikami, trafnie odtwarzając wyrównaną rywalizację PO-PIS. Przez wiele tygodni przed eurowyborami średnia poparcia dla partii politycznych wskazywała na zacięty pojedynek między partiami D. Tuska i J. Kaczyńskiego, którego zwieńczeniem stała się minimalna (0,35 punktu procentowego) wygrana PO.

W rozstrzygnięciu najtrudniejszej kwestii minionych wyborów tj. wskazaniu zwycięzcy w sytuacji remisu między dwiema partiami, największą precyzją wykazał się Instytut Badań Rynkowych i Społecznych Homo Homini. Opublikowana w przedwyborczy piątek w radiu RMF FM prognoza tego ośrodka wskazywała na 0,5 p.p. przewagi PO nad PIS. Błąd względem oficjalnych wyników PKW wyniósł więc zaledwie 0,15 p.p. i jest to w polskich realiach wartość imponująca. Podkreślmy, że zwycięski szacunek Homo Homini jest prognozą, a nie sondażem (jak wszystkie pozostałe wartości w poniższej tabeli). Wysoką trafnością w kwestii wyniku PO i PIS wykazał się również sondaż telefoniczny Estymatora dla „Newsweeka”, w którym partia D. Tuska wygrywała przewagą 1 punktu procentowego. Sondaże Millward Brown dla TVN oraz TNS Polska dla TVP pomyliły się co do zwycięzcy wyborów, wskazując na PIS, lecz pomyłka ta była niewielka i mieściła się w granicach błędu pomiaru. Największą wtopę zaliczył CBOS, wieszcząc aż 5-punktową wygraną PO.

Do analizy użyłem wyników sondaży 5 ośrodków demoskopijnych w takiej postaci, w jakiej rezultaty badań zostały przekazane mediom:

1

 

02.  KTÓRY SONDAŻ BYŁ NAJTRAFNIEJSZY?

Prawidłowe wskazanie zwycięzcy w sytuacji remisu zasługuje na uznanie, lecz nie wyczerpuje oceny całościowej omawianych sondaży. By móc ocenić które z pięciu badań przedwyborczych było najlepsze, musimy porównać do oficjalnych rezultatów nie tylko sondażowe słupki PO i PIS, lecz także pozostałych partii.

Jako kryterium oceny trafności sondażu przyjąłem sumę różnic pomiędzy wyrażonymi procentowo wynikami danego sondażu a oficjalnymi wynikami osiągniętymi przez poszczególne partie. Im wskaźnik ten jest niższy, tym mniejszy błąd całkowity popełniła dana firma badawcza i tym większa trafność jej sondażu.

Pod uwagę wziąłem wszystkie sondaże przeprowadzone w maju 2014 roku, których wyniki były opublikowane najpóźniej w przedwyborczy piątek. Ponieważ niektóre firmy badawcze opublikowały w maju więcej niż jedno badanie preferencji partyjnych, do analizy wybrałem ostatni przed ciszą wyborczą sondaż każdego ośrodka. Kryterium to spełniło pięć firm demoskopijnych (CBOS, TNS Polska, Millward Brown, Estymator, Homo Homini).

Dodatkową trudność w analizie nastręczał fakt, że dwa z pięciu ośrodków zaprezentowały wyniki pozbawione już odsetka wyborców niezdecydowanych (sondaż Estymatora i prognoza Homo Homini), zaś pozostałe firmy badawcze zdecydowały się uwzględnić osoby niepewne, komu przekazać swój głos (CBOS, TNS, Millward Brown). By móc porównać ze sobą tak różne wyniki, sondaże CBOS, TNS i MB pozbawiłem „niezdecydowanych” i przeliczyłem je na postać sondażu tylko wśród wyborców pewnych, na kogo zagłosować. Przykładowo, w sondażu CBOS (PO 26%, PIS 21%) było 30% niezdecydowanych wyborców. Wynik PO: 26/70 x 100 = 37,1%, wynik PIS: 21/70 x 100 = 30% i td.

2014

Jak widać w tabeli, najmniejszy błąd ogółem popełnił w ostatnim przedwyborczym sondażu Millward Brown i to tę pracownię badawczą należy uznać za zwycięzcę w 2014 roku. Drugie miejsce w zestawieniu przypadło TNS Polska, trzecie zaś Homo Homini – autorowi najtrafniejszego oszacowania różnicy PO-PIS. Na szarym końcu rankingu znowu CBOS – suma błędu tego ośrodka (prawie 18 p.p.) w porównaniu z konkurencją (8-11 p.p,) jest wprost olbrzymia.

 

03. RANKING SONDAŻOWNI 2009-2014.

Sondażownie, które przeprowadzały badania sympatii partyjnych przed tegorocznymi wyborami do Parlamentu Europejskiego, działają na polskim rynku od wielu lat. Umożliwia nam to dokładne porównanie efektów ich pracy, które uwzględni kilka ostatnich wyborów powszechnych. Po raz pierwszy wszystkie znane nam dziś dobrze ośrodki demoskopijne – Homo Homini, Millward Brown (dawniej SMG/KRC), CBOS oraz TNS – „spotkały się” przy okazji eurowyborów w 2009 roku. Również przed wyborami prezydenckimi w 2010 i parlamentarnymi w 2011 firmy te realizowały regularne badania preferencji politycznych.

Poniżej zestawienie ostatnich sondaży przed wyborami w 2009, 2010 i 2011 wraz z błędem każdego ośrodka badawczego, obliczonym analogicznie jak przy eurowyborach 2014.

3

 

Ostateczna klasyfikacja ośrodków sondażowych w latach 2009-2014 wygląda zatem następująco:

4

W wyborach ogólnokrajowych w latach 2009-2014 największą trafnością wykazały się sondaże preferencji politycznych realizowane przez TNS Polska (wcześniej TNS OBOP) – dwukrotnie firma ta była najlepsza (2010, 2011) i dwukrotnie zajęła miejsce drugie (2009, 2014).

Na drugim miejscu w rankingu uplasował się instytut Homo Homini, a tuż za nim na trzeciej pozycji Millward Brown. I to właśnie sondaże tych ośrodków – TNS, HH, MB – jako najwierniej oddające sympatie polityczne Polaków należy traktować z największą uwagą przed nadchodzącymi wyborami samorządowymi, prezydenckimi i parlamentarnymi.

Na samym końcu rankingu uplasował się CBOS. Ta 30-letnia rządowa fundacja, która teoretycznie powinna dysponować największym doświadczeniem i precyzją w realizacji badań preferencji elektoratu, aż trzykrotnie zrealizowała najgorszy sondaż przedwyborczy: w 2010, 2011 i 2014 roku, dając się wyprzedzić nie tylko „wielkiej trójce” TNS-HH-MB, ale nawet debiutującemu na polu badań politycznych Estymatorowi. Niewątpliwie CBOS jako najsłabsze ogniwo polskiej socjometrii wymaga reformy nie mniejszej, niż krytykowana za opieszałość w liczeniu głosów Państwowa Komisja Wyborcza.

Po ponad 24 godzinach od zakończenia głosowania Państwowa Komisja Wyborcza podała wreszcie pełne wyniki wyborów do Parlamentu Europejskiego. Oficjalne rezultaty elekcji porównajmy z ostatnimi sondażami opublikowanymi przed ciszą wyborczą.

Na samym wstępie przyznajmy, że w tych wyborach polskie sondażownie wypadły całkiem przyzwoicie. I nie chodzi tylko o świetne badanie exit poll przeprowadzone w dniu głosowania przez Ipsos dla TVP/TVN. Również ostatnie przed ciszą prognozy i sondaże nie rozminęły się z wyborczą rzeczywistością i trafnie odtwarzały wyrównaną rywalizację PO-PIS. No może poza CBOS 😉

W wielu europejskich krajach niezależne fundacje przeprowadzają po wyborach analizę porównawczą sondaży z wynikami wyborów. W Polsce nie jest to, niestety, popularna metoda rozliczania ośrodków demoskopijnych z ich pracy. Niedzielne głosowanie rozpoczęło w Polsce sondażowo-wyborczy maraton, który zakończy się dopiero jesienią 2015 roku. Warto więc wiedzieć, które badania sympatii politycznych zasługują na szczególną uwagę. 

01. KTO NAJTRAFNIEJ WSKAZAŁ ZWYCIĘZCĘ?

Na początek przyjrzyjmy się najtrudniejszej kwestii w tych wyborach tj. prawidłowemu wskazaniu zwycięzcy w sytuacji remisu między PO a PIS. Do analizy użyłem wyników sondaży pięciu ośrodków w takiej postaci, w jakiej zostały one przekazane mediom.

54321

Według PKW Platforma Obywatelska pokonała Prawo i Sprawiedliwość różnicą zaledwie 0,35 punktu procentowego. Najbliżej tej wartości był instytut Homo Homini, który w opublikowanej w radiu RMF FM prognozie typował wygraną PO o 0,5 pkt proc. przed PIS. Błąd wyniósł więc zaledwie 0,15 p.p. i jest to w polskich realiach wartość imponująca. Podkreślmy, że zwycięski szacunek Homo Homini jest prognozą, a nie sondażem. Tylko instytut Homo Homini zdecydował się przed eurowyborami opublikować prognozę na podstawie sondażu, co jak widać wyszło mu na dobre.

W tym roku obok Homo Homini również sondaż Estymatora dla „Newsweeka” bardzo trafnie przewidział różnicę między PO i PIS. Estymator projektował 1-punktowe zwycięstwo Platformy, a błąd względem zanotowanej w wyborach przewagi PO (0,35 p.p.) wyniósł tylko 0,65 punktu procentowego.

02. KTÓRY SONDAŻ BYŁ NAJLEPSZY? (wersja z niezdecydowanymi)

Porównanie wyników sondaży z rzeczywistym poparciem dla wszystkich partii w wyborach, a nie tylko PO i PIS jak powyżej, wygląda następująco (w tabeli sondaże w takiej postaci, w jakiej firmy badawcze przekazały je mediom czyli z uwzględnieniem wyborców niezdecydowanych):

wynikizniezdecydowanymi

Jak widać najmniejszy błąd ogółem popełnił w ostatnim przedwyborczym badaniu Millward Brown, największy jak zwykle CBOS. Pewnie znowu pracownia M. Grabowskiej tłumaczyć się będzie wczesnym terminem realizacji sondażu, tak jak gdyby ktoś jej bronił robić ankiety bliżej terminu wyborów 😉

03. KTÓRY SONDAŻ BYŁ NAJLEPSZY? (wersja bez niezdecydowanych)

By móc porównać powyższe wyniki z Estymatorem, który jako jedyny zaprezentował w mediach wyniki sondażu tylko wśród wyborców zdecydowanych, musimy zrobić to, przed czym firmy badawcze tak się wzbraniają tj. wyłączyć z podstawy procentowania osoby niezdecydowane. Niektóre pracownie odmówiły podania wyników „bez niezdecydowanych”; inne pouczyły mnie, że takie przeliczanie jest nieuprawnione. Opór Millward Brown, TNS i CBOS przed prezentowaniem wyników sondaży w takiej postaci, w jakiej podaje je później PKW jest zastanawiający. Chcąc nie chcąc, musiałem takiego przeprocentowania dokonać sam, a pełen sondażowy ranking w wersji „bez niezdecydowanych” wygląda następująco:

POPPOLITYK

   

PODSUMOWANIE

Najlepszy sondaż przed eurowyborami przeprowadził Millward Brown, z kolei najtrafniej poparcie dla dwóch największych partii (PO i PiS) oszacował w swojej prognozie instytut Homo Homini. Całkiem dobrze w tych wyborach wypadły: TNS Polska oraz Estymator. Tradycyjnie już najsłabszym ogniwem polskiej socjometrii okazał się CBOS i to niezależnie od tego, które kryterium porównawcze przyjmiemy 😉 Zauważmy że błąd konkurencji zamyka się w przedziale 8-11 p.p., a CBOS z błędem rzędu 18 p.p. oddziela od reszty prawdziwa przepaść. Dość przypomnieć poprzednie, przestrzelone sondaże CBOS: PO 44% i PIS 27% w ostatnich wyborach parlamentarnych (było: PO 39%, PIS 30%) czy w poprzednich eurowyborach: PO 49%, PIS 22% (było: PO 44%, PIS 27%). Po raz kolejny więc CBOS pomylił się w ten sam sposób: przeszacował poparcie dla PO i zaniżył wynik PIS. Reforma PKW oraz CBOS wydają się dwoma najpilniejszymi zadaniami po eurowyborach.

Kilka wniosków natury ogólnej:

1. Prognoza trafniej niż zwykły sondaż wskazała zwycięzcę wyborów. Podobna sytuacja miała miejsce przed wyborami parlamentarnymi w 2011 roku, gdy prognoza TNS Polska dla „Gazety Wyborczej” rozgromiła sondażową konkurencję. W polskich realiach prognoza okazuje się skuteczniejsza, więc firmy badawcze powinny rozważyć publikowanie przed wyborami prognoz na podstawie własnych sondaży.

2. Sondaże Homo Homini, Estymatora i Millward Brown były oparte na większej niż standardowa próbie badawczej (1350-2000 ankietowanych) i trafniej przewidziały wynik wyborów niż „zwykłe” sondaże TNS i CBOS zrealizowane na próbie ok 1000 Polaków.  Firmy badawcze powinny rozważyć realizowanie tuż przed wyborami sondaży na większej niż „w ciągu roku” próbie.

3. Tylko CBOS nie zdecydował się zrealizować swojego ostatniego wyborczego badania w tygodniu poprzedzającym głosowanie i wybrał dużo wcześniejszy termin (8-14 maja), co niewątpliwie odbiło się na kiepskiej jakości tego sondażu. Pracownia M. Grabowskiej powinna rozważyć przeprowadzanie ostatniej ankiety bliżej terminu głosowania, co pozwoli jej choć trochę zredukować olbrzymi błąd między sondażem a wynikami wyborów.

 

Linki do analizowanych prognoz i sondaży:

HOMO HOMINI http://www.rmf24.pl/raport-eurowybory-2014/sondaze/news-eurowybory-2014-najnowszy-sondaz-pis-minimalnie-przed-po-fre,nId,1430734

ESTYMATOR http://polska.newsweek.pl/sondaz-newsweeka-poparcie-w-eurowyborach-po-i-pis-ida-na-remis,artykuly,286531,1.html

TNS POLSKA http://www.tvp.info/15320221/eurowybory-sondaz-dla-wiadomosci-pis-wyprzedza-po-o-2-pkt-proc

MILLWARD BROWN http://www.tvn24.pl/ostatnia-prosta-przed-eurowyborami-pis-i-po-leb-w-leb,431145,s.html

CBOS http://www.polskieradio.pl/5/3/Artykul/1129594,Ostatni-sondaz-CBOS-przed-wyborami-do-PE-PO-na-czele-spada-KorwinowiMikke

Na Twitterze regularnie narzekam na badania preferencji partyjnych realizowane przez polskie firmy i w roli pozytywnego bohatera obsadzam ich niemieckich kolegów. „Polska the Times” na szczęście nie ogranicza mnie 140 znakami, mogę więc w tym miejscu jasno wyłożyć powody tego nieustannego hejtu.

We wrześniu prezes Instytutu Homo Homini Marcin Duma wystosował do firm zrzeszonych w Organizacji Firm Badania Opinii i Rynku (OFBOR) list otwarty, w którym wezwał konkurencję do ujednolicenia metodologii przeprowadzania sondaży http://www.wirtualnemedia.pl/artykul/organizacje-zrzeszajace-instytuty-badawcze-odrzucaja-propozycje-szefa-homo-homini

Szefowi HH chodziło głównie o prezentowane w mediach badania preferencji partyjnych, które są wizytówką firm badawczych. Ich skrajnie odmienne wyniki podważają zaufanie opinii publicznej do pracy firm badawczych, także w przypadku sondaży na inne, pozapolityczne tematy. Wielokrotnie już na tym blogu zwracałem uwagę, że bombardowanie Polaków w krótkim okresie czasu rankingami, w których PIS osiąga poparcie w przedziale 23% (CBOS) – 43% (TNS Polska dla TVP), prowadzi do totalnego chaosu i wykpiwania sondaży przez komentatorów, co uderza przede wszystkim w interes ośrodków badawczych. Lekceważąca odpowiedź OFBOR na list otwarty nie daje niestety nadziei na rychłą poprawę.

Z punktu widzenia zwykłego „konsumenta” sondaży najpilniejszą sprawą, wśród poruszonych w liście przez M. Dumę, jest postulat ujednolicenia sposobu prezentacji sondaży w mediach. Ta akurat propozycja Homo Homini jako jedyna znalazła uznanie firm konkurencyjnych i pozostaje mieć nadzieję, że chociaż w tym zakresie ośrodki demoskopijne wypracują wspólne stanowisko. W olbrzymiej bowiem mierze szokujące rozbieżności biorą się właśnie stąd, że część sondaży uwzględnia wyborców niezdecydowanych, inne zaś podawane są po ich wyłączeniu z podstawy procentowania (czyli przybierają postać wyniku wyborów podawanych przez Państwową Komisję Wyborczą, gdzie poparcie dla wszystkich partii sumuje się do 100%). Drugą kwestią problematyczną jest fakt, że w polskich realiach badawczych odsetek niezdecydowanych potrafi wahać się od 12 do 26% Polaków (to dane z wrześniowych sondaży). Mając to na względzie skuteczne porównanie sondaży różnych pracowni i wyrobienie sobie orientacji w poparciu partyjnym przez zwykłego zjadacza sondaży jest zadaniem karkołomnym.

By przekonać się, że postulat ujednolicenia metodologii jest słuszny, wystarczy porównać efekty pracy niemieckich i polskich ośrodków badawczych w zakresie sondaży przedwyborczych. Przed wrześniowymi wyborami do Bundestagu badania preferencji przeprowadzało 7 firm demoskopijnych i WSZYSTKIE podawały wyniki swoich sondaży w identyczny sposób tj. bez wyborców niezdecydowanych. Dzięki temu nie zdarzyło się, by niemiecki wyborca bombardowany był sondażami, w których koalicja CDU/CSU cieszyła się poparciem raz 23%, a innym razem 43% – jak miało to niedawno miejsce w Polszcze z poparciem dla PIS.

W poniższej tabeli zebrałem wszystkie ostatnie przed wyborami sondaże poszczególnych ośrodków i obliczyłem skalę popełnionego przez każdą firmę błędu badawczego tj. sumę różnic pomiędzy wynikiem każdej partii w sondażu a rezultatem wyborczym. I tak przykładowo dla instytutu Forsa: wynik CDU w wyborach 41.5% vs. wynik w sondażu 40% = błąd 1,5 pkt / SPD 25,7% w wyborach vs. 26% w sondażu = błąd 0,3 pkt i tak dalej dla każdej partii. Łączna suma błędów Forsa wyniosła 5 pkt.

1

Jak widać, niemieckie firmy badawcze spisały się na medal. Publikowały nie tylko niewiele różniące się od siebie sondaże, ale również wybitnie trafnie przewidziały wynik każdej partii w elekcji. I tak, średnia sondaży CDU/CSU (39,5%) jest tylko o 2 pkt proc mniejsza niż rzeczywisty wynik wyborów (41,5%). W przypadku SPD i Zielonych różnica wynosi tylko 1 pkt proc, a średni sondażowy wynik Linke (8,6%) czy Piratów (2,2%) wręcz idealnie pokrywa się z rezultatem wrześniowego głosowania (odpowiednio 8,6% i 2,2%).

Zwraca też uwagę niewielka rozpiętość popełnionego przez sondażownie błędu – od 5 pkt w przypadku najlepszego instytutu Forsa do 8,8 pkt w najgorszym sondażu Infratest.  Przeciętny błąd popełniony przez niemieckie sondażownie we wrześniowych wyborach wyniósł 6,8 pkt.

A teraz rzućmy okiem na rezultaty pracy polskich firm badawczych przed ostatnimi wyborami parlamentarnymi  w 2011 roku. Podobnie jak w przypadku Niemiec, w tabeli zawarłem ostatni opublikowany przed wyborami sondaż danego ośrodka badawczego po wykluczeniu niezdecydowanych.

2

Kilka wniosków nasuwa się z takiej analizy porównawczej polskich i niemieckich sondaży:

  1. Przed ostatnimi wyborami parlamentarnymi najlepiej spisał się TNS Polska, głównie dlatego że jako jedyny ośrodek opublikował (na łamach „Gazety Wyborczej”) prognozę wyborczą, a nie zwykły sondaż (wszystkie pozostałe badania w powyższej tabeli to klasyczne sondaże). Być może „surowe” wyniki sondaży trzeba w Polsce poddawać fachowej obróbce, by odzwierciedlały rzeczywiste sympatie elektoratu.
  2. Suma błędu popełnionego przez TNS Polska (4,5) jest MNIEJSZA od najlepszego wyniku zanotowanego w niemieckich wyborach przez firmę Forsa (łączny błąd – 5 pkt)! Innymi słowy, TNS Polska w swojej prognozie lepiej przewidział wynik wyborów niż najlepsza niemiecka sondażownia. Dowodzi to kunsztu badaczy TNS, którzy w oparciu o kilka „zwykłych” sondaży i dodatkowe badania zadawane ankietowanym stworzyli w 2011 prognozę wręcz idealną.
  3. Ostatnie przed wyborami sondaże CBOS i GFK Polonia najsłabiej przewidziały wynik wyborów. Nic więc dziwnego, że tuż po wyborach 2011 „Rzeczpospolita” podziękowała GFK Polonia za współpracę, a badania tej firmy niemal zniknęły z mediów. Niestety, nie można tego samego powiedzieć o CBOS 😉
  4. Średni błąd popełniony przez polskie firmy badawcze wyniósł 12,8 pkt – był więc niemal dwukrotnie wyższy niż w przypadku niemieckich kolegów (6,8 pkt). Sondaże w RFN spudłowały w przedziale między 5 (Forsa) a 8,8 pkt (Infratest); w Polsce między 4,5 (TNS) a 18,8 pkt (GFK Polonia). Jak widać, problem z polskimi sondażami sprowadza się nie tylko do ujednolicenia sposobu prezentowania wyników sondaży w mediach, czym zgodziły się łaskawie zająć firmy badawcze po liście prezesa Dumy, ale tkwi chyba znacznie głębiej – w samej metodologii badawczej, która prowadzi do skrajnie odmiennych wyników (np. poparcie dla PO między 35 a 46%) oraz do rezultatów nieprzystających do wyborczej rzeczywistości (np. wg sondażu CBOS PO miała otrzymać 44%, a PIS 25% – różnica między partiami miała wynieść 19 pkt proc, a wyniosła… 9 pkt).
  5. Ostatni wniosek jest iście paradoksalny i zdziwił nawet autora tego porównania 😉 Otóż okazuje się, że średnia wszystkich, ostatnich przed wyborami sondaży w niemal idealny sposób odzwierciedliła wynik elekcji 2011! Przykładowo, zanotowane przed wyborami poparcie dla PO wynosiło w różnych sondażach od 35% do 46%, a taka szokująca rozbieżność rzędu 11 pkt skłoniłaby zapewne niemieckie sondażownie do samorozwiązania. Jednocześnie jednak średnia tych wszystkich „rozjechanych” sondaży dawała tej partii 39,2% – a więc dokładnie tyle, ile partia ta otrzymała w wyborach 2011 (39,2%)! Podobnie w przypadku pozostałych partii rozbieżności między przeciętnym wynikiem sondażowym a rezultatami wyborów są minimalne. Jest to oczywiście wniosek nieco żartobliwy, niemniej zachęcam do śledzenia moich comiesięcznych podsumowań, w których w analogiczny sposób uprzeciętniam wyniki wszystkich ośrodków 😉

Przyczyna nietrafności polskich sondaży przedwyborczych pozostaje nadal niezdiagnozowana i dopiero wspólny wysiłek całej branży może wskazać jej źródła. Być może to specyfika polskiego elektoratu, który unika mówienia prawdy w badaniach (wtedy warto, by sami badacze poddali korekcie wyniki sondaży, publikując tuż przed samymi wyborami prognozy), a być może wina leży po stronie samych firm demoskopijnych i stosowanych przez nich metod badawczych. Niezależnie od powodu, tylko uśrednienie skrajnie różnych wyników sondaży daje w polskich realiach w miarę realny obraz poparcia dla partii politycznych. Przynajmniej do czasu, gdy same firmy badawcze nie wypracują jednolitych standardów. Analiza październikowych sondaży już wkrótce na moim blogu.

Po wpadce w wyborach 2011 roku Instytut Homo Homini nie cieszy się wśród części dziennikarzy i komentatorów dobrą sławą. Jego sondaże są przez część mediów przemilczane, za to wyjątkowo chętnie cytowane są efekty prac Centrum Badania Opinii Społecznej. Czy rzeczywiście sondaże CBOS są lepsze od Homo Homini?

Jednym z największych ‘hejterów’ Instytutu Homo Homini jest redaktor Wojciech Szacki, obecnie dziennikarz tygodnika „Polityka”. Swojej niechęci do tej sondażowni redaktor daje wyraz często i gęsto. Np. wczoraj podczas twitterowej pogawędki z innymi dziennikarzami wyraził przekonanie, że „poważni ludzie” nie powołują się na sondaże Homo Homini.

1

Jednocześnie redaktor Szacki, podobnie jak wielu innych komentatorów polityki, jest wielkim entuzjastą sondaży nadzorowanej przez Prezesa Rady Ministrów fundacji CBOS. Badania tego ośrodka zapowiada on często z wyprzedzeniem na swoim profilu na Twitterze i namiętnie cytuje w swoich analizach dla Polityka Insight. Wydaje się, że uważa badania CBOS za rzetelne, miarodajne, znajdujące potwierdzenie w rzeczywistych postawach i poglądach ankietowanych Polaków – w przeciwieństwie do nierzetelnego Instytutu Homo Homini. Zainspirowany opiniami redaktora Szackiego postanowiłem sprawdzić jak to wygląda w rzeczywistości.

W tym wpisie chciałbym pominąć powody niechęci do HH tego konkretnego dziennikarza czy pozostałych komentatorów, a skupić się na porównaniu efektów pracy indagowanych sondażowni: Centrum Badania Opinii Społecznej i Instytutu Homo Homini. Wydawać się może, że okrzepły, z blisko 30-letnim doświadczeniem CBOS rozłoży na łopatki Homo Homini – ośrodek młody, działający pod obecną nazwą od 2007 roku, nienależący do zrzeszającej wszystkie „renomowane” sondażownie Organizacji Firm Badania Opinii i Rynku (OFBOR).

W przypadku firm badania opinii publicznej jednym z najlepszych sposobów weryfikacji jakości sondaży, w Polsce niestety niespecjalnie chętnie praktykowanym, jest porównanie ostatnich, opublikowanych przed wyborami sondaży wszystkich ośrodków z rzeczywistymi wynikami wyborów podanymi przez Państwową Komisję Wyborczą. Ponieważ Instytut Homo Homini zadebiutował na szerszą skalę przed wyborami do Parlamentu Europejskiego w 2009, od tego więc momentu jest możliwość porównania efektów pracy tej sondażowni z konkurencją w postaci CBOS.

W jaki sposób porównałem wyniki sondaży CBOS i HH? Uwaga, będzie nudniejszy fragment, ale konieczny dla przejrzystości wywodu 😉 Po 1, za podstawę do obliczeń przyjąłem ostatni, opublikowany w mediach przed ciszą wyborczą sondaż danego ośrodka badawczego. Po 2, wyniki sondaży sprowadziłem do wspólnego mianownika tj. wyłączyłem z podstawy procentowania wyborców niezdecydowanych (porównywanie sondaży z uwzględnieniem niezdecydowanych i bez nich jest z metodologicznego punktu widzenia błędem). Dość często wyniki bez niezdecydowanych dostarczyły do mojej analizy porównawczej same pracownie, jak np. CBOS na swojej stronie internetowej. Po 3, porównałem rzeczywisty rezultat wyborczy każdej partii z wartościami prognozowanymi przed wyborami przez obie sondażownie. Następnie obliczyłem sumę błędu popełnionego przez daną sondażownię dla każdej z partii (przykładowo: wyborczy wynik w 2009 PO to 44,4% – wg Homo Homini partia ta miała otrzymać 46,3%, a więc błąd oszacowania wyniósł 1,9 pkt proc / wg CBOS Platforma miała dostać 48,7%, a więc błąd oszacowania wyniósł 4,3 pkt proc). Zsumowana skala błędów każdego ośrodka znajduje się w tabeli na zielonym polu.

2

Wybory do PE 2009 to zdecydowane zwycięstwo Homo Homini nad CBOS. Łączna suma błędu HH to 6,4 pkt proc, a CBOS aż 13,6 pkt – można więc powiedzieć, że CBOS w swoim ostatnim przedwyborczym sondażu pomylił się ponad dwukrotnie bardziej niż HH. Kolejne powszechne wybory, które dają nam możliwość porównania efektów pracy CBOS i HH to I tura wyborów prezydenckich w 2010 roku (przed II turą CBOS nie zdecydował się na realizację sondażu przedwyborczego, jako materiał porównawczy musi więc wystarczyć I tura).

 

3

Jak wynika z powyższych obliczeń, I tura wyborów prezydenckich w 2010 roku to znowu większa pomyłka CBOS (16,6 pkt proc) niż Homo Homini (11,2 pkt proc). Wg CBOS Komorowski miał otrzymać 47% głosów, a Kaczyński 32%, a więc różnica między kandydatami miała wynieść aż 15 pkt proc. Tymczasem rzeczywista przewaga kandydata PO nad PIS wyniosła w I turze raptem… 5 pkt proc, a zatem można mówić o kompromitującej wpadce CBOS. Tymczasem Instytut HH oszacował przewagę Komorowskiego nad Kaczyńskim na 5,6 pkt proc, co było strzałem niemal idealnym.

I wreszcie na koniec pora zerknąć na wyniki ostatnich wyborów parlamentarnych w 2011 roku. Również tutaj bez zaskoczeń – to CBOS tradycyjnie „przestrzelił” ze swoim sondażem.

4

Gdyby wyniki wyborów parlamentarnych 2011 pokryły się z ostatnim przed ciszą wyborczą sondażem CBOS, powody do zadowolenia miałaby przede wszystkim partia Tuska. Bowiem wg szacownego, 30-letniego ośrodka badawczego przewaga PO (44%) nad PIS (25%) miała sięgnąć aż 19 pkt proc. Rzeczywistość nie chciała być jednak tak łaskawa dla partii rządzącej jak sondaże instytutu Mirosławy Grabowskiej i PO musiała się zadowolić ledwie 9-pkt przewagą nad Kaczyńskim.

By być sprawiedliwym trzeba odnotować, że 2011 rok to najsłabszy z dotychczasowych „występów” przedwyborczych Homo Homini. Suma popełnionych błędów w ostatnim przed ciszą sondażu jest bowiem niewiele tylko mniejsza od dokonań CBOS. O ile CBOS przeszacował mocno PO i niedoszacował PIS, o tyle HH dokładnie odwrotnie. Prognozowana przez ten ośrodek różnica raptem 3 pkt proc między PO a PIS okazała się trzykrotnie mniejsza od zanotowanej w wyborach.

Dodatkowo należy pamiętać o „przestrzelonym” sondażu exit poll zrealizowanym przez Homo Homini w dniu wyborów 2011 dla telewizji Polsat. Podczas wieczoru wyborczego 9 października to TNS Polska triumfował ze swoim exit poll dla telewizji publicznej – również opublikowana na łamach „Gazety Wyborczej” 2 dni przed wyborami prognoza pokryła się wyśmienicie z wynikami wyborów, wzbudzając powszechny szacunek całej branży badawczej.

Wystarczył szybki fact check na potrzeby niniejszego, raczkującego dopiero bloga, by dowieść, że przedwyborcze sondaże preferencji partyjnych CBOS należy traktować z dużym dystansem. Warto o tym pamiętać w sytuacji, gdy wrzesień to już drugi miesiąc z rzędu, gdy tylko w sondażach CBOS to Platforma Obywatelska jest liderem rankingu partyjnego. W badaniach Millward Brown, TNS Polska czy wreszcie Homo Homini to PIS jest od maja najpopularniejszą polską partią ( http://blogi.polskatimes.pl/poppolityka/?p=6&preview=true )

Zastanawiać może, że mimo dostępności wszystkich danych potrzebnych do obliczeń takie proste zestawienie błędów sondażowni dotąd w mejnstrimowych mediach się nie ukazało. Nic więc dziwnego, że prof. Ireneusz Krzemiński może nadal z poważną miną prawić w telewizjach informacyjnych o „bezużyteczności” sondaży Homo Homini i pokładać zaufanie tylko w sondażach CBOS. Tymczasem prosta weryfikacja przedwyborczych badań z wynikami elekcji prowadzi do wniosku, że – parafrazując mojego ulubionego red. Szackiego – poważni ludzie nie powinni raczej cytować sondaży CBOS 😉

PS: niniejszy wpis nie został niestety zasponsorowany przez Instytut Homo Homini, mimo wielokrotnych prób przekazania numeru mojego konta bankowego prezesowi HH Marcinowi Dumie.