Sondaże polskie a niemieckie. Konfrontacja.

Kategorie: Bez kategorii

Tagi: , , , , , ,

Na Twitterze regularnie narzekam na badania preferencji partyjnych realizowane przez polskie firmy i w roli pozytywnego bohatera obsadzam ich niemieckich kolegów. „Polska the Times” na szczęście nie ogranicza mnie 140 znakami, mogę więc w tym miejscu jasno wyłożyć powody tego nieustannego hejtu.

We wrześniu prezes Instytutu Homo Homini Marcin Duma wystosował do firm zrzeszonych w Organizacji Firm Badania Opinii i Rynku (OFBOR) list otwarty, w którym wezwał konkurencję do ujednolicenia metodologii przeprowadzania sondaży http://www.wirtualnemedia.pl/artykul/organizacje-zrzeszajace-instytuty-badawcze-odrzucaja-propozycje-szefa-homo-homini

Szefowi HH chodziło głównie o prezentowane w mediach badania preferencji partyjnych, które są wizytówką firm badawczych. Ich skrajnie odmienne wyniki podważają zaufanie opinii publicznej do pracy firm badawczych, także w przypadku sondaży na inne, pozapolityczne tematy. Wielokrotnie już na tym blogu zwracałem uwagę, że bombardowanie Polaków w krótkim okresie czasu rankingami, w których PIS osiąga poparcie w przedziale 23% (CBOS) – 43% (TNS Polska dla TVP), prowadzi do totalnego chaosu i wykpiwania sondaży przez komentatorów, co uderza przede wszystkim w interes ośrodków badawczych. Lekceważąca odpowiedź OFBOR na list otwarty nie daje niestety nadziei na rychłą poprawę.

Z punktu widzenia zwykłego „konsumenta” sondaży najpilniejszą sprawą, wśród poruszonych w liście przez M. Dumę, jest postulat ujednolicenia sposobu prezentacji sondaży w mediach. Ta akurat propozycja Homo Homini jako jedyna znalazła uznanie firm konkurencyjnych i pozostaje mieć nadzieję, że chociaż w tym zakresie ośrodki demoskopijne wypracują wspólne stanowisko. W olbrzymiej bowiem mierze szokujące rozbieżności biorą się właśnie stąd, że część sondaży uwzględnia wyborców niezdecydowanych, inne zaś podawane są po ich wyłączeniu z podstawy procentowania (czyli przybierają postać wyniku wyborów podawanych przez Państwową Komisję Wyborczą, gdzie poparcie dla wszystkich partii sumuje się do 100%). Drugą kwestią problematyczną jest fakt, że w polskich realiach badawczych odsetek niezdecydowanych potrafi wahać się od 12 do 26% Polaków (to dane z wrześniowych sondaży). Mając to na względzie skuteczne porównanie sondaży różnych pracowni i wyrobienie sobie orientacji w poparciu partyjnym przez zwykłego zjadacza sondaży jest zadaniem karkołomnym.

By przekonać się, że postulat ujednolicenia metodologii jest słuszny, wystarczy porównać efekty pracy niemieckich i polskich ośrodków badawczych w zakresie sondaży przedwyborczych. Przed wrześniowymi wyborami do Bundestagu badania preferencji przeprowadzało 7 firm demoskopijnych i WSZYSTKIE podawały wyniki swoich sondaży w identyczny sposób tj. bez wyborców niezdecydowanych. Dzięki temu nie zdarzyło się, by niemiecki wyborca bombardowany był sondażami, w których koalicja CDU/CSU cieszyła się poparciem raz 23%, a innym razem 43% – jak miało to niedawno miejsce w Polszcze z poparciem dla PIS.

W poniższej tabeli zebrałem wszystkie ostatnie przed wyborami sondaże poszczególnych ośrodków i obliczyłem skalę popełnionego przez każdą firmę błędu badawczego tj. sumę różnic pomiędzy wynikiem każdej partii w sondażu a rezultatem wyborczym. I tak przykładowo dla instytutu Forsa: wynik CDU w wyborach 41.5% vs. wynik w sondażu 40% = błąd 1,5 pkt / SPD 25,7% w wyborach vs. 26% w sondażu = błąd 0,3 pkt i tak dalej dla każdej partii. Łączna suma błędów Forsa wyniosła 5 pkt.

1

Jak widać, niemieckie firmy badawcze spisały się na medal. Publikowały nie tylko niewiele różniące się od siebie sondaże, ale również wybitnie trafnie przewidziały wynik każdej partii w elekcji. I tak, średnia sondaży CDU/CSU (39,5%) jest tylko o 2 pkt proc mniejsza niż rzeczywisty wynik wyborów (41,5%). W przypadku SPD i Zielonych różnica wynosi tylko 1 pkt proc, a średni sondażowy wynik Linke (8,6%) czy Piratów (2,2%) wręcz idealnie pokrywa się z rezultatem wrześniowego głosowania (odpowiednio 8,6% i 2,2%).

Zwraca też uwagę niewielka rozpiętość popełnionego przez sondażownie błędu – od 5 pkt w przypadku najlepszego instytutu Forsa do 8,8 pkt w najgorszym sondażu Infratest.  Przeciętny błąd popełniony przez niemieckie sondażownie we wrześniowych wyborach wyniósł 6,8 pkt.

A teraz rzućmy okiem na rezultaty pracy polskich firm badawczych przed ostatnimi wyborami parlamentarnymi  w 2011 roku. Podobnie jak w przypadku Niemiec, w tabeli zawarłem ostatni opublikowany przed wyborami sondaż danego ośrodka badawczego po wykluczeniu niezdecydowanych.

2

Kilka wniosków nasuwa się z takiej analizy porównawczej polskich i niemieckich sondaży:

  1. Przed ostatnimi wyborami parlamentarnymi najlepiej spisał się TNS Polska, głównie dlatego że jako jedyny ośrodek opublikował (na łamach „Gazety Wyborczej”) prognozę wyborczą, a nie zwykły sondaż (wszystkie pozostałe badania w powyższej tabeli to klasyczne sondaże). Być może „surowe” wyniki sondaży trzeba w Polsce poddawać fachowej obróbce, by odzwierciedlały rzeczywiste sympatie elektoratu.
  2. Suma błędu popełnionego przez TNS Polska (4,5) jest MNIEJSZA od najlepszego wyniku zanotowanego w niemieckich wyborach przez firmę Forsa (łączny błąd – 5 pkt)! Innymi słowy, TNS Polska w swojej prognozie lepiej przewidział wynik wyborów niż najlepsza niemiecka sondażownia. Dowodzi to kunsztu badaczy TNS, którzy w oparciu o kilka „zwykłych” sondaży i dodatkowe badania zadawane ankietowanym stworzyli w 2011 prognozę wręcz idealną.
  3. Ostatnie przed wyborami sondaże CBOS i GFK Polonia najsłabiej przewidziały wynik wyborów. Nic więc dziwnego, że tuż po wyborach 2011 „Rzeczpospolita” podziękowała GFK Polonia za współpracę, a badania tej firmy niemal zniknęły z mediów. Niestety, nie można tego samego powiedzieć o CBOS 😉
  4. Średni błąd popełniony przez polskie firmy badawcze wyniósł 12,8 pkt – był więc niemal dwukrotnie wyższy niż w przypadku niemieckich kolegów (6,8 pkt). Sondaże w RFN spudłowały w przedziale między 5 (Forsa) a 8,8 pkt (Infratest); w Polsce między 4,5 (TNS) a 18,8 pkt (GFK Polonia). Jak widać, problem z polskimi sondażami sprowadza się nie tylko do ujednolicenia sposobu prezentowania wyników sondaży w mediach, czym zgodziły się łaskawie zająć firmy badawcze po liście prezesa Dumy, ale tkwi chyba znacznie głębiej – w samej metodologii badawczej, która prowadzi do skrajnie odmiennych wyników (np. poparcie dla PO między 35 a 46%) oraz do rezultatów nieprzystających do wyborczej rzeczywistości (np. wg sondażu CBOS PO miała otrzymać 44%, a PIS 25% – różnica między partiami miała wynieść 19 pkt proc, a wyniosła… 9 pkt).
  5. Ostatni wniosek jest iście paradoksalny i zdziwił nawet autora tego porównania 😉 Otóż okazuje się, że średnia wszystkich, ostatnich przed wyborami sondaży w niemal idealny sposób odzwierciedliła wynik elekcji 2011! Przykładowo, zanotowane przed wyborami poparcie dla PO wynosiło w różnych sondażach od 35% do 46%, a taka szokująca rozbieżność rzędu 11 pkt skłoniłaby zapewne niemieckie sondażownie do samorozwiązania. Jednocześnie jednak średnia tych wszystkich „rozjechanych” sondaży dawała tej partii 39,2% – a więc dokładnie tyle, ile partia ta otrzymała w wyborach 2011 (39,2%)! Podobnie w przypadku pozostałych partii rozbieżności między przeciętnym wynikiem sondażowym a rezultatami wyborów są minimalne. Jest to oczywiście wniosek nieco żartobliwy, niemniej zachęcam do śledzenia moich comiesięcznych podsumowań, w których w analogiczny sposób uprzeciętniam wyniki wszystkich ośrodków 😉

Przyczyna nietrafności polskich sondaży przedwyborczych pozostaje nadal niezdiagnozowana i dopiero wspólny wysiłek całej branży może wskazać jej źródła. Być może to specyfika polskiego elektoratu, który unika mówienia prawdy w badaniach (wtedy warto, by sami badacze poddali korekcie wyniki sondaży, publikując tuż przed samymi wyborami prognozy), a być może wina leży po stronie samych firm demoskopijnych i stosowanych przez nich metod badawczych. Niezależnie od powodu, tylko uśrednienie skrajnie różnych wyników sondaży daje w polskich realiach w miarę realny obraz poparcia dla partii politycznych. Przynajmniej do czasu, gdy same firmy badawcze nie wypracują jednolitych standardów. Analiza październikowych sondaży już wkrótce na moim blogu.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Time limit is exhausted. Please reload the CAPTCHA.