Archiwa tagu: Niemcy

Na Twitterze regularnie narzekam na badania preferencji partyjnych realizowane przez polskie firmy i w roli pozytywnego bohatera obsadzam ich niemieckich kolegów. „Polska the Times” na szczęście nie ogranicza mnie 140 znakami, mogę więc w tym miejscu jasno wyłożyć powody tego nieustannego hejtu.

We wrześniu prezes Instytutu Homo Homini Marcin Duma wystosował do firm zrzeszonych w Organizacji Firm Badania Opinii i Rynku (OFBOR) list otwarty, w którym wezwał konkurencję do ujednolicenia metodologii przeprowadzania sondaży http://www.wirtualnemedia.pl/artykul/organizacje-zrzeszajace-instytuty-badawcze-odrzucaja-propozycje-szefa-homo-homini

Szefowi HH chodziło głównie o prezentowane w mediach badania preferencji partyjnych, które są wizytówką firm badawczych. Ich skrajnie odmienne wyniki podważają zaufanie opinii publicznej do pracy firm badawczych, także w przypadku sondaży na inne, pozapolityczne tematy. Wielokrotnie już na tym blogu zwracałem uwagę, że bombardowanie Polaków w krótkim okresie czasu rankingami, w których PIS osiąga poparcie w przedziale 23% (CBOS) – 43% (TNS Polska dla TVP), prowadzi do totalnego chaosu i wykpiwania sondaży przez komentatorów, co uderza przede wszystkim w interes ośrodków badawczych. Lekceważąca odpowiedź OFBOR na list otwarty nie daje niestety nadziei na rychłą poprawę.

Z punktu widzenia zwykłego „konsumenta” sondaży najpilniejszą sprawą, wśród poruszonych w liście przez M. Dumę, jest postulat ujednolicenia sposobu prezentacji sondaży w mediach. Ta akurat propozycja Homo Homini jako jedyna znalazła uznanie firm konkurencyjnych i pozostaje mieć nadzieję, że chociaż w tym zakresie ośrodki demoskopijne wypracują wspólne stanowisko. W olbrzymiej bowiem mierze szokujące rozbieżności biorą się właśnie stąd, że część sondaży uwzględnia wyborców niezdecydowanych, inne zaś podawane są po ich wyłączeniu z podstawy procentowania (czyli przybierają postać wyniku wyborów podawanych przez Państwową Komisję Wyborczą, gdzie poparcie dla wszystkich partii sumuje się do 100%). Drugą kwestią problematyczną jest fakt, że w polskich realiach badawczych odsetek niezdecydowanych potrafi wahać się od 12 do 26% Polaków (to dane z wrześniowych sondaży). Mając to na względzie skuteczne porównanie sondaży różnych pracowni i wyrobienie sobie orientacji w poparciu partyjnym przez zwykłego zjadacza sondaży jest zadaniem karkołomnym.

By przekonać się, że postulat ujednolicenia metodologii jest słuszny, wystarczy porównać efekty pracy niemieckich i polskich ośrodków badawczych w zakresie sondaży przedwyborczych. Przed wrześniowymi wyborami do Bundestagu badania preferencji przeprowadzało 7 firm demoskopijnych i WSZYSTKIE podawały wyniki swoich sondaży w identyczny sposób tj. bez wyborców niezdecydowanych. Dzięki temu nie zdarzyło się, by niemiecki wyborca bombardowany był sondażami, w których koalicja CDU/CSU cieszyła się poparciem raz 23%, a innym razem 43% – jak miało to niedawno miejsce w Polszcze z poparciem dla PIS.

W poniższej tabeli zebrałem wszystkie ostatnie przed wyborami sondaże poszczególnych ośrodków i obliczyłem skalę popełnionego przez każdą firmę błędu badawczego tj. sumę różnic pomiędzy wynikiem każdej partii w sondażu a rezultatem wyborczym. I tak przykładowo dla instytutu Forsa: wynik CDU w wyborach 41.5% vs. wynik w sondażu 40% = błąd 1,5 pkt / SPD 25,7% w wyborach vs. 26% w sondażu = błąd 0,3 pkt i tak dalej dla każdej partii. Łączna suma błędów Forsa wyniosła 5 pkt.

1

Jak widać, niemieckie firmy badawcze spisały się na medal. Publikowały nie tylko niewiele różniące się od siebie sondaże, ale również wybitnie trafnie przewidziały wynik każdej partii w elekcji. I tak, średnia sondaży CDU/CSU (39,5%) jest tylko o 2 pkt proc mniejsza niż rzeczywisty wynik wyborów (41,5%). W przypadku SPD i Zielonych różnica wynosi tylko 1 pkt proc, a średni sondażowy wynik Linke (8,6%) czy Piratów (2,2%) wręcz idealnie pokrywa się z rezultatem wrześniowego głosowania (odpowiednio 8,6% i 2,2%).

Zwraca też uwagę niewielka rozpiętość popełnionego przez sondażownie błędu – od 5 pkt w przypadku najlepszego instytutu Forsa do 8,8 pkt w najgorszym sondażu Infratest.  Przeciętny błąd popełniony przez niemieckie sondażownie we wrześniowych wyborach wyniósł 6,8 pkt.

A teraz rzućmy okiem na rezultaty pracy polskich firm badawczych przed ostatnimi wyborami parlamentarnymi  w 2011 roku. Podobnie jak w przypadku Niemiec, w tabeli zawarłem ostatni opublikowany przed wyborami sondaż danego ośrodka badawczego po wykluczeniu niezdecydowanych.

2

Kilka wniosków nasuwa się z takiej analizy porównawczej polskich i niemieckich sondaży:

  1. Przed ostatnimi wyborami parlamentarnymi najlepiej spisał się TNS Polska, głównie dlatego że jako jedyny ośrodek opublikował (na łamach „Gazety Wyborczej”) prognozę wyborczą, a nie zwykły sondaż (wszystkie pozostałe badania w powyższej tabeli to klasyczne sondaże). Być może „surowe” wyniki sondaży trzeba w Polsce poddawać fachowej obróbce, by odzwierciedlały rzeczywiste sympatie elektoratu.
  2. Suma błędu popełnionego przez TNS Polska (4,5) jest MNIEJSZA od najlepszego wyniku zanotowanego w niemieckich wyborach przez firmę Forsa (łączny błąd – 5 pkt)! Innymi słowy, TNS Polska w swojej prognozie lepiej przewidział wynik wyborów niż najlepsza niemiecka sondażownia. Dowodzi to kunsztu badaczy TNS, którzy w oparciu o kilka „zwykłych” sondaży i dodatkowe badania zadawane ankietowanym stworzyli w 2011 prognozę wręcz idealną.
  3. Ostatnie przed wyborami sondaże CBOS i GFK Polonia najsłabiej przewidziały wynik wyborów. Nic więc dziwnego, że tuż po wyborach 2011 „Rzeczpospolita” podziękowała GFK Polonia za współpracę, a badania tej firmy niemal zniknęły z mediów. Niestety, nie można tego samego powiedzieć o CBOS 😉
  4. Średni błąd popełniony przez polskie firmy badawcze wyniósł 12,8 pkt – był więc niemal dwukrotnie wyższy niż w przypadku niemieckich kolegów (6,8 pkt). Sondaże w RFN spudłowały w przedziale między 5 (Forsa) a 8,8 pkt (Infratest); w Polsce między 4,5 (TNS) a 18,8 pkt (GFK Polonia). Jak widać, problem z polskimi sondażami sprowadza się nie tylko do ujednolicenia sposobu prezentowania wyników sondaży w mediach, czym zgodziły się łaskawie zająć firmy badawcze po liście prezesa Dumy, ale tkwi chyba znacznie głębiej – w samej metodologii badawczej, która prowadzi do skrajnie odmiennych wyników (np. poparcie dla PO między 35 a 46%) oraz do rezultatów nieprzystających do wyborczej rzeczywistości (np. wg sondażu CBOS PO miała otrzymać 44%, a PIS 25% – różnica między partiami miała wynieść 19 pkt proc, a wyniosła… 9 pkt).
  5. Ostatni wniosek jest iście paradoksalny i zdziwił nawet autora tego porównania 😉 Otóż okazuje się, że średnia wszystkich, ostatnich przed wyborami sondaży w niemal idealny sposób odzwierciedliła wynik elekcji 2011! Przykładowo, zanotowane przed wyborami poparcie dla PO wynosiło w różnych sondażach od 35% do 46%, a taka szokująca rozbieżność rzędu 11 pkt skłoniłaby zapewne niemieckie sondażownie do samorozwiązania. Jednocześnie jednak średnia tych wszystkich „rozjechanych” sondaży dawała tej partii 39,2% – a więc dokładnie tyle, ile partia ta otrzymała w wyborach 2011 (39,2%)! Podobnie w przypadku pozostałych partii rozbieżności między przeciętnym wynikiem sondażowym a rezultatami wyborów są minimalne. Jest to oczywiście wniosek nieco żartobliwy, niemniej zachęcam do śledzenia moich comiesięcznych podsumowań, w których w analogiczny sposób uprzeciętniam wyniki wszystkich ośrodków 😉

Przyczyna nietrafności polskich sondaży przedwyborczych pozostaje nadal niezdiagnozowana i dopiero wspólny wysiłek całej branży może wskazać jej źródła. Być może to specyfika polskiego elektoratu, który unika mówienia prawdy w badaniach (wtedy warto, by sami badacze poddali korekcie wyniki sondaży, publikując tuż przed samymi wyborami prognozy), a być może wina leży po stronie samych firm demoskopijnych i stosowanych przez nich metod badawczych. Niezależnie od powodu, tylko uśrednienie skrajnie różnych wyników sondaży daje w polskich realiach w miarę realny obraz poparcia dla partii politycznych. Przynajmniej do czasu, gdy same firmy badawcze nie wypracują jednolitych standardów. Analiza październikowych sondaży już wkrótce na moim blogu.