Archiwa tagu: TNS

Doczekaliśmy się. 30 kwietnia, a więc bite 3 tygodnie po zakończeniu realizacji badania (3-9 kwietnia), CBOS zaprezentował wreszcie wyniki sondażu sympatii partyjnych przed wyborami do Parlamentu Europejskiego. Można zastanawiać się skąd wynikała prawie miesięczna zwłoka w prezentacji badania. Zwolennicy teorii spiskowych powiedzą, że CBOS bał się porównania z TNS, który zrobił sondaż w niemal identycznym okresie, a uzyskał diametralnie różne wyniki.

Gigantyczne różnice między sondażami CBOS i TNS Polska stały się już nową, świecką tradycją (http://blogi.polskatimes.pl/poppolityka/2014/04/17/tradycyjny-rozjazd-cbos-i-tns-w-ocenie-prezydenta/). Jednak to, co zaprezentowały oba ośrodki badawcze w kwietniu przejdzie do historii polskiej, a niewykluczone że także światowej socjometrii. Porównajmy sondaże CBOS i TNS – zrealizowane w niemal identycznym czasie (3-9 kwietnia i 4-9 kwietnia), podobną metodą badawczą (wywiady bezpośrednie), na zbliżonej wielkością próbie ankietowanych (ok 1000):

AAAAAAAAAAA

 

Te same sondaże po wyłączeniu „niezdecydowanych” wyglądają następująco:

BBBBBBBBB

Interpretacja wyników kwietniowych sondaży mogłaby być następująca: jeśli wybory do Parlamentu Europejskiego odbyłyby się w kwietniu, wygrałaby Platforma Obywatelska z 39% poparciem (CBOS) lub zwycięzcą byłoby Prawo i Sprawiedliwość z poparciem 39% (TNS). Brzmi to śmiesznie, ale niestety jest jak najbardziej prawdziwe. W badaniu CBOS partia Tuska miażdży PIS przewagą aż 10 pkt proc – w sondażu TNS to PIS pokonuje PO wyraźną różnicą 5 pkt proc. „I kumu tu, panie, wierzyć?”

Najbardziej szokujące różnice dotyczą wyniku PIS. W sondażu TNS partia ta cieszy się 39% poparcia – w CBOS tylko 29%. Tak olbrzymie dysproporcje są nieakceptowalne i niewytłumaczalne na żadnym poziomie analizy (mimo absurdalnych wysiłków niektórych dyżurnych „autorytetów” medialnych). Poparcie dla PO w obu ośrodkach jest bardziej zrównoważone (34% i 39%); choć nadal dysproporcja jest wyraźna, to 5 pkt proc różnicy da się wytłumaczyć „marginesem błędu”. Podobnie sprawa wygląda z poparciem dla partii Korwina – 4% w TNS i aż 8% w CBOS. Mimo że wynik Nowej Prawicy w CBOS jest dwukrotnością rezultatu w TNS, różnicę tą także można uznać za naturalną w badaniach społecznych rozbieżność.

Różne „cyferki” mają bardzo konkretne przełożenie na liczbę mandatów w Parlamencie Europejskim. Procenty na mandaty przeliczył dr Tomasz Jurkiewicz, statystyk z Uniwersytetu Gdańskiego.

CBOS: PO 22, PIS 17, SLD 5, KNP 4, PSL 3.

TNS: PIS 23, PO 20, SLD 5, PSL 3.

Do europejskich wyborów pozostał mniej niż miesiąc, a wskazanie zwycięzcy jest zadaniem karkołomnym, gdy opierać się będziemy tylko na sondażach (podobno) renomowanych firm badawczych. Jeśli na ostatniej prostej, w maju, wyniki sondaży CBOS i TNS Polska się nie „zjadą”, będziemy mieć do czynienia z kompromitacją ośrodków demoskopijnych porównywalną tylko z kultowym 2005 rokiem i „prezydentem Tuskiem”. No chyba że CBOS będzie zwlekał tak długo z publikacją danych jak w kwietniu. Wówczas rezultaty majowego sondażu będzie mógł (nie) zaprezentować już po eurowyborach 😉

PS: Poniżej kilka komentarzy z Twittera do zaskakującego, łagodnie rzecz ujmując, sondażu CBOS:

c

a

b

Pół roku temu pisałem o szokujących różnicach w ocenie pracy prezydenta Komorowskiego w sondażach renomowanych pracowni badawczych – CBOS i TNS Polska ( http://blogi.polskatimes.pl/poppolityka/2013/11/09/prezydent-z-gorzkiej-czekolady/ ). Okazuje się, że nic w tej sprawie się nie zmieniło i nadal prezydent jest uwielbiany przez niemal wszystkich w badaniach CBOS i jest dużo surowiej oceniany w ankietach TNS.

komorowski

 

Linki do kwietniowych sondaży z oceną pracy prezydenta Komorowskiego:

– CBOS http://www.wirtualnemedia.pl/artykul/wiekszosc-polakow-dobrze-o-prezydencie-negatywnie-o-obu-izbach-parlamentu

– TNS Polska http://www.wirtualnemedia.pl/artykul/50-proc-dobrze-o-pracy-komorowskiego-28-proc-dobrze-o-tusku

Kolejny miesiąc i kolejny raz dwa instytuty badawcze – CBOS i TNS Polska – zrzeszone w renomowanej (?) Organizacji Firm Badania Opinii i Rynku (OFBOR) zaprezentowały sondaże poparcia dla partii politycznych, które sprawiają wrażenie, jak gdyby zrealizowano je w różnych krajach.  

W minionym tygodniu sensacyjny sondaż z przewagą aż 7 pkt proc. PO (28%) nad PIS (21%) zaprezentował CBOS. Był on, co zrozumiałe, chętnie wykorzystywany przez polityków partii rządzącej na poparcie tezy, że Platforma już na dobre przegoniła PIS. W tym tygodniu zaprezentowano wyniki sondażu innej pracowni – TNS Polska – zrealizowanego w tym samym czasie (pierwsza dekada kwietnia) i na podobnej wielkości próbie (ok. 1000 Polaków). W badaniu tym to PIS (32%) ma 3 pkt proc. przewagi nad PO (29%). Żeby było jeszcze zabawniej, odmienny jest nie tylko lider rankingu, ale i tendencja PIS: spadkowa w CBOS (-3) i minimalnie wzrostowa w TNS (+1).

1

Jak widać poparcie dla PO, SLD, PSL i TR jest porównywalne w obu sondażach. Największy problem dotyczy wyniku PIS, a także odsetka wyborców niezdecydowanych. Tutaj różnice między CBOS a TNS sięgają… 11 pkt proc. (!!!). Co ważne, również po usunięciu z obu sondaży niezdecydowanych różnice między ośrodkami demoskopijnymi nie znikają:

2

Rezultaty sondażu wśród wyborców zdecydowanych wręcz bawią. Platforma – lider rankingu w CBOS – cieszy się uznaniem 38% elektoratu. Również w sondażu TNS lider cieszy się poparciem 38% wyborców, z tym że pech chce, że nie jest to jak w CBOS Platforma, lecz PIS 🙂 . Mogłoby to być całkiem zabawne, gdyby jednocześnie nie było przerażające. Wyniki tak rozstrzelonych sondaży skutecznie podważają zaufanie opinii publicznej do badań społecznych. W rezultacie odsetek odmów w tak niepoważnym przedsięwzięciu, jakim wydają się „zwykłym Polakom” sondaże, może tylko wzrosnąć.

Skala różnic w poparciu dla największej partii opozycyjnej oraz w odsetku niezdecydowanych między CBOS i TNS jest nieakceptowalna na poziomie standardów światowej socjometrii i świadczy o tym, że któraś z firm badawczych dopuszcza się rażących błędów w metodologii badań, być może na etapie konstruowania próby. Wniosek jest tym bardziej uprawniony, że przepaść między CBOS a TNS nie jest zjawiskiem incydentalnym, a cyklicznym. Odkąd PIS na dobre przejął prowadzenie w sondażach w maju 2013, rezultaty sondaży CBOS i TNS dla tej partii są wyjątkowo rozbieżne. W krytycznych miesiącach – styczniu i lutym bieżącego roku –  w badaniach CBOS partia Kaczyńskiego miała mikroskopijną przewagę 1 pkt proc. nad partią Tuska. Tymczasem TNS pokazywał, że PIS wręcz miażdży PO i ma 10-11 pkt proc. przewagi!

3

Na przestrzeni ostatnich 12 miesięcy, przeciętne poparcie dla PO w sondażach CBOS i TNS jest identyczne i wynosi 24%. Spektakularny „rozjazd” dotyczy tylko wyniku PIS, a różnica ta wyniosła średnio 5,5 pkt proc. W ciągu ostatniego roku PIS popierało przeciętnie 24,8% Polaków w CBOS i 30,3% w TNS.

Wskażmy kilka przesłanek, które pozwolą nam zlokalizować „winowajcę”:

  1. Sondażowe wyniki PIS u konkurencji – Millward Brown, Homo Homini, Estymator, GFK – są zdecydowanie bliższe rozstrzygnięciom TNS niż CBOS. Na regularne „obciążenie” wyniku PIS w CBOS zwróciła też uwagę fundacja Smarter Poland, z której strony zaczerpnąłem poniższą grafikę:

42. Odsetek wyborców niezdecydowanych jest rekordowy w CBOS (27%) – w sondażach pozostałych ośrodków waha się od 9 do 16%. Sama szefowa CBOS przyznała w jednym z wywiadów, że to właśnie wśród niezdecydowanych mogą się przed nią „ukrywać” wyborcy PIS.

5

3. Doświadczenia minionej dekady dowodzą, że w przewidywaniu wyniku wyborów CBOS jest jednym z najsłabszych, o ile nie najsłabszym, ogniwem polskiej socjometrii. Regularnie przeszacowywał poparcie dla PO, a w ostatnich latach niedoszacowywał PIS.

6

Wydaje się więc, że wina leży raczej po stronie CBOS niż TNS. Z jakichś powodów wyniki PIS są w sondażach CBOS od 2009 roku stale niedoszacowane. Już we wrześniu 2013 CBOS zapowiedział „dokładną analizę” swoich badań preferencji partyjnych. Utrzymujące się nadal różnice względem TNS i reszty konkurencji pozwalają stwierdzić, że z analizy tej niewiele chyba wynikło. Istnieje oczywiście możliwość, że to TNS i pozostałe sondażownie zawyżają poparcie dla PIS, a to CBOS jest najbliższy rzeczywistej popularności tej partii w społeczeństwie. Okazja do sprawdzenia, która firma badawcza ma rację, już za 40 dni podczas wyborów do Parlamentu Europejskiego.

Do różnic między polskimi sondażami niby zdążyliśmy się już przyzwyczaić, ale to co od 2 miesięcy prezentują dwa szacowne instytuty badawcze – CBOS i TNS Polska – jest czymś szokującym nawet w naszych realiach.

Przypomnijmy więc, że badania społeczne obu ośrodków cieszą się największą atencją w mediach, realizowane są identyczną metodą wywiadu ankietowego, zwykle w pokrywających się terminach. Co najważniejsze, oba ośrodki badawcze należą do Organizacji Firm Badania Opinii i Rynku. Jak czytamy na stronie internetowej, „OFBOR jest jedynym w Polsce stowarzyszeniem skupiającym wyłącznie instytuty badawcze, powołanym w celu kontroli przestrzegania norm etycznych oraz metodologicznych w badaniach opinii i rynku, a także działającym na rzecz publicznego zaufania do badań”. Skoro obie firmy są tak świetnie kontrolowane, dlaczego według TNS Polska PIS zmiażdżyłby PO w wyborach parlamentarnych przewagą 10-11 pkt proc., a według CBOS byłby niemal remis? 

ofbor2

Sytuacji wcale nie poprawia pozbycie się z powyższych sondaży wyborców niezdecydowanych – odsetek ten faktycznie jest w obu ośrodkach różny (24-25% w CBOS i 17-23% w TNS). Rezultaty sondaży wśród wyborców zdecydowanych, na jaką partię głosować, są jeszcze bardziej rozstrzelone.

ofbory

Może więc, Panie i Panowie z OFBOR, najwyższa pora zająć się szokującymi różnicami w sondażach zrzeszonych u Was firm badawczych? Jak długo będziecie tłumaczyć widoczną okiem laika kompromitację „marginesem błędu”, „innymi terminami realizacji badań” i „różnym sposobem prezentacji rezultatów”? Tak się pechowo składa, że różnic w styczniowych i lutowych sondażach CBOS i TNS nie da się w ten sposób wyjaśnić. Niedawno szefowa CBOS Mirosława Grabowska przyznała w mediach, że PIS może być w jej badaniach „niedoszacowany”, a jego wyborcy ukrywają się przed ankieterami CBOS pośród „niezdecydowanych”. Czy powzięto kontrolę metod i sposobu realizacji sondaży przez CBOS? Czy OFBOR zajmie jakieś stanowisko czy znowu udajemy, że nic się nie stało?

„Publiczne zaufanie do badań” jest skutecznie podważane własnie przez tak rozstrzelone wyniki sondaży, jakie od 2 miesięcy prezentują CBOS i TNS Polska. Rozpoczęła się kampania wyborcza do Parlamentu Europejskiego, wkrótce kolejne elekcje: samorządowa, prezydencka i parlamentarna. Sondaże publikowane przez należące do OFBOR firmy odegrają w niej sporą rolę. Wiele wskazuje na to, że będzie to rola komediowa.

Na koniec proponuję Szanownym Paniom i Panom z OFBOR rzut oka na wyniki lutowych sondaży realizowanych przez Waszych niemieckich kolegów i koleżanki. Nie jest Wam zwyczajnie wstyd? Czy o podobnych jak w Niemczech różnicach między sondażami polska opinia publiczna może tylko pomarzyć?

RFN

Wobec fatalnych sondaży premiera i jego rządu, tygodnik „Polityka” umieścił niedawno na okładce słynnego „prezydenta z czekolady”, cieszącego się podobno poparciem 70% rodaków. W zeszłym miesiącu prawicowy portal „Niezależna” odnotowywał z satysfakcją, że „PO topi prezydenta”, ciągnąc jego notowania ostro w dół. Czy chodziło aby o tego samego prezydenta Komorowskiego?

Do szokujących rozbieżności w sondażach preferencji partyjnych Polaków zdążyliśmy się już chyba przyzwyczaić. W zeszłym miesiącu renomowany ośrodek badania opinii publicznej TNS Polska, który opracował rewelacyjną prognozę przewidującą wynik wyborów parlamentarnych 2011, zaskoczył wszystkich sondażem dla TVP, w którym po pół roku PO wróciła na 1. miejsce w rankingu partyjnym i to od razu z 9-pkt przewagą nad PIS. Co prawda opublikowany dosłownie dzień później sondaż MillwardBrown dla TVN pokazał 8-pkt prowadzenie PIS, ale kto by się tym specjalnie przejmował, jeśli do wyborów jeszcze 2 lata 😉

Innym polem, na którym polskie sondażownie regularnie rozjeżdżają się w przeciwnych kierunkach, a nikt poza autorem niniejszego bloga nie zwraca na to uwagi ;), jest ocena pracy prezydenta Bronisława Komorowskiego.  TNS Polska i CBOS regularnie, w comiesięcznych raportach badają poparcie dla urzędującej głowy państwa. Jednak wnioski, jakie można wyciągnąć z prezentowanych wyników, są zgoła odmienne. Jeśli wierzyć CBOS, prezydent Komorowski jest prawdziwym Ojcem Narodu, uwielbianym przez circa 70% rodaków. Z kolei jeśli uznać, że to sondaże TNS Polska lepiej odzwierciedlają prawdziwe przekonania Polaków, to głowa państwa powinna poważnie zastanowić się nad sposobem pełnienia urzędu.

By nie być gołosłownym, wyniki pomiarów CBOS i TNS Polska z ostatniego półrocza wyglądają następująco:

1111

Ekstremalnym miesiącem, w którym wyniki TNS i CBOS rozjechały się najbardziej był czerwiec. Wówczas ankietowani przez TNS podzielili się w ocenie prezydentury Komorowskiego na 2 równe grupy: 45% Polaków oceniało dobrze pracę głowy państwa, 45% wystawiało ocenę złą. Przewaga ocen dobrych nad złymi wyniosła zatem 0 pkt proc. W tym samym czasie według CBOS przewaga ocen dobrych nad złymi wyniosła, bagatelka, 45 pkt proc.!!! (65% ankietowanych przez CBOS wystawiało prezydentowi ocenę pozytywną, tylko 20% negatywną). Nikt o zdrowych zmysłach nie powie, że różnica pomiaru rzędu 45 pkt proc. to „normalna rozbieżność, która może wystąpić między różnymi sondażami”.

W pozostałych miesiącach nie było zresztą wcale lepiej. Regularnie prezydent Komorowski jest zdecydowanie gorzej oceniany w sondażach TNS, gdzie przewaga ocen pozytywnych nad negatywnymi waha się w ostatnim półroczu między 5 a 15 pkt proc. Dla odmiany, w sondażach CBOS głowa państwa cieszy się uznaniem rodaków i nokautującą przewagą 43-47 pkt proc. pozytywnych ocen nad złymi. Ostatnie wyniki obu ośrodków za październik to 47% ocen pozytywnych prezydenta w TNS (63% w CBOS) oraz 42% negatywnych w TNS (22% w CBOS). Nawet stosując matematyczne modele prof. Biniendy nie dojdziemy do wniosku, że CBOS i TNS badały to samo drzewo 😉

A co w tym wszystkim najdziwniejsze: sondażowy „rozjazd” dotyczy tylko pracy prezydenta Komorowskiego! Oceny działalności premiera, rządu czy posłów są porównywalne (czytaj: równie złe) w TNS i CBOS. Nawet ja nie mam się tu do czego przyczepić 😉

Należy napisać wprost, że tak szokujące rozbieżności w ocenie pracy prezydenta w dwóch renomowanych ośrodkach badawczych nie są akceptowane w żadnym cywilizowanym kraju. Nie jest to bynajmniej pierwszy lepszy sondaż o posłaniu sześciolatków do szkół czy preferencjach kulinarnych Polaków. Rzecz dotyczy pracy najważniejszej osoby w państwie i jeśli nawet rozjechane sondaże w tak istotnej sprawie nie wywołały żadnego poruszenia polityków czy komentatorów, to nie ma się co dziwić zobojętnieniu zwykłego odbiorcy mediów na coraz to bardziej rozstrzelone słupki poparcia dla partii. Prestiż polskich sondażowni szoruje po dnie i jeśli branża badawcza nie opracuje poważnego programu naprawczego,  wkrótce nikt nie będzie efektów ich pracy traktował poważnie.

Problem jest tym większy, że na dobrą sprawę od totalnej kompromitacji ośrodków badawczych podczas wyborów prezydenckich w 2005 roku (ŻADEN należący do Organiacji Firm Badania Opinii i Rynku instytut nie przewidział zwycięstwa Lecha Kaczyńskiego), mamy co jakiś czas serię przestrzelonych sondaży przedwyborczych (pamiętne 51% Komorowskiego przed I turą 2010 w sondażu PBS dla „Gazety Wyborczej”) lub „zwykłych”, comiesięcznych rozbieżności rzędu 45 pkt proc jak w przypadku omawianych ocen prezydentury. Michał Kamiński, obecnie europoseł, pytał podobno w wieczór wyborczy 2005, kto zechce po takiej wpadce płacić „frajerom” (firmom badawczym) za sondaże. Jak widać postawione pytanie, może niezbyt eleganckie, po 8 latach pozostaje aktualne 😉

Wśród podawanych przez autorów sondaży wyjaśnień tej kwestii, nie widać przekonującej odpowiedzi. Za rozjechane wyniki ma więc odpowiadać różny termin realizacji badania (dość często TNS i CBOS pytają Polaków o ocenę Komorowskiego niemal w tych samych dniach), różny sposób realizacji sondażu (w obu przypadkach jest to ta sama metoda badania ankietowego), różna wielkość próby (zarówno w TNS jak i w CBOS zwykle ok. 1000 dorosłych Polaków) czy też różny sposób prezentacji wyników (w obu przypadkach identyczny, z uwzględnieniem niezdecydowanych). Problem jak się wydaje leży głębiej i dotyka samej metodologii. Niewykluczone, że nawet tak „banalna” sprawa jak konstrukcja pytania o ocenę pracy prezydenta rzutuje na otrzymywane różnice wyników. Sondażownie nie chcą jednak słyszeć o ujednolicaniu metod badawczych i odrzuciły niedawny apel prezesa Instytutu Homo Homini o wypracowanie wspólnych standardów w tej materii.

W przeciwieństwie do Homo Homini, obie organizacje badawcze – TNS i CBOS – należą do skądinąd prestiżowego zrzeszenia firm badawczych OFBOR, które ponoć regularnie kontroluje ich pracę. Jak czytamy na stronie internetowej, za swój podstawowy cel OFBOR przyjęła umacnianie publicznego zaufania do badań opinii i rynku, stanowienie i propagowanie standardów profesjonalizmu w procesie badawczym oraz tworzenie warunków niezależnej i obiektywnej oceny przestrzegania tych standardów. Jeśli organizacji naprawdę zależy na „publicznym zaufaniu do badań opinii”, podejmie zapewne stosowne kroki w celu eliminacji skrajnie różnych wyników sondaży publikowanych w mediach. Co prawda czekamy na to już dobrych kilka lat, ale nadzieja umiera ponoć ostatnia.

Na Twitterze regularnie narzekam na badania preferencji partyjnych realizowane przez polskie firmy i w roli pozytywnego bohatera obsadzam ich niemieckich kolegów. „Polska the Times” na szczęście nie ogranicza mnie 140 znakami, mogę więc w tym miejscu jasno wyłożyć powody tego nieustannego hejtu.

We wrześniu prezes Instytutu Homo Homini Marcin Duma wystosował do firm zrzeszonych w Organizacji Firm Badania Opinii i Rynku (OFBOR) list otwarty, w którym wezwał konkurencję do ujednolicenia metodologii przeprowadzania sondaży http://www.wirtualnemedia.pl/artykul/organizacje-zrzeszajace-instytuty-badawcze-odrzucaja-propozycje-szefa-homo-homini

Szefowi HH chodziło głównie o prezentowane w mediach badania preferencji partyjnych, które są wizytówką firm badawczych. Ich skrajnie odmienne wyniki podważają zaufanie opinii publicznej do pracy firm badawczych, także w przypadku sondaży na inne, pozapolityczne tematy. Wielokrotnie już na tym blogu zwracałem uwagę, że bombardowanie Polaków w krótkim okresie czasu rankingami, w których PIS osiąga poparcie w przedziale 23% (CBOS) – 43% (TNS Polska dla TVP), prowadzi do totalnego chaosu i wykpiwania sondaży przez komentatorów, co uderza przede wszystkim w interes ośrodków badawczych. Lekceważąca odpowiedź OFBOR na list otwarty nie daje niestety nadziei na rychłą poprawę.

Z punktu widzenia zwykłego „konsumenta” sondaży najpilniejszą sprawą, wśród poruszonych w liście przez M. Dumę, jest postulat ujednolicenia sposobu prezentacji sondaży w mediach. Ta akurat propozycja Homo Homini jako jedyna znalazła uznanie firm konkurencyjnych i pozostaje mieć nadzieję, że chociaż w tym zakresie ośrodki demoskopijne wypracują wspólne stanowisko. W olbrzymiej bowiem mierze szokujące rozbieżności biorą się właśnie stąd, że część sondaży uwzględnia wyborców niezdecydowanych, inne zaś podawane są po ich wyłączeniu z podstawy procentowania (czyli przybierają postać wyniku wyborów podawanych przez Państwową Komisję Wyborczą, gdzie poparcie dla wszystkich partii sumuje się do 100%). Drugą kwestią problematyczną jest fakt, że w polskich realiach badawczych odsetek niezdecydowanych potrafi wahać się od 12 do 26% Polaków (to dane z wrześniowych sondaży). Mając to na względzie skuteczne porównanie sondaży różnych pracowni i wyrobienie sobie orientacji w poparciu partyjnym przez zwykłego zjadacza sondaży jest zadaniem karkołomnym.

By przekonać się, że postulat ujednolicenia metodologii jest słuszny, wystarczy porównać efekty pracy niemieckich i polskich ośrodków badawczych w zakresie sondaży przedwyborczych. Przed wrześniowymi wyborami do Bundestagu badania preferencji przeprowadzało 7 firm demoskopijnych i WSZYSTKIE podawały wyniki swoich sondaży w identyczny sposób tj. bez wyborców niezdecydowanych. Dzięki temu nie zdarzyło się, by niemiecki wyborca bombardowany był sondażami, w których koalicja CDU/CSU cieszyła się poparciem raz 23%, a innym razem 43% – jak miało to niedawno miejsce w Polszcze z poparciem dla PIS.

W poniższej tabeli zebrałem wszystkie ostatnie przed wyborami sondaże poszczególnych ośrodków i obliczyłem skalę popełnionego przez każdą firmę błędu badawczego tj. sumę różnic pomiędzy wynikiem każdej partii w sondażu a rezultatem wyborczym. I tak przykładowo dla instytutu Forsa: wynik CDU w wyborach 41.5% vs. wynik w sondażu 40% = błąd 1,5 pkt / SPD 25,7% w wyborach vs. 26% w sondażu = błąd 0,3 pkt i tak dalej dla każdej partii. Łączna suma błędów Forsa wyniosła 5 pkt.

1

Jak widać, niemieckie firmy badawcze spisały się na medal. Publikowały nie tylko niewiele różniące się od siebie sondaże, ale również wybitnie trafnie przewidziały wynik każdej partii w elekcji. I tak, średnia sondaży CDU/CSU (39,5%) jest tylko o 2 pkt proc mniejsza niż rzeczywisty wynik wyborów (41,5%). W przypadku SPD i Zielonych różnica wynosi tylko 1 pkt proc, a średni sondażowy wynik Linke (8,6%) czy Piratów (2,2%) wręcz idealnie pokrywa się z rezultatem wrześniowego głosowania (odpowiednio 8,6% i 2,2%).

Zwraca też uwagę niewielka rozpiętość popełnionego przez sondażownie błędu – od 5 pkt w przypadku najlepszego instytutu Forsa do 8,8 pkt w najgorszym sondażu Infratest.  Przeciętny błąd popełniony przez niemieckie sondażownie we wrześniowych wyborach wyniósł 6,8 pkt.

A teraz rzućmy okiem na rezultaty pracy polskich firm badawczych przed ostatnimi wyborami parlamentarnymi  w 2011 roku. Podobnie jak w przypadku Niemiec, w tabeli zawarłem ostatni opublikowany przed wyborami sondaż danego ośrodka badawczego po wykluczeniu niezdecydowanych.

2

Kilka wniosków nasuwa się z takiej analizy porównawczej polskich i niemieckich sondaży:

  1. Przed ostatnimi wyborami parlamentarnymi najlepiej spisał się TNS Polska, głównie dlatego że jako jedyny ośrodek opublikował (na łamach „Gazety Wyborczej”) prognozę wyborczą, a nie zwykły sondaż (wszystkie pozostałe badania w powyższej tabeli to klasyczne sondaże). Być może „surowe” wyniki sondaży trzeba w Polsce poddawać fachowej obróbce, by odzwierciedlały rzeczywiste sympatie elektoratu.
  2. Suma błędu popełnionego przez TNS Polska (4,5) jest MNIEJSZA od najlepszego wyniku zanotowanego w niemieckich wyborach przez firmę Forsa (łączny błąd – 5 pkt)! Innymi słowy, TNS Polska w swojej prognozie lepiej przewidział wynik wyborów niż najlepsza niemiecka sondażownia. Dowodzi to kunsztu badaczy TNS, którzy w oparciu o kilka „zwykłych” sondaży i dodatkowe badania zadawane ankietowanym stworzyli w 2011 prognozę wręcz idealną.
  3. Ostatnie przed wyborami sondaże CBOS i GFK Polonia najsłabiej przewidziały wynik wyborów. Nic więc dziwnego, że tuż po wyborach 2011 „Rzeczpospolita” podziękowała GFK Polonia za współpracę, a badania tej firmy niemal zniknęły z mediów. Niestety, nie można tego samego powiedzieć o CBOS 😉
  4. Średni błąd popełniony przez polskie firmy badawcze wyniósł 12,8 pkt – był więc niemal dwukrotnie wyższy niż w przypadku niemieckich kolegów (6,8 pkt). Sondaże w RFN spudłowały w przedziale między 5 (Forsa) a 8,8 pkt (Infratest); w Polsce między 4,5 (TNS) a 18,8 pkt (GFK Polonia). Jak widać, problem z polskimi sondażami sprowadza się nie tylko do ujednolicenia sposobu prezentowania wyników sondaży w mediach, czym zgodziły się łaskawie zająć firmy badawcze po liście prezesa Dumy, ale tkwi chyba znacznie głębiej – w samej metodologii badawczej, która prowadzi do skrajnie odmiennych wyników (np. poparcie dla PO między 35 a 46%) oraz do rezultatów nieprzystających do wyborczej rzeczywistości (np. wg sondażu CBOS PO miała otrzymać 44%, a PIS 25% – różnica między partiami miała wynieść 19 pkt proc, a wyniosła… 9 pkt).
  5. Ostatni wniosek jest iście paradoksalny i zdziwił nawet autora tego porównania 😉 Otóż okazuje się, że średnia wszystkich, ostatnich przed wyborami sondaży w niemal idealny sposób odzwierciedliła wynik elekcji 2011! Przykładowo, zanotowane przed wyborami poparcie dla PO wynosiło w różnych sondażach od 35% do 46%, a taka szokująca rozbieżność rzędu 11 pkt skłoniłaby zapewne niemieckie sondażownie do samorozwiązania. Jednocześnie jednak średnia tych wszystkich „rozjechanych” sondaży dawała tej partii 39,2% – a więc dokładnie tyle, ile partia ta otrzymała w wyborach 2011 (39,2%)! Podobnie w przypadku pozostałych partii rozbieżności między przeciętnym wynikiem sondażowym a rezultatami wyborów są minimalne. Jest to oczywiście wniosek nieco żartobliwy, niemniej zachęcam do śledzenia moich comiesięcznych podsumowań, w których w analogiczny sposób uprzeciętniam wyniki wszystkich ośrodków 😉

Przyczyna nietrafności polskich sondaży przedwyborczych pozostaje nadal niezdiagnozowana i dopiero wspólny wysiłek całej branży może wskazać jej źródła. Być może to specyfika polskiego elektoratu, który unika mówienia prawdy w badaniach (wtedy warto, by sami badacze poddali korekcie wyniki sondaży, publikując tuż przed samymi wyborami prognozy), a być może wina leży po stronie samych firm demoskopijnych i stosowanych przez nich metod badawczych. Niezależnie od powodu, tylko uśrednienie skrajnie różnych wyników sondaży daje w polskich realiach w miarę realny obraz poparcia dla partii politycznych. Przynajmniej do czasu, gdy same firmy badawcze nie wypracują jednolitych standardów. Analiza październikowych sondaży już wkrótce na moim blogu.