CBOS, Homo Homini i poważni ludzie

Kategorie: Bez kategorii

Tagi: , , , ,

Po wpadce w wyborach 2011 roku Instytut Homo Homini nie cieszy się wśród części dziennikarzy i komentatorów dobrą sławą. Jego sondaże są przez część mediów przemilczane, za to wyjątkowo chętnie cytowane są efekty prac Centrum Badania Opinii Społecznej. Czy rzeczywiście sondaże CBOS są lepsze od Homo Homini?

Jednym z największych ‘hejterów’ Instytutu Homo Homini jest redaktor Wojciech Szacki, obecnie dziennikarz tygodnika „Polityka”. Swojej niechęci do tej sondażowni redaktor daje wyraz często i gęsto. Np. wczoraj podczas twitterowej pogawędki z innymi dziennikarzami wyraził przekonanie, że „poważni ludzie” nie powołują się na sondaże Homo Homini.

1

Jednocześnie redaktor Szacki, podobnie jak wielu innych komentatorów polityki, jest wielkim entuzjastą sondaży nadzorowanej przez Prezesa Rady Ministrów fundacji CBOS. Badania tego ośrodka zapowiada on często z wyprzedzeniem na swoim profilu na Twitterze i namiętnie cytuje w swoich analizach dla Polityka Insight. Wydaje się, że uważa badania CBOS za rzetelne, miarodajne, znajdujące potwierdzenie w rzeczywistych postawach i poglądach ankietowanych Polaków – w przeciwieństwie do nierzetelnego Instytutu Homo Homini. Zainspirowany opiniami redaktora Szackiego postanowiłem sprawdzić jak to wygląda w rzeczywistości.

W tym wpisie chciałbym pominąć powody niechęci do HH tego konkretnego dziennikarza czy pozostałych komentatorów, a skupić się na porównaniu efektów pracy indagowanych sondażowni: Centrum Badania Opinii Społecznej i Instytutu Homo Homini. Wydawać się może, że okrzepły, z blisko 30-letnim doświadczeniem CBOS rozłoży na łopatki Homo Homini – ośrodek młody, działający pod obecną nazwą od 2007 roku, nienależący do zrzeszającej wszystkie „renomowane” sondażownie Organizacji Firm Badania Opinii i Rynku (OFBOR).

W przypadku firm badania opinii publicznej jednym z najlepszych sposobów weryfikacji jakości sondaży, w Polsce niestety niespecjalnie chętnie praktykowanym, jest porównanie ostatnich, opublikowanych przed wyborami sondaży wszystkich ośrodków z rzeczywistymi wynikami wyborów podanymi przez Państwową Komisję Wyborczą. Ponieważ Instytut Homo Homini zadebiutował na szerszą skalę przed wyborami do Parlamentu Europejskiego w 2009, od tego więc momentu jest możliwość porównania efektów pracy tej sondażowni z konkurencją w postaci CBOS.

W jaki sposób porównałem wyniki sondaży CBOS i HH? Uwaga, będzie nudniejszy fragment, ale konieczny dla przejrzystości wywodu 😉 Po 1, za podstawę do obliczeń przyjąłem ostatni, opublikowany w mediach przed ciszą wyborczą sondaż danego ośrodka badawczego. Po 2, wyniki sondaży sprowadziłem do wspólnego mianownika tj. wyłączyłem z podstawy procentowania wyborców niezdecydowanych (porównywanie sondaży z uwzględnieniem niezdecydowanych i bez nich jest z metodologicznego punktu widzenia błędem). Dość często wyniki bez niezdecydowanych dostarczyły do mojej analizy porównawczej same pracownie, jak np. CBOS na swojej stronie internetowej. Po 3, porównałem rzeczywisty rezultat wyborczy każdej partii z wartościami prognozowanymi przed wyborami przez obie sondażownie. Następnie obliczyłem sumę błędu popełnionego przez daną sondażownię dla każdej z partii (przykładowo: wyborczy wynik w 2009 PO to 44,4% – wg Homo Homini partia ta miała otrzymać 46,3%, a więc błąd oszacowania wyniósł 1,9 pkt proc / wg CBOS Platforma miała dostać 48,7%, a więc błąd oszacowania wyniósł 4,3 pkt proc). Zsumowana skala błędów każdego ośrodka znajduje się w tabeli na zielonym polu.

2

Wybory do PE 2009 to zdecydowane zwycięstwo Homo Homini nad CBOS. Łączna suma błędu HH to 6,4 pkt proc, a CBOS aż 13,6 pkt – można więc powiedzieć, że CBOS w swoim ostatnim przedwyborczym sondażu pomylił się ponad dwukrotnie bardziej niż HH. Kolejne powszechne wybory, które dają nam możliwość porównania efektów pracy CBOS i HH to I tura wyborów prezydenckich w 2010 roku (przed II turą CBOS nie zdecydował się na realizację sondażu przedwyborczego, jako materiał porównawczy musi więc wystarczyć I tura).

 

3

Jak wynika z powyższych obliczeń, I tura wyborów prezydenckich w 2010 roku to znowu większa pomyłka CBOS (16,6 pkt proc) niż Homo Homini (11,2 pkt proc). Wg CBOS Komorowski miał otrzymać 47% głosów, a Kaczyński 32%, a więc różnica między kandydatami miała wynieść aż 15 pkt proc. Tymczasem rzeczywista przewaga kandydata PO nad PIS wyniosła w I turze raptem… 5 pkt proc, a zatem można mówić o kompromitującej wpadce CBOS. Tymczasem Instytut HH oszacował przewagę Komorowskiego nad Kaczyńskim na 5,6 pkt proc, co było strzałem niemal idealnym.

I wreszcie na koniec pora zerknąć na wyniki ostatnich wyborów parlamentarnych w 2011 roku. Również tutaj bez zaskoczeń – to CBOS tradycyjnie „przestrzelił” ze swoim sondażem.

4

Gdyby wyniki wyborów parlamentarnych 2011 pokryły się z ostatnim przed ciszą wyborczą sondażem CBOS, powody do zadowolenia miałaby przede wszystkim partia Tuska. Bowiem wg szacownego, 30-letniego ośrodka badawczego przewaga PO (44%) nad PIS (25%) miała sięgnąć aż 19 pkt proc. Rzeczywistość nie chciała być jednak tak łaskawa dla partii rządzącej jak sondaże instytutu Mirosławy Grabowskiej i PO musiała się zadowolić ledwie 9-pkt przewagą nad Kaczyńskim.

By być sprawiedliwym trzeba odnotować, że 2011 rok to najsłabszy z dotychczasowych „występów” przedwyborczych Homo Homini. Suma popełnionych błędów w ostatnim przed ciszą sondażu jest bowiem niewiele tylko mniejsza od dokonań CBOS. O ile CBOS przeszacował mocno PO i niedoszacował PIS, o tyle HH dokładnie odwrotnie. Prognozowana przez ten ośrodek różnica raptem 3 pkt proc między PO a PIS okazała się trzykrotnie mniejsza od zanotowanej w wyborach.

Dodatkowo należy pamiętać o „przestrzelonym” sondażu exit poll zrealizowanym przez Homo Homini w dniu wyborów 2011 dla telewizji Polsat. Podczas wieczoru wyborczego 9 października to TNS Polska triumfował ze swoim exit poll dla telewizji publicznej – również opublikowana na łamach „Gazety Wyborczej” 2 dni przed wyborami prognoza pokryła się wyśmienicie z wynikami wyborów, wzbudzając powszechny szacunek całej branży badawczej.

Wystarczył szybki fact check na potrzeby niniejszego, raczkującego dopiero bloga, by dowieść, że przedwyborcze sondaże preferencji partyjnych CBOS należy traktować z dużym dystansem. Warto o tym pamiętać w sytuacji, gdy wrzesień to już drugi miesiąc z rzędu, gdy tylko w sondażach CBOS to Platforma Obywatelska jest liderem rankingu partyjnego. W badaniach Millward Brown, TNS Polska czy wreszcie Homo Homini to PIS jest od maja najpopularniejszą polską partią ( http://blogi.polskatimes.pl/poppolityka/?p=6&preview=true )

Zastanawiać może, że mimo dostępności wszystkich danych potrzebnych do obliczeń takie proste zestawienie błędów sondażowni dotąd w mejnstrimowych mediach się nie ukazało. Nic więc dziwnego, że prof. Ireneusz Krzemiński może nadal z poważną miną prawić w telewizjach informacyjnych o „bezużyteczności” sondaży Homo Homini i pokładać zaufanie tylko w sondażach CBOS. Tymczasem prosta weryfikacja przedwyborczych badań z wynikami elekcji prowadzi do wniosku, że – parafrazując mojego ulubionego red. Szackiego – poważni ludzie nie powinni raczej cytować sondaży CBOS 😉

PS: niniejszy wpis nie został niestety zasponsorowany przez Instytut Homo Homini, mimo wielokrotnych prób przekazania numeru mojego konta bankowego prezesowi HH Marcinowi Dumie.

Komentarze (7):

  1. Avatar
    Piwny

    Nie dziwią mnie uprzedzenia Pana Wojtka wobec HH, bo w „normalnych warunkach gospodarczych” pracownia przeszacowała wyniki partii socjalistycznych: SLD i PiSu.
    Natomiast w obecnych realiach gospodarczych HH może sprawdzać się bardzo dobrze, o czym np. świadczy wynik PiS-u w Elblągu.
    Też dziwią mnie te wypowiedzi ekspertów typu: „PiSowi nie rośnie, nie pozyskali nowych wyborców.”

    Oprócz p. Grabowskiej zdemaskowanej przez Palikota jest jeszcze prof. Markowski przesiadujący w studio „najwierniejszej z najwierniejszych”.

    https://twitter.com/PiwnyBrzuszek

    1. Avatar
      reksio

      Dziwnym trafem te „czynniki losowe” w badaniach CBOS zawsze działają na korzyść PO. Strasznie przewidywalne są te „czynniki losowe”.

      Do autora – warto może wspomnieć o historii CBOS. Z tych 30 lat doświadczenia, 10 to pisanie badań pod dyktando komitetu Jaruzelskiego i Urbana. Tradycje zobowiązują jak widać 🙂

  2. Avatar
    wpierniczony

    Krzemińskiemu nie potrzeba posiłkować się cebosikiem. On ma przecież w sobie tak nieprzebrane zasoby politologicznej miłości do rzetelności i zrównoważonego fanatycznie umysłu. Wysiada Markowski, Hartman, Smolarek i inni goście z PAN w Super Stacji u Kubusia Wątlaka i Elizki Michalik.

  3. Avatar
    Kay

    A czy autor zna się w ogóle na statystyce? Obawiam się, że nie. Bo procenty tutaj pokazane to jednak troszkę za mało. A o Homo Homini mam również złe zdanie, bo oni nie udostępniają swoich metod badawczych i nikt nie ma nad nimi kontroli – czyli jak ktoś chce mieć żale do ich badań, czy jakieś wątpliwości, to nigdzie nie można tego zgłosić. W dodatku na ich stronie nie znajduję informacji, czy stosują się do kodeksu ESOMAR. To już budzi wątpliwości etyczne.

  4. Avatar
    sceptyk

    autor podważa tu tak szacowną instytucję jak CBOS. Toż to skandal. Ja widzę tu działania na rzecz… no właśnie kogo? Na to pytanie każdy sobie sam może odpowiedzieć…

  5. Pingback: Sondażologia | Mateusz Radziszewski

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Time limit is exhausted. Please reload the CAPTCHA.