Andrzej Olszewski, Prezes Zarządu TNS OBOP

TNS OBOP BYŁ NAJLEPSZY

4 lipca 2010 r. o godz. 20:00, w dniu drugiej tury wyborów prezydenckich, główne stacje telewizyjne przedstawiły prognozy wyniku wyborów na podstawie danych trzech instytutów badawczych. Dane TNS OBOP po raz kolejny (podobnie było w I turze wyborów) były najbliższe wynikom przedstawionym przez Państwową Komisję Wyborczą (komunikat PKW z 95,01% komisji wyborczych): błąd w oszacowaniu wyników był ponad trzy razy niższy, niż błąd MB SMG/KRC oraz Homo Homini. Na tematy związane z wyborami oraz metodami przeprowadzania badań sondażowych rozmawiamy z Prezesem Zarządu TNS OBOP, Andrzejem Olszewskim.

Jacek Ratajczak: Panie Prezesie, proszę przyjąć gratulacje, prognozy wyników I i II tury wyborów prezydenckich, wykonane przez TNS OBOP praktycznie nie odbiegały od rzeczywistych wyników. Konkurencja wypadła przy was - mówiąc delikatnie - blado. Czy mógłby Pan objaśnić naszym Czytelnikom, z czego wynikały tak duże rozbieżności?

Andrzej Olszewski: Dziękuję bardzo za gratulacje, przede wszystkim należą się one całemu naszemu zespołowi. Zarówno pracownikom, tu w centrali, jak i całej rzeszy ludzi w terenie. Tak naprawdę to dzięki ich wiedzy, doświadczeniu i zaangażowaniu udało się nam osiągnąć tak zbliżone do rzeczywistości wyniki naszego badania. Wracając natomiast do pańskiego pytania, to ciężko jest mi wyjaśnić przyczyny takich rozbieżności. Nasze sondaże zarówno przedwyborcze, jak i te w dniu wyborów były bardzo dokładne, rozbieżności więc dotyczą raczej naszej konkurencji, co do której jest mi trudno się wypowiadać, gdyż nie znam szczegółów ich badań. Natomiast ogólnie rzecz ujmując, dobrano złą metodę do problemu. Badania telefoniczne doskonale nadają się do wielu zastosowań, w tym również sondaży wyborczych, co pokazały np. sondaże przedwyborcze TNS OBOP. Natomiast trzeba pamiętać, że z tego typu narzędziami jest związane poważne ryzyko wystąpienia błędów, wynikających z czynnika ludzkiego. Dlatego też zastosowana przez nas metoda exit poll, bazująca na zbieraniu danych przed lokalami wyborczymi i zapewniająca wszystkim respondentom wysokie poczucie prywatności i anonimowości danych, zdecydowanie lepiej się sprawdza w dniu wyborów. Właśnie po to została stworzona, aby wyeliminować wszystkie możliwe zagrożenia, które zwiększają ryzyko popełnienia błędu, a które są nieodłącznym elementem np. badań telefonicznych. Oczywiście badania typu exit poll są wielokrotnie droższe niż badania telefoniczne, dlatego też istnieją pokusy, by pójść „na skróty".

Panie Prezesie, sami corocznie poddajemy się badaniom czytelnictwa. W przypadku branżowej prasy handlowej część pracowni badawczych przyjęła system oparty na metodzie face to face - bezpośredniej prezentacji respondentom winiet wszystkich badanych tytułów, ponieważ same tytuły brzmią podobnie i zachodzi ryzyko pomyłki. Konkurencyjna metoda CATI była oparta na badaniach telefonicznych i prezentowała wyniki zgoła odmienne. Proszę powiedzieć, czy wybór metody badania może zniekształcić wyniki? Czy istnieją przesłanki, dla których zastosowanie metody wywiadów telefonicznych jest obarczone ryzykiem błędu?

Nie znam tych konkretnych przykładów, o których Pan wspomina, ale wydaje mi się, że już w pierwszym pytaniu pośrednio udzieliłem odpowiedzi na drugie. Oczywiście dobór metody do problemu jest kluczowy, jeśli rozważamy dokładność i precyzję wyniku. Co do rozwiązań przyjętych w przypadku badań czytelnictwa prasy, jest to sprawa bardziej złożona. Trochę trudno jest to opisać w kilku słowach, ale spróbujmy. Istnieje dużo różnego rodzaju badań i eksperymentów, prowadzonych nie tylko w Polsce, ale również na świecie, które definiują standardy związane z prowadzeniem badań czytelnictwa. Oczywiście konkretne rozwiązania różnią się i to czasem dość zasadniczo między poszczególnymi rynkami, nie mniej jednak mają pewne cechy wspólne. Wszystko to, na ogół, opiera się na pewnym konsensusie rynkowym co do standardu przeprowadzania takich badań. Bo cały problem polega na tym, że w prasie nie mamy wyborów i PKW. W związku z powyższym ciężko jest powiedzieć, które metody i sposoby przeprowadzania badań są jednoznacznie najlepsze. Po prostu nie ma żadnych twardych danych, które mogłyby weryfikować przyjęte rozwiązania. Ktoś mógłby powiedzieć, że przecież są dane o sprzedaży, sposobie dystrybucji, lecz te dane pokazują coś zupełnie innego niż czytelnictwo, bo przecież z nich nie dowiemy się, ile osób czyta jedno wydanie, jaka jest długość życia wydania, czy z jaką częstością wracamy do wybranych tytułów czy numerów. Kluczową rolę odgrywa również sposób zadawania pytań, to czy tytuły wymieniane są spontanicznie, czy jest to wspomagane na ogół nie tylko listą, lecz również logo tytułu. Znam również rozwiązania, w których respondentowi pokazuje się nie tylko logo tytułu, lecz całą pierwszą stronę, bądź kilka ostatnich wydań. Czasami podejście bywa jeszcze bardziej złożone i respondenci są proszeni wręcz o streszczenie bądź wspomnienie przeczytanych artykułów. A wszystko to, bo trudno jest jednoznacznie odpowiedzieć na pytanie, co ostatecznie badamy, kiedy respondent wskazuje logo tytułu. Czy jest to deklaracja faktycznego kontaktu z tytułem, czy może w jakimś stopniu wyrażona również znajomość marki, a być może to poprawność polityczna wskazująca na daną pozycję. Przyjętych rozwiązań, jak wspomniałem, jest całkiem sporo. Są i te face-to-face, i telefoniczne, a pamiętam nawet sms'owe. Ostatnio coraz więcej czasu poświęca się też badaniom przez Internet. Nie mniej jednak na większości rynków  standardem na dziś wydaje się być bezpośredni sposób przeprowadzania wywiadu, w którym respondentowi pokazuje się materiały graficzne. Najbliższa przyszłość bez wątpienia będzie należała do badań internetowych. Choć wiem, że równolegle trwają prace nad wprowadzaniem bardzo zaawansowanych technologii, które pozwalałyby w sposób automatyczny i niemalże eliminujący udział człowieka zbierać dane o czytelnictwie prasy.

Wyniki badań w dużej mierze zależą od prawidłowego doboru i wielkości próby. Czy próba jest każdorazowo dostosowywana do konkretnego badania, czy bazujecie na uniwersalnej próbie i jest ona modyfikowana?

Każde badanie ma swoje wymogi i specyfikę. Więc i próbę każdorazowo musimy dobierać indywidualnie. Poza tym nie możemy badać tych samych osób. Prowadziłoby to do skrzywień, które w żargonie badawczym nazywane są „efektem zawodowego respondenta", czego oczywiście chcemy unikać. Dlatego nie używamy tych samych prób do różnych badań. Sporadycznie zdarza się natomiast, że chcemy przeprowadzić badanie na dokładnie tej samej grupie osób po to, by szczegółowo przeanalizować przepływy wśród naszych respondentów między poszczególnymi rozkładami. Takie badania nazywamy panelowymi i one z założenia są realizowane na tych samych próbach.

Badania typu exit poll niosą ze sobą najmniejsze ryzyko błędu. Lepiej się sprawdziły niż badania telefoniczne w I turze wyborów prezydenckich, przeprowadzone przez SMG/KRC. Jaki jest margines tego błędu i od czego zależy?

Co do marginesu błędu, to w przypadku badań typu exit poll jest on faktycznie stosunkowo niewielki i tak, jak we wszystkich badaniach  wynika z dwóch czynników: statystyki i czynnika ludzkiego. Zdecydowanie łatwiejszy do oszacowania jest ten wynikający ze statystyki. Tutaj mamy czystą matematykę i wszystko da się dokładnie policzyć. Jesteśmy w stanie szczegółowo go oszacować w zależności od wielkości próby i prawdopodobieństwa dokładności oszacowania wyniku. Nie zdarzyło się nam, by ten błąd wpłynął na nasze wyniki więcej niż o kilka dziesiątych punktu procentowego. Zdecydowanie gorzej jest z tym drugim błędem wynikającym z czynnika ludzkiego. Jest on trudny do zdefiniowania, a tym samym do oszacowania. Mimo wielu naszych wysiłków zapanowania nad nim, sytuacja ciągle przypomina gonienie przysłowiowego króliczka. Dzieje się tak dlatego, że nie ma jednego najlepszego sposobu przeprowadzenia badania, a czynniki determinujące skalę tego błędu ciągle się zmieniają i oddziałują z różną siłą. Z doświadczenia mogę powiedzieć, że błędy wynikające z czynnika ludzkiego na ogół przewyższają te wynikające ze statystyki i to często wielokrotnie. Dlatego wyniki badań potrafią znacząco się różnić od rzeczywistości.

Nie tylko politycy, ale i społeczeństwo odnosi się do wszelkich sondaży z dużą dozą sceptycyzmu. Czy sukces TNS OBOP przywróci wiarygodność branży badawczej?

Mam taką głęboką nadzieję. Otrzymaliśmy zresztą sporo ciepłych słów tego typu nie tylko od naszych klientów, czy partnerów, ale również od osób spontanicznie kontaktujących się z nami poprzez firmową pocztę elektroniczną. Co do polityków, to raczej mam wrażenie, że część z nich traktuje dane sondażowe czasami bardzo instrumentalnie. Nie przypominam sobie polityka, który krytykowałby sondaże w momencie, w którym wskazują one na rosnące poparcie dla niego, pamiętam natomiast gorzkie słowa wylewane na nas z różnych stron w sytuacji zgoła odmiennej. Generalnie przestrzegałbym jednak przed nadmiernymi oczekiwaniami w stosunku do sondaży wyborczych. Jak pokazałem wcześniej, rzecz jest dość skomplikowana i nie zastąpimy PKW, natomiast z pewnością dość dokładnie będziemy szacować trendy i poziomy poparcia.

Dziękuję za rozmowę.

Drukuj

Wróć