Żyjemy w nowej erze sondażowych statystyk

Zdjęcie: Key Costello/Unsplash 

W grudniu zeszłego roku sondaż przeprowadzony wspólnie przez tygodnik The Economist i organizację YouGov rzekomo stwierdził falę antysemityzmu wśród amerykańskiej młodzieży. Według niego, co piąty młody Amerykanin nie wierzy w Holokaust, a 28% uważa, że Żydzi mają zbyt dużą władzę w Stanach Zjednoczonych. „Wyniki naszego sondażu są iście zatrważające” – zadeklarowano w The Economist. W rezultacie dodały oleju do ognia w świecie debat o wojnie między Izraelem, a Hamasem w mediach społecznościowych i stały się tematem międzynarodowych wiadomości. Był tylko jeden problem: wyniki sondażu były niemal z pewnością błędne. Respondentami do niego byli ludzie rekrutowani z Internetu, którym zapłacono za wzięcie w nim udziału. Według niedawnej analizy przeprowadzonej przez organizację non-profit Pew Research Center, tego typu sondaże często są przepełnione „fałszywymi respondentami”, którzy odpowiadają na pytania nieprawdziwie dla zabawy albo żeby szybciej dostać obiecaną nagrodę pieniężna. W przypadku sondażu o antysemityzmie, analiza Pew sugerowałaby, że metody ekipy The Economist/YouGov doprowadziły do mocno zawyżonych liczb. W bardziej rygorystycznym sondażu, który zadawał te same pytania, Pew odkryło, że tylko 3% młodych Amerykanów zgadzało się ze stwierdzeniem, że „Holokaust to mit”. To dziwne czasy dla statystyk sondażowych. Politolog z Uniwersytetu Stanforda Joe Krosnick stwierdził, że tradycyjne ankiety, które polegają na odpowiedziach ludzi z losowo wybranej grupy reprezentującej całą populację, pozostają złotym standardem badania opinii publicznej. Ludzie coraz rzadziej jednak odbierają telefon, zmniejszyła się liczba odpowiedzi, a koszt przeprowadzania tego typu sondaży znacząco wzrósł. W tym samym czasie zwiększyła się ilość tańszych i mniej dokładnych sondaży online. „Niestety, na świecie pojawia się coraz więcej nienaukowych metod, które są przedstawiane jako naukowe” – powiedział Krosnick. Tymczasem, niektórzy ankieterzy bronią tego typu sondaże i twierdzą, że tradycyjne mają swoje własne problemy. Douglas Rivers, główny naukowiec YouGov i kolega Krosnicka ze Stanford, zgodził się, że losowe pobieranie próbek to świetna naukowa metoda, ale stwierdził też, że w dzisiejszych czasach, wielu ludzi skontaktowanych w ramach tej metody nie zgadzają się na udział w badaniach. Wskazał na fakt, że ankieterzy w 2016 i 2020 roku notorycznie lekceważyli poparcie dla Donalda Trumpa, bo nie otrzymywali dostatecznej liczby odpowiedzi od tego typu wyborców. Chociaż luźne kontrole jakości młodszych respondentów, które od tamtego czasu zostały zaostrzone, doprowadziły do mylących wyników sondażu na temat antysemityzmu, ogólne wyniki YouGov są dobre, twierdził Rivers; „Jesteśmy konkurencyjni w stosunku do każdego, kto przeprowadza sondaże wyborcze". Tak czy inaczej, nagłówki równie oburzające, co niewiarygodne cały czas powstają: 7% dorosłych Amerykanów myśli, że mleko czekoladowe pochodzi z brązowych krów; 10% Amerykanów z wyższym wykształceniem uważa, że Sędzia Judy jest członkinią Sądu Najwyższego; a także 4% dorosłych Amerykanów (około 10 milionów ludzi) piło lub płukało gardło wybielaczem, żeby powstrzymać wirusa Covid-19. Chociaż YouGov jest jedną z bardziej szanowanych organizacji sondażowych, w niektóre z ich badań – jak na przykład to, według którego jedna trzecia młodych milennialsów nie jest pewna, czy Ziemia jest okrągła – trudno jest uwierzyć. Pośród wysypu sondaży, trudno jest odróżnić wiarygodne wyniki od tych, które rozpadają się po bliższym przyjrzeniu się im. Według niektórych ekspertów, to zamieszanie odzwierciedla głęboko zakorzenione problemy z nowymi metodami w branży, powstałymi w odpowiedzi na współczesną erę, w której próbka reprezentacyjna populacji nie odbiera już telefonu. 

Krnąbrna ewolucja badań sondażowych prawdopodobnie raz jeszcze stanie się centrum zainteresowania wraz ze zbliżającymi się wyborami w Stanach Zjednoczonych, zwłaszcza dlatego, że konsekwencje nieudanych lub mylących sondaży mogą wykraczać daleko poza nauki społeczne. Politolożka Sunshine Hillygus z Duke University stwierdziła, że taki „sondażowy clickbait” niszczy samoocenę, „podważa zaufanie ludzi w zdolność do samorządności amerykańskiego społeczeństwa”. Doświadczony ankieter Gary Langer porównuje tradycyjne sondaże opierane na losowych próbkach do wkładania chochli do dobrze wymieszanej zupy. „Możemy spojrzeć na chochlę i zobaczyć pojedyncze składniki. Dostajemy dobrą reprezentację tego, co znajduje się w zupie” – powiedział. Wyjaśnił, że to nieważne czy garnek z zupą jest wielkości stadionu. Jeśli zawartość jest dobrze wymieszana, to jedna chochla wystarczy, żeby móc ocenić, co jest w środku. Dlatego też sondaże, w których bierze 1000 osób, mogą teoretycznie reprezentować to, co uważa cały naród. Douglas Rivers powiedział jednak, że znalezienie naprawdę reprezentacyjnej próbki jest praktycznie niemożliwe i zwrócił uwagę na to, iż  w dzisiejszych czasach, wysoki odsetek odpowiedzi na losowe ankiety wynosi zaledwie 2%. Pew wkłada wiele wysiłku w utrzymanie losowego panelu około 10 000 osób chętnych do wzięcia udziału w ankietach. W przypadku ostatniej corocznej rekrutacji organizacja wysłała listy do losowo wybranych 13 500 adresów zamieszkania uzyskanych z US Postal Service, otrzymując około 4000 odpowiedzi, według badaczki Pew Courtney Kennedy. Do panelu zaproszono tylko jedną czwartą respondentów. W przeciwnym razie, jak wyjaśniła Kennedy, panel byłby przepełniony typami osób najbardziej skłonnych do wypełniania ankiet. Ostatecznie udało się pozyskać 933 nowych uczestników. Według Kennedy, niektóre grupy – zwłaszcza młodzi ludzie,o innej rasie niż biała i bez wyższego wykształcenia – są generalnie mniej chętni do odpowiadania na sondaże. To właśnie tam tracą tę perfekcyjną reprezentację.  Kennedy powiedziała, że tak jak inne organizacje sondażowe, Pew koryguje swoje dane, dodając więcej wagi do odpowiedzi ludzi niedostatecznie reprezentowanych w próbce, aby wyniki dobrze reprezentowały państwo pod względem demografii takich jak wiek, płeć, rasa, poziom wykształcenia i przynależność polityczna. Ale te metody ważenia są niedoskonałe. A ludzie w ankiecie są nadal niereprezentatywni pod co najmniej jednym względem „to Amerykanie, którzy są skłonni odpowiedzieć na wiadomość ankietera”. Trudności te spowodowały cichą rewolucję w badaniach ankietowych na przestrzeni dwóch ostatnich dekad. Według badania przeprowadzonego przez Pew w 2023 roku dotyczącego metod przeprowadzania sondaży, w roku 2000 niemal wszyscy ankieterzy kontaktowali się z ludźmi telefonicznie. Jednakże, liczba rozmów telefonicznych jako jedynej metody przeprowadzania sondaży spadła już w 2012 roku, a liczba sondaży internetowych jak ten przeprowadzony przez The Economist/YouGov wzrosła.  Takie badania nie mieszają zupy na tyle, żeby każdy składnik miał równą szansę na wybór. Zamiast tego zbierają tak zwaną próbkę uznaniową respondentów, zazwyczaj rekrutowaną online. Ankieterzy posługujący się tą metodą w różny sposób rekrutują i wybierają uczestników i nie zawsze są pod tym względem przejrzyści. Po zebraniu grupy uczestników ankieterzy mogą nadać próbce wagę w taki sposób, aby pasowała do szerszej populacji USA. Ciężej jest jednak to zrobić z ankietami online, jako że istnieje mniej informacji o tym, jak ludzie, którzy biorą udział w sondażu, wypadają na tle ogółu społeczeństwa. 

„Losowe próbki są zwykle bardziej reprezentatywne niż internetowe” – napisała Kennedy w e-mailu. Sondaże internetowe są jednak zwykle dużo tańsze niż telefoniczne. Od kiedy Amerykanie porzucili telefony stacjonarne i przestali odbierać połączenia od nieznanych rozmówców, kontaktowanie się z ludźmi wymaga dużo więcej czasu i wysiłku. Według Sunshine Hillygus, konsekwencją tego jest fakt, że o ile internetowy sondaż może kosztować zaledwie jeden dolar za każdą odpowiedź,  to wysokiej jakości oparty na losowych próbkach może kosztować od 50 do 500 razy więcej. Kennedy powiedziała, że aby stworzyć bazę respondentów dla sondaży internetowych, organizacje rekrutują ludzi poprzez reklamy na mediach społecznościowych, wyszukiwarkach internetowych, a nawet w grach wideo, oferując nagrody lub pieniądze za wypełnianie sondaży. Przykładowo, YouGov płaci ludziom w punktach – na przykład od 500 do 1000 punktów za wypełnienie krótkiego sondażu. Za 25000 punktów można dostać kartę podarunkową o wartości 15 dolarów, a za 55000 punktów można otrzymać 50 dolarów w gotówce. Pew i inni ankieterzy, którzy przeprowadzają losowe ankiety, również płacą ludziom niewielką kwotę za okazjonalne wypełnienie ankiety. Jednak w przypadku sondaży internetowych, wypełnianie ankiet może stać się dla wielu osób pracą w pełnym lub niepełnym wymiarze godzin. Na przykład strona internetowa służąca do szukania pracy Indeed wymienia firmy, które płacą za ankiety w swoim przewodniku po karierach. A w subreddicie Beer Money, który ma 1,3 miliona członków, ludzie często dyskutują o zaletach (elastyczność czasowa) i wadach (skąpe wynagrodzenie; częste odsiewanie) wypełniania ankiet za pieniądze. Niektóre z tych sondaży służą badaniom akademickim (dla przykładu, wiele badań psychologicznych polega na opłaconych respondentach rekrutowanych na platformach takich jak Amazon Mechanical Turk), a inne pomagają firmom w badaniu rynku – lub zasilają nienasycony sondażami rynek medialny.  Kennedy twierdzi, że wielu ludzi bierze udział w internetowych sondażach z dobrymi zamiarami. „Problemem jest to, że otwartość tych ankiet prowadzi także do oszustw” – napisała w e-mailu. „Ludzie tworzą po kilka kont ze sfabrykowanymi danymi, aby wypełnić jak najwięcej tylko po to, żeby zarobić”. Jednakże, Rivers powiedział, że z odpowiednimi zabezpieczeniami przed oszustwami, takie metody stanowią praktyczną alternatywę do konwencjonalnych sondaży telefonicznych, których koszty są za wysokie, a odsetek odpowiedzi za niski. Zasugerował, że większość sondaży nie bazuje już na losowych próbkach.Powiedział, że gdy tylko dwie osoby ze stu odpowiadają na sondaż, to trudno nazwać te poglądy reprezentatywnymi. „Szczypta losowości na początkowym etapie nie dodaje takiej próbce wiarygodności”. „Nasze podejście było następujące: Zbierzmy próbę systematycznie w oparciu o cechy" –  powiedział Rivers.

„Nie jest to porównywalne z tym, co robi spis powszechny w obecnym badaniu populacji, ale bardzo dobrze sprawdza się w sondażach wyborczych". Rivers wskazał na wysoki ranking YouGov na stronie FiveThirtyEight, która ocenia firmy sondażowe na podstawie ich osiągnięć w przewidywaniu wyników wyborów i chęci pokazania swoich metod. Dla Gary’ego Langera, ów ranking na FiveThirtyEight nie był szczególnie imponujący (jego własna firma, Langer Research Associates, również plasuje się na wysokiej pozycji za sondaże polityczne, które przeprowadzają na zlecenie ABC News i Washington Post). „Sondaże przedwyborcze, pomimo swojej popularności, są jedynie ziarenkiem piasku na pustyni, jaką są badania opinii publicznej” – powiedział. Zdecydowana większość sondaży skupia się na innych tematach. Tworzą one bazę federalnych danych na temat, przykładowo, miejsc pracy czy mieszkalnictwa i mogą odzwierciedlać publiczną opinię o edukacji, zmianach klimatycznych i innych tematach. „Dane sondażowe nas otaczają, przenikają nasze życia i nadają formę decyzjom, które podejmujemy” – dodał. Zważając na stawki, Langer polega wyłącznie na sondażach bazujących na losowych próbkach. Jak mówił, badania wskazują na to, że inne sondaże po prostu nie dają tego samego rodzaju spójnych, weryfikowalnych wyników. Hillygus zgodziła się z Langerem, że generalnie, sondaże z losowymi próbkami rzeczywiście są bardziej precyzyjne, ale zaznaczyła, że „ stnieje duża rozbieżność" w jakości wśród ankieterów stosujących obie metody. Badania sugerują, że sondaże niekorzystające z losowych próbek, zwłaszcza sondaże internetowe takie jak sondaż The Economist/YouGov, mają nieodłączne słabe punkty. Perspektywa otrzymania pieniędzy lub nagród może nakłonić ludzi do wypełniania ankiet szybko i z jak najmniejszym wysiłkiem. „Otrzymane w ten sposób dane i odpowiedzi po prostu nie mogą być prawdziwe” – stwierdziła Kennedy. Dla przykładu, w jednym testowym internetowym sondażu wynikło, że 12% dorosłych Amerykanów przed 30 tką posiada licencję na operowanie atomowej łodzi podwodnej. Prawdziwą wartością jest, rzecz jasna, około 0%. Według badania Pew przeprowadzonego w 2020 roku, od 4 do 7% ludzi biorących udział w tych sondażach to tak zwani fałszywi respondenci, w porównaniu do 1% w losowych sondażach. Tacy respondenci mogą przykładowo wypełnić sondaż kilka razy lub zgadzać się ze wszystkim bez względu na zadane pytanie. Inni najwyraźniej znajdują się poza terytorium Stanów Zjednoczonych. Kennedy powiedziała, że fałszywi respondenci częściej zaznaczają, że są młodymi dorosłymi lub Latynosami, ale zwłaszcza jeśli chodzi o Latynosów, dane sugerują, że to twierdzenie jest często nieprawdziwe. Mogą nieuważnie odpowiedzieć „tak” na pytanie „Czy jesteś Latynosem” lub intencjonalnie fałszują swoją tożsamość, bo uważają, że pomoże im to przejść przez początkowe badania przesiewowe. Hillygus powiedziała, że są jeszcze ludzie, którzy po prostu lubią się wygłupiać. Wiele badań wykazało, że niektórzy nastolatkowie lubią podawać nieszczere odpowiedzi na sondaże w ramach krajowego badania zdrowia, na przykład poprzez wyolbrzymianie użycia narkotyków i alkoholu lub fałszywe oznajmianie, że są ślepi, należą do gangu lub przeszły przez kilka ciąż Według niej, sondaże pytające o wiarę w teorie konspiracyjne są podatnym gruntem na trolling. Wykazują, że spora część amerykańskiej społeczności wierzy w teorię Pizzagate, która fałszywie łączyła Hillary Clinton z organizacją handlu dziećmi działającą w Waszyngtonie, są prawdopodobnie nieprawidłowe. Hillygus i jej kolega Jesse Lopez doszli do tego wniosku w badaniu w renomowanym czasopiśmie, które nie zostało jeszcze wydane. "Ponad 50 procent osób, które twierdziły, że wierzą w Pizzagate i inne spiski, to osoby, które zidentyfikowaliśmy jako trolle ankietowe" – powiedziała Hillygus. Losowy wybór osób z całej populacji chroni przed oszustwami. „Kluczową zaletą współczesnych sondaży losowych jest zapewnienie, że osoby ze złymi zamiarami nie infiltrują sondażu i nie dostarczają bezużytecznych danych”. Istnieją sposoby na wyeliminowanie oszustów i trolli. Według Riversa, YouGov wykorzystuje około 100 wskaźników, aby ocenić, czy respondenci dostarczają wiarygodnych danych. Po badaniu Pew na temat sondażu o antysemityzmie, YouGov przeprowadził własną analizę i odkrył, że jego zespół ankietowy złagodził standardy dla osób poniżej 30 roku życia, aby uzyskać wystarczająco dużą próbkę. „Około połowa tej grupy powinna była zostać wykluczona” – powiedział Rivers. „Cała ta sprawa powinna była zostać wykryta w tamtym czasie" - powiedział Rivers. „W danych było wiele sygnałów ostrzegawczych". Od tego czasu YouGov wprowadził dodatkowe ograniczenia, a kolejne są w fazie planowania. Ale firmy sondażowe niebazujące na losowości są bardzo zróżnicowane. Niektóre, jak YouGov, publikują swoją metodologię i starają się zapewnić integralność swoich danych. Inne, jak twierdzą eksperci, tego nie robią. 

Firmy te mogą wykorzystywać wątpliwe metody, takie jak tzw. river sampling, w których ludzie reagują na reklamę internetową lub wyskakujące okienko i są natychmiast przekierowywani do ankiety. Na przykład na stronie z wiadomościami odwiedzający mogą napotkać wyskakujące okienko z prośbą o udzielenie odpowiedzi na pytanie ankietowe w celu uzyskania dostępu do artykułu. Metoda ta okazała się "przerażająco niedokładna" w sondażach wyborczych z 2016 roku, powiedział Krosnick. „W rzeczywistości nie było żadnego naukowego pobierania próbek, to było po prostu zbieranie ryb przepływających przez internetową rzekę" – powiedział. Żadne z tych wyzwań metodologicznych nie osłabiło entuzjazmu dla badań ankietowych. Według badania Pew z 2023 r. liczba aktywnych ankieterów wzrosła ponad dwukrotnie od początku XXI wieku. „Internet jest jak heroina” – stwierdził Kosnick. „Uzależnił ludzi od szukania kreatywnych sposobów na zarabianie pieniędzy, najlepiej jak najbardziej zautomatyzowanych, aby zmaksymalizować marże zysku”. Z pewnością istnieje kwitnący rynek medialny dla przyciągających uwagę wyników ankiet. W grudniu 2023 r., kiedy Economist i YouGov opublikowały sondaż na temat antysemityzmu, stał się on bardzo popularny. Z kolei badanie Pew kwestionujące wynik nie przyciągnęło tak dużej uwagi. W marcu The Economist dodał notatkę redakcyjną na początku artykułu, potwierdzając badanie Pew. Ale artykuł – który obwinia media społecznościowe, a zwłaszcza TikTok, za indoktrynację młodych ludzi spiskami i antysemityzmem - pozostaje niezmieniony. W e-mailu Tom Amos, rzecznik prasowy The Economist, oznajmił magazynowi Undark, że analiza Pew została dobrze przeprowadzona. Napisał, że pomimo tego, że The Economist nie wierzy w mniejszą skuteczność sondaży internetowych, wyniki analizy Pew stanowią przestrogę. „Ich eksperyment przedstawił mocne dowody na to, że ta metoda ankietowa wiąże się z ponadprzeciętnym ryzykiem fałszywych respondentów z określonych grup demograficznych, którzy nieprawdziwie twierdzą, że mają rzadkie lub skrajne przekonania". Krosnick powiedział, że konsumenci mediów powinni być sceptycznie nastawieni wobec mało prawdopodobnych wyników, a Langer, którzy przez 30 lat był dziennikarzem, dodał, że podobnie nastawieni powinni być dziennikarze, a media mają odpowiedzialność sprawdzania sondaży, których wyniki przedstawiają. „Wszystkie redakcje w kraju – na całym świecie – powinny mieć w ekipie kogoś, który ocenia sondaże i metodologie sondażowe”. „W końcu ludzie muszą zdać sobie sprawę, że badania ankietowe wiążą się z pewnym stopniem niepewności” – powiedział Joshua Clinton, politolog z Vanderbilt University, który zauważył, że sondaże prowadzące do wyborów w 2024 r. z pewnością coś pomylą. „Obawiam się, jak wpłynie to na opinię ludzi na temat nie tylko sondaży, ale także nauki w ogóle" - dodał. Ludzie mogą po prostu odrzucić wyniki jako przewidywalną porażkę naukową: „O, jajogłowy znowu nawalił". Clinton powiedział, że chce, aby ludzie zdali sobie sprawę z trudności w prowadzeniu badań z zakresu nauk społecznych, zamiast od razu delegitymizować tę dziedzinę. Nawet Rivers, którego firma przeprowadziła sondaż dla The Economist, która trafiła na pierwsze strony gazet, przyznał, że czytelnicy powinni być ostrożni z przyciągającymi wzrok nagłówkami. „Jesteśmy w trudnym środowisku, jeśli chodzi o przeprowadzanie sondaży" - powiedział. Oznacza to, że ludzie muszą traktować wyniki ankiet - zwłaszcza te prowokacyjne - z przymrużeniem oka. „Tendencją jest nadmierne informowanie o sondażach" - powiedział Rivers. „Sondaże, o których się mówi, to te odstające od reszty".