Rapportering om meningsmålinger? Slik gjør du det ansvarlig

Å forbedre kvaliteten på dekningen er ikke rakettvitenskap hvis du kan noen få viktige ting

Som vi lærte i 2016, kan meningsmålinger være misvisende og misforstått. (AP-bilder av Evan Vucci og Paul Sancya)

Morgenen etter presidentvalget i 2016 plukket mange meningsmålingere og forståsegpåere på eggerøre med egg i ansiktet. På en eller annen måte hadde Donald Trump opprørt Hillary Clinton, den foretrukne kandidaten i meningsmålingene deres. Journalister som leverte villedende rapportering til offentligheten burde ha spist ydmyk pai.

Før årets valg den 3. november vil vi igjen bli oversvømmet med meningsmålinger og kunnskap. Med nasjonale og statlige meningsmålinger som sprer seg, risikerer vi å drukne i dårlige data, sa Tom Rosenstiel, administrerende direktør for American Press Institute.

Journalister bør ikke gjøre vondt verre ved overfladisk og uforsiktig rapportering. Å forbedre kvaliteten på dekningen er ikke rakettvitenskap hvis du kan noen få viktige ting.

La oss starte her: Journos bør gjøre det klart at alle meningsmålinger kommer med vanskelige utfordringer og en feilmargin. Å få nøyaktige meningsmålingsdata i år blir komplisert av pandemien, utbredt postavstemning, hyperpolariserte valgkretser og daglige nyhetsoverraskelser.

Mange i nyhetsmediene forverrer situasjonen ved villedende rapportering. For mange rapporter ignorerer for eksempel at hver meningsmåling har en feilmargin – eller forklarer hva det betyr. Å legge til fin skrift nederst i en grafikk klipper den ikke.

Slik fungerer det: Si at et anerkjent meningsmålingsfirma – kall det Company A – undersøker 1000 mennesker og finner ut at 55 % av respondentene er imot gjenåpning av skoler. Selskapet sier at målingens margin for prøvetakingsfeil er pluss eller minus 3 prosentpoeng. Ifølge American Association for Public Opinion Research og andre eksperter, en korrekt beregnet feilmargin betyr at selskap A ville fått de samme resultatene – pluss eller minus 3 prosentpoeng – 95 ganger hvis den gjentok avstemningen 100 ganger. Tar man feilmarginen i betraktning, vil målingens resultater falle et sted mellom 52 % og 58 %. (Størrelsen på den oppgitte feilmarginen avhenger av antall respondenter og andre faktorer.)

Det er lærerikt å gå tilbake til 2016. På valgaften favoriserte mange meningsmålinger Clinton med rundt 47 % til 43 %. Bloomberg/Selzer-målingen hadde for eksempel Clinton foran 46–43 %. Tar man hensyn til målingens feilmargin på 3,5 prosentpoeng, viste resultatene virkelig at Clinton kunne få så mye som 49,5 % av stemmene, eller så lite som 42,5 %. For Trump kunne han motta alt fra 39,5 % til 46,5 %.

Gitt disse tallene burde journalister ha rapportert avstemningsresultatene 'innenfor feilmarginen' og for nærme til å ringe. Det høres kanskje ikke ut som en fengende overskrift, men den kommer med det elementet av mystikk - hvem vinner? – som tiltrekker seg lesere. Og viktigst av alt, nøyaktighet teller.

Noen, men ikke alle, aviser gjorde en bedre jobb med å rapportere meningsmålinger. Det gjorde TV generelt ikke. Uten å nevne feilmarginen, antok mange seere at Clinton var på vei mot sikker seier.

Det viste seg at Clinton vant folkelig stemme 48 % til 46 %. Det gjorde ikke noe, selvfølgelig, fordi Trump seiret i valgkollegiet. Og ja, journalister hadde unnlatt å minne oss på at valgkollegiet, ikke folkeavstemningen, avgjør det hele.

Den oppgitte marginen for prøvetakingsfeil er bare én kilde til potensiell feilberegning. En nyhetsrapport bør ikke slå av lesere/seere ved å begi seg ut i det statistiske ugresset. Og vi skal ikke dit nå. Men journos kan informere publikum om at meningsmålinger er et upresist øyeblikksbilde av folks syn på et gitt tidspunkt. Hvis de nevner at et resultat faller «innenfor feilmarginen», kan de forklare hva det betyr. American Association for Public Opinion Research tilbyr guider om meningsmåling for journalister.

Som en veteran avisredaktør går jeg hardt ned på nyhetskollegene mine. Det journalistiske oppdraget er ikke å spy ut fristende overskrifter, men å vurdere, skeptisk, nøyaktigheten og begrensningene til meningsmålinger og å utdanne og informere publikum. I 2016 mislyktes de fleste journalister.

Gitt årets 'superutfordrende' meningsmålingsmiljø, kan journalister hjelpe offentlig forståelse 'ved å være mer forsiktige med å formulere informasjon' og utvise forsiktighet i å projisere vinnere, sa Angie Holan, sjefredaktør for PolitiFact, Poynter Institutes stadig viktigere. nettsted for faktasjekking.

Noen få forskere og journalister samler et stort antall meningsmålinger for å utvikle statistisk drevne 'sannsynlighetsprognoser'. Nate Silvers «FiveThirtyEight»-nettsted ga for eksempel Clinton 71 % sjanse til å vinne . New York Times' «Resultat» spådde Clintons vinnersjanser på 85%.

Samfunnsforsker Natalie Jackson, som feilet 2016-resultatene ved å gi Clinton 98 % sjanse til å vinne, utstedte en mea culpa og skrev: 'Jeg har konkludert med at markedsføring (av) sannsynlighetsmålingsbaserte prognoser til allmennheten i beste fall er en bjørnetjeneste ... og i verste fall kan påvirke valgdeltakelse og valgresultater.'

Clinton sa til New York Magazine: 'Jeg vet ikke hvordan vi noen gang skal beregne hvor mange som trodde det var i sekken, fordi prosentene ble stadig kastet på folk - Å, hun har 88% sjanse til å vinne.'

Min bunnlinje til journalister: Begynn å dekke meningsmålinger på en ansvarlig måte.

Frank Sotomayor, en Los Angeles Times-redaktør i 35 år, co-redigerte 1983-serien om Latinos som vant Pulitzer-prisen for offentlig tjeneste i 1984. Han bor i Tucson og kan nås på e-post.