Kan vi stole på meningsmålinger?
Presidentvalget i USA ble et tett race, selv om meningsmålinger mente Biden ville vinne klart. UiBs statistikk-ekspert forklarer alt om meningsmålinger.
Hovedinnhold
Det har nettopp vært valg i USA. Før valget forutså flere meningsmålinger at det kom til å bli et valgskred for Joe Biden, og at Donald Trump skulle gå på et stortap. I skrivende stund ser det ut til at Biden kan klore til seg en seier, men det er på hengende håret. Hvordan kunne meningsmålingene ta så feil?
Vi har snakket med Bård Støve, som er matematiker og forsker på statistikk, for å få vite mer.
– Hva er statistikk og hva brukes det til?
– Statistikk dreier seg om å samle inn tallmateriale, eller data, og presentere og analysere det. Data kan være et utvalg av personer som svarer på en spørreundersøkelse, observasjoner av et fysisk fenomen, for eksempel temperaturen i Bergen i løpet av et år, eller observasjoner av økonomiske størrelser, for eksempel aksjepriser.
Vi bruker statistikk til å modellere og forstå sammenhenger. Hvordan henger for eksempel antall år med utdanning sammen med lønn? Vi kan også avgjøre om noe har en effekt og for eksempel om en vaksine virker mot koronaviruset.
Statistikk kan også si noe om fremtiden. Hvem vinner presidentvalget i USA eller hvem vinner Premier League denne sesongen?
I alle disse eksemplene brukes statistikk til å si noe om usikkerheten for at noe er sant eller kommer til å skje.
– Hvordan gjøres meningsmålinger før valg?
– En meningsmåling er en undersøkelse som gjøres for å finne ut hvordan en gruppe mennesker stiller seg til ett eller flere spørsmål, for eksempel hvilken presidentkandidat man vil stemme på i neste valg. Det er i selve valget man spør alle som har stemmerett, og da får man den endelige fasiten på hvordan hele populasjonen - altså de som har stemmerett - har stemt.
Men siden man ikke kan spørre alle i en meningsmåling, spør man kun et utvalg av de stemmeberettigede. Utvalget skal være så representativt som mulig av alle de stemmeberettigede. Det vil si at sammensetningen av utvalget skal speile folket i et land er satt sammen. Det er imidlertid vanskelig å få dette til helt nøyaktig. Derfor er det vanlig å bøte på dette ved å vekte, eller veie, svarene som kommer inn. Man gjør det for å gjenspeile geografi, alder, inntektsnivå og utdanningsnivå i den stemmeberettigede befolkningen. Hvis eldre velgere er underrepresentert i utvalget, vil svarene som er gitt av de eldre velgerne kunne bli tillagt litt større betydning. Slik vekting er derimot ingen presis vitenskap, og kan gjøres på forskjellige måter. Utvalget kan ofte være på 1000 personer, men dette kan variere veldig.
– Hva skjedde egentlig i 2016 da meningsmålingene før valget i USA langt på vei tok feil?
– Et gjennomsnitt av meningsmålingene på nasjonalt nivå, dvs. antall stemmer totalt sett for hver kandidat (Clinton vant med ca 2 prosentpoeng), var faktisk ikke så langt unna det faktiske resultatet. Men på delstatsnivå tok de enkelte meningsmålingene noe feil. I hovedsak skyldes nok det at man ikke hadde klart å vekte svarene for å gjenspeile befolkningen riktig, spesielt tok flere ikke hensyn til utdanningsnivå, og det viste seg i ettertid at folk med lav utdanning stemte mer på Trump enn man trodde, og dermed favoriserte meningsmålingene Clinton. Det var nok også noen som ikke ønsket å innrømme at de stemte Trump på meningsmålinger, og heller oppga at de ikke hadde bestemt seg.
Jeg anbefaler alle å se denne videoen, som forklarer godt hva som skjedde i 2016:
What Happened To The Polls In 2016 — And What You Should Know About Them In 2020 l FiveThirtyEight
Bård Støve, Matematisk institutt, Universitetet i Bergen.
– Hva er denne marginen alle snakker om når de snakker om treffsikkerheten til meningsmålingene?
Det er mer presist å kalle det «feilmarginen». Feilmarginer uttrykker hvor pålitelig et tall er, for eksempel tall fra meningsmålinger. Ingen meningsmålinger er helt nøyaktige, fordi vi kun spør et utvalg av de stemmeberettigede, ikke alle. For å kunne danne seg et bilde av hvor nøyaktig en måling har vært, angir man derfor ofte feilmarginer. Disse feilmarginene er beregnet ved hjelp av en statistisk metode. I typiske meningsmålinger kan feilmarginen ligge mellom 1 til 3 prosent. Feilmarginen blir mindre dess flere man spør.
– Hva er forskjellen på prosent og prosentpoeng?
– Prosent er hundredeler, mens prosentpoeng er differansen (den absolutte endringen) mellom to prosenter. For eksempel er en endring fra 16 prosent til 20 prosent en økning på 4 prosentpoeng. Samtidig er det en relativ økning på 25 prosent, siden 4 er 25 prosent av 16.
I sammenheng med meningsmålinger blir dette av og til omtalt feil. Man sier at oppslutningen til et kandidat går opp med 5 prosent når det egentlig er 5 prosentpoeng.
– Hvilke ulike målemetoder brukes ovenfor et valg, slik som i USA i 2020?
– Man kan gjøre meningsmålinger på forskjellige nivå, for eksempel på nasjonalt nivå - altså spørre et utvalg som representerer hele USA, eller at man spør på delstatsnivå, for eksempel et representativt utvalg i California.
Siden USA har systemet med valgmenn, det vil si at vinneren av den enkelte delstat får i hovedsak alle valgmennene fra denne delstaten, så kan det faktisk medføre at taperen likevel har flest stemmer av alle de stemmeberettige, som skjedde sist i 2016.
– Det har nettopp vært valg i USA. Mange påstår at meningsmålingene igjen tok noe feil. Hvorfor kan dette skje?
– Trump gjorde det noe bedre enn det man kanskje kan få inntrykk av meningsmålingene, men samtidig var det flere som sa at Trump hadde cirka 10 prosent sjanse til å vinne før valget. 10 prosent er faktisk en fair sjanse. Du kan sammenligne med det å få en 6-er når du triller en terning en gang - den sjansen er ca 16 prosent. Og det skjer ganske ofte det - eller hva?
Men igjen, så har kanskje litt av det samme som i 2016 skjedd: meningsmålingene har ikke klart å korrigere helt for at man ikke har et nøyaktig speilbilde av de stemmeberettigede ved meningsmålinger, og det at flere stemmer Trump enn det man er villig til å innrømme når man blir spurt i en meningsmåling.
– Før valget 3. november ble det sagt at Trump hadde 10 % sjanse til å vinne. Hvordan regner man på denne sannsynligheten?
– Det er spesielt statistikeren Nate Silver, og hans team i www.fivethirtyeight.com som har beregnet denne sannsynligheten på 10 prosent.
De har altså bygget en statistisk modell som er basert på en kombinasjon av mange meningsmålinger og informasjon om demografi og økonomiske data - samt at de forsøker å modellere usikkerheten i valget. Deretter simuleres – eller gjennomføres – valget 40 000 ganger på en datamaskin. I disse trekningene viser det seg at Trump vinner cirka 4000 ganger, det vil si 10 av 100 valg, altså 10 prosent.
En enda mer fullstendig beskrivelse av modellen er her.
Se selve sannsynligheten her.