Hjem > . > ST 10/13: Statistikk med snubletråder

ST 10/13: Statistikk med snubletråder

Sist onsdag holdt jeg dagskurs om brukerundersøkelser for fylkesbiblioteket i Telemark.

Under forarbeidet så jeg gjennom en del rapporter fra slike undersøkelser. De fleste av dem har ulike metodiske svakheter – uten å være klar over det. Derfor denne bloggposten.

Statistikk er et fagfelt som mange tror de mestrer, men som bare de færreste behersker. Den generelle forståelsen av statistikk er lav.

Folk har en tendens til å stole på sin intuisjon. Hvis mynten har kommet opp med KRON fem ganger på rad, tror vi at sannsynligheten for MYNT i neste kast må ligge over 50%. “Det må jo jevne seg ut”.  Men slik er det altså ikke. Sannsynligheten er uforandret.

Det er mange feilkilder ved bruk av statistikk. De skyldes ikke statistikerne, men de statistiske amatørene. For å se dette i praksis, anbefaler jeg diskusjonene rundt medisinsk statistikk. Ben Goldacres bok Bad Pharma er et godt eksempel.  I helsesektoren er debattene rundt bruk og misbruk av statistikk langt mer utviklet enn innenfor samfunnsfagene.

Her bruker jeg en godt dokumentert undersøkelse fra 2006 som eksempel:

Dette er en helt vanlig undersøkelse. Den er rimelig kompetent, men svikter på noen tekniske punkter.  Det betyr ikke nødvendigvis at resultatene er feilaktige, men at de er mer usikre enn rapporten gir uttrykk for.

Det tar typisk ti tusen timer å bli ekspert på et fagfelt. Sosiologiske og statsvitenskapelige ferdigheter kan ikke erstatte statistisk innsikt – se http://plinius.wordpress.com/2011/10/23/p-15111/

Det hjelper ikke at Sentio har mye erfaring med meningsmålinger. De mangler – som de fleste kommersielle aktører i dette feltet – virkelig solid statistisk kompetanse.

Sitater og kommentarer

Det er gjennomført kvantitative undersøkelser på telefon og via web, og personlige intervju  av brukerne på Servicesenteret i Hausmannsgt 21, Oslo. Hovedtema for undersøkelsen har vært de samme som tidligere gjennomførte brukerundersøkelser i regi av UDI. …  Brukeren er blitt spurt om tilfredshet innen disse områdene i deres møte med UDI. I tillegg er  det lagt inn spørsmål som omhandler tidligere kontakt med UDI og bakgrunnsdata slik som kjønn, alder og nasjonalitet, samt hvor lenge man har bodd i Norge. …

Telefonintervju

Det ble gjennomført 500 intervju av innringere til Opplysningstjenesten til UDI (OTS) om hvordan de har opplevd deres møte med UDI.

Det ble i perioden forut for gjennomføring hentet ut elektroniske lister over telefonnummer som var benyttet for å ringe inn til OTS. I denne perioden ble alle innkommende samtaler/innringere gjort oppmerksom på at det skulle gjennomføres en brukerundersøkelse i nær fremtid og at deres telefonnummer ville kunne bli lastet ut av systemet og bli benyttet i undersøkelsen.

Dersom innringerne ikke ønsket å delta i undersøkelsen ble de gitt muligheten til å reservere seg ved å ringe et internt nummer i UDI. Det ble hentet ut lister i to omganger og listene ble ”vasket” for de som hadde reservert seg.

Totalt ca 3300 telefonnummer ble hentet ut av systemet. Det ble foretatt 1651 oppringinger for å nå 500 intervju. Det gir en svar respons på ca 35 %.

Er dette utvalget representativt?

Jeg antar at den intenderte populasjonen, altså de menneskene UDI og Sentio ønsker å uttale seg om, består av alle personene som har kontaktet UDI per telefon de siste månedene eller ukene. Det realiserte utvalget består av de fem hundre personene Sentio faktisk fikk kontakt med.

1. Populasjonen

Utvalget er trukket fra en liste over telefonnumre som ble registrert i “perioden forut for gjennomføring”. Det utelukker brukere som tok kontakt tidligere eller senere – uten å ta kontakt i akkurat denne perioden.

Hvis vi kan anta at strømmen av telefonhenvendelser er homogen over tid, altså ikke varierer så mye med tidspunktet, er dette greit. Men det kan gjerne presiseres.

Totalt ble ca 3300 telefonnummer hentet ut av systemet. Hvis vi kan forutsette en-til-en sammenheng mellom person og telefon, betyr dette at den realiserte populasjonen besto av 3300 personer.  De som reserverte seg (hvor mange?) har imidlertid falt ut.

Dette er en utvalgsundersøkelse, der man har trukket ut 500 intervjuobjekt fra populasjonen. Vi gjør oppmerksom på enhver undersøkelse av denne typen vil være beheftet med feilmarginer. Ved et utvalg på 500 personer kan vi med 95 prosent sannsynlighet si at det riktige resultatet ligger innenfor ± 2,6 og ± 4,4 prosentpoeng, avhengig av prosentresultatets størrelse

2.  Utvalget

Det ble foretatt 1651 oppringninger. Rapporten forteller ikke om man ringte flere ganger hvis man ikke fikk svar. Det burde vært presisert.

Jeg antar her at man bare ringte en gang til hvert nummer. Det betyr at intervjuerne prøvde å kontakte 1651 ulike personer og at de faktisk fikk kontakt med 500 personer.

Det intenderte utvalget (1651) besto altså av 50% av universet (3300). Det er rimelig å betrakte dette utvalget som et rent tilfeldig utvalg.

Det realiserte utvalget var på 500 personer. Bortfallet var på ca. 65%. Det er ikke grunnlag for å betrakte det realiserte utvalget som rent tilfeldig. Bortfall innebærer skjevheter.

Jeg har beskrevet en alvorligere svakhet i avsnitt 4.

3. Konfidensintervaller.

Sentios konfidensintervaller – at det riktige resultatet ligger innenfor ± 2,6 og ± 4,4 prosentpoeng – kan derfor ikke brukes.

Når det gjelder analyser så vil frekvensfordelinger, samt gjennomsnitt med standardavvik bli illustrert i selve rapporten. Standardavvik er et mål på spredning, og 68 % av utvalget vil ligge innenfor et standardavvik.

Utsagnet “68 % av utvalget vil  ligge innenfor et standardavvik” er gyldig for variable som er (tilnærmet) normalfordelt, men er ikke nødvendigvis korrekt for variable som følger andre fordelingskurver (J-kurver, to-toppede fordelinger, rektangulærfordeling, etc.)

Det framgår av diagrammene at en rekke fordelinger i dette materialet avviker mye fra normalfordelingen.

4. Besøk eller bruker?

Hvis UDI ønsker å si noe om brukerne i sin alminnelighet, må direktoratet ta hensyn til at metodikken Sentio anvender fører til at de som kontakter UDI hyppig, blir overrepresentert i utvalget.

Rapporten stiller heldigvis spørsmål om kontakthyppighet:

Hvor mange ganger har du vært i kontakt med OTS pr telefon i løpet av det siste året?

Figur 8 forteller at

  • A. 13% har kontaktet OTS 1 gang
  • B. 24% har kontaktet OTS 2-3 ganger – jeg setter gjennomsnittet til 2,5
  • C. 15% har kontaktet OTS 4-5 ganger – jeg setter gjennomsnittet til 4,5
  • D. 48% har kontaktet OTS 6 ganger eller mer –  jeg setter gjennomsnittet til 8

Vi må regne om fra henvendelser til personer

  • 13% av telefonene kommer fra gruppe A. Det står en person bak hver henvendelse (1 : 1)
  • 24% av telefonene kommer fra gruppe B. Det står 0,40 personer bak hver henvendelse (1 : 2,5)
  • 15% av telefonene kommer fra gruppe C. Det står 0,22 personer bak hver henvendelse (1 : 4,5)
  • 48% av telefonene kommer fra gruppe D. Det står 0,125 personer bak hver henvendelse (1 : 8)

Den relative fordelingen på personer blir:

  • 13 fra gruppe A
  • 9,6 fra gruppe B (= 24 * 0,40)
  • 3,3 fra gruppe C (=15 * 0,22)
  • 6 fra gruppe D (=48*0,125)
  • SUM: 31,9

Ï prosent.

  • Gruppe A har 41% av personene og 13% av telefonsamtalene
  • Gruppe B har 30% av personene og 24% av telefonsamtalene
  • Gruppe C har 10% av personene og 15% av telefonsamtalene
  • Gruppe D har 19% av personene og 48% av telefonsamtalene

Rapporten sier:

Figur 8 viser at nesten halvparten av innringerne har vært i kontakt med OTS mer enn 5 ganger. Kun 13 prosent av respondentene har vært i kontakt med OTS pr telefon bare en gang tidligere.

Dette “resultatet” er først og fremst en følge av utvalgsmetodikken.

Ved å korrigere for antall henvendelser, ser vi at sytti prosent av “telefonbrukeruniverset” bare har vært i kontakt med OTS 1-3 ganger i løpet av et år.

Problemet oppstår fordi Sentio og UDI ikke skiller klart mellom “universet av brukere” og “universet av henvendelser”. Feilen er ganske vanlig – også blant erfarne samfunnsforskere.

Hvis jeg vil vite hvor hyppig folk går i kirken, nytter det ikke å spørre kirkegjengerne rett etter høymessen. Deres besøksfrekvens vil selvsagt ligge langt over besøksfrekvensen i hele befolkning. Men den vil også ligge langt over besøksfrekvensen blant de som faktisk går i kirken i løpet av et år. t.

Intuitivt er det lett å skjønne at besøk/henvendelser/kontakter, på den ene siden, og brukere, på den andre, er svært ulike entiteter. Når det blir påpekt, vel å merke.

Men til daglig går både forskere og vanlige folk i fella gang etter gang.

Ressurser

Kategorier:.
  1. Ingen kommentarer så langt.
  1. 2013-09-16, kl. 09:19
  2. 2014-06-15, kl. 13:05

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

%d bloggers like this: