Hvad betyder “signifikant”? (En kort forklaring af forskellen på “statistisk signifikans” og begrebet “signifikans” som det bruges i daglig tale)

HVAD DU SKAL VIDE OM “STATISTISK SIGNIFIKANS”

Når forskere bruger ordet “signifikant” betyder det noget andet end i daglig tale:

  • I daglig tale betyder det “vigtigt” eller “betydningsfuldt”.
  • I forskning betyder det (groft sagt*), at en observation sandsynligvis ikke skyldes en tilfældighed.

*Det er en simplificeret forklaring. Den er teknisk set ikke helt korrekt, men det er tæt på, og den fungerer fint som tommelfingerregel. Se flere detaljer længere nede.

Det er problematisk at blande de to betydninger sammen. Forfattere og andre formidlere fortæller ofte om videnskabelige eksperimenter og påpeger, at forsøgspersonerne i én gruppe var “signifikant” mere produktive/lykkelige/whatever end dem i en anden gruppe. Det får det til at lyde som om forskellen var væsentlig. Det er ikke nødvendigvis tilfældet. En forskel kan være mikroskopisk samtidig med at den er statistisk signifikant.  

HVAD DU KAN GØRE, NÅR DU MØDER BEGREBET “SIGNIFIKANS”

Når en formidler kalder en forskel eller et forhold signifikant, så spørg: Hvor stor var effekten? Læg mærke til om vedkommende påtaler det. Hvis effektens størrelse ikke påtales så antag, at det var en lille effekt*. Hvis du skal overbevises om at en effekt er betydningsfuld, bør formidleren komme med noget mere overbevisende end bare det, at den var “signifikant”. 

*Små effekter kan også være relevante. Det er et spørgsmål om kontekst.

TEKNISKE DETALJER: STATISTISK SIGNIFIKANS FOR NØRDER 🤓💪 

Signifikans er tæt forbundet med det man kalder en “p-værdi”. P’et står for “probability” og er et udtryk for, hvor sandsynligt det er, at man har observeret en effekt ved en tilfældighed.* Hvis man fx har inddelt forsøgspersoner tilfældigt i to eksperimentelle grupper, så er det muligt, at man observerer en forskel på de to grupper, på grund af hvem der blev tildelt hvilke grupper. Hvis der en forskel på de to grupper, kan det skyldes en sådan tilfældighed, men hvis forskellen er signifikant, betyder det, at det er usandsynligt, at forskellen skyldes en sådan tilfældighed.

*P-værdien er, mere præcist, et udtryk for hvor sandsynligt det er, at man ville observere det man har observeret (eller noget mere ekstremt) såfremt éns nulhypotese (som typisk er, at der ikke er en forskel mellem to grupper eller en korrelation mellem to variable) var sand.

Forskellige videnskabelige discipliner har forskellige kriterier for, hvornår noget bliver anset for at være “signifikant”:

  • Medicinske studier bruger ofte et signifikansniveau på 99.9%, hvilket betyder at man anser en forskel for at være signifikant hvis p-værdien er mindre end 0.1%
  • Samfundsvidenskabelige studier (inkl. psykologiske eksperimenter) bruger ofte et signifikansniveau på 95%, hvilket vil sige at en forskel anses som signifikant, hvis p-værdien er mindre end 5%.

LÆR MERE OM STATISTISK SIGNIFIKANS

Jeg har forsøgt at holde indlægget her kort og let. Hvis du vil have en dybere forståelse for statistisk signifikans, vil jeg anbefale at tage et fag eller kursus i statistik (den bedste måde at lære det er med øvelser) eller at finde en undervisningsbog om statistik. 

Khan Academy har også mange glimrende videoer (med tilhørende øvelser) om statistik. De har også videoer om statistisk signifikans. Du kan finde deres statistik modul her og lektionerne om signifikans her. Coursera har også nogle glimrende kurser om statistik (Basic Statistics fra Amsterdam Universitet er fx rigtigt godt). Både Khan Academy og Coursera er som udgangspunkt gratis, men Coursera har også betalt indhold og forskellige tilkøbsmuligheder (fx diplomer).

PS. Vil du have mine bedste artikler og anbefalinger? Så tilmeld dig mit gratis nyhedsbrev her (det udkommer typisk én til få gange om året).

Tak til Mette Overgaard Larsen og Casper Rasmussen for at give feedback på en tidligere version af denne artikel.