Statistisk signifikans er et begreb, der bruges i forskning til at beskrive, hvor sandsynligt det er, at en forskel eller en sammenhæng, der er observeret i data, er reel og ikke blot skyldes tilfældigheder. Når en forskel eller en sammenhæng er statistisk signifikant, kan man sige, at forskellen eller sammenhængen ikke kan forklares af tilfældigheder, og derfor er det sandsynligt, at forskellen eller sammenhængen er reel.
Statistisk signifikans bruges til at afgøre, om resultatet af en undersøgelse er betydningsfuldt eller ej. Hvis resultatet er statistisk signifikant, kan man drage konklusioner om, hvorvidt der er en reel forskel mellem forskellige grupper, eller om en sammenhæng mellem variabler er reel.
For at afgøre, om en forskel eller en sammenhæng er statistisk signifikant, anvender man p-værdien. P-værdien er et mål for, hvor sandsynligt det er, at observationen skyldes tilfældigheder, og den beregnes ved at sammenligne resultatet fra undersøgelsen med det, man ville forvente at se, hvis alle forudsætningerne for undersøgelsen er sande. P-værdien er et procenttal og angiver, hvor sandsynligt det er, at nulhypotesen er sand. Nulhypotesen angiver, at der ikke er nogen forskel, eller at der ikke er nogen sammenhæng. Som regel anvender man en grænse på 5% for at afgøre, om et fund er statistisk signifikant. Hvis p-værdien er lavere end 5%, betyder det, at der er en meget lille sandsynlighed (<5%) for, at observationen skyldes tilfældigheder, og derfor er den statistisk signifikant (dermed forkastes nulhypotesen). Hvis p-værdien er 5% eller højere (≥5%), kan observationen skyldes tilfældigheder, og derfor bibeholdes nulhypotesen.
Eksempel: Antag, at man gennemfører en undersøgelse for at undersøge, om der er en korrelation mellem at spise morgenmad og at klare sig bedre til en skoleprøve. Man indsamler data fra 100 elever og sammenligner prøveresultaterne mellem de elever, der spiser morgenmad, og de elever, der ikke gør. Efter at have analyseret data opdager man, at eleverne, der spiser morgenmad, klarer sig betydeligt bedre til prøver end dem, der ikke spiser morgenmad. Man beregner derefter p-værdien for at se, om resultatet er statistisk signifikant. Hvis p-værdien er lavere end 5%, kan man sige, at der er en statistisk signifikant korrelation mellem at spise morgenmad og at klare sig bedre til prøver.
Nulhypotese
Nulhypotesen er den hypotese, man undersøger i en statistisk analyse, og som siger, at der ikke er nogen forskel eller korrelation mellem de variabler, man undersøger. Nulhypotesen bruges som udgangspunkt for at afgøre, om der er en statistisk signifikant forskel eller korrelation mellem variablerne, og man forsøger at bevise, at nulhypotesen er forkert, ved at indsamle data og udføre statistiske test.
Nulhypotesen betegnes . Den alternative hypotese siger, at der er en forskel mellem grupperne, og den betegnes .
Eksempel: Lad os sige, at man vil undersøge, om der er en korrelation mellem at spise morgenmad og at klare sig bedre til en skoleprøve. Nulhypotesen i dette eksempel kan formuleres som: "Der er ingen korrelation mellem at spise morgenmad og at klare sig bedre til en skoleprøve." Man indsamler data fra 100 elever og udfører statistiske test for at afgøre, om nulhypotesen er korrekt eller ej. Hvis man finder en statistisk signifikant korrelation mellem at spise morgenmad og at klare sig bedre til prøver, kan man forkaste nulhypotesen og sige, at der er en reel korrelation mellem de to variabler.
Multipel testning
Multipel testning, også kaldet "multiple comparisons" eller "multiple testing", indebærer, at man udfører flere statistiske test på de samme data for at undersøge, om der er forskelle eller korrelationer mellem forskellige variabler. Når man udfører multipel testning, øges risikoen for såkaldte falsk positive resultater, det vil sige, at man fejlagtigt konstaterer, at der er en signifikant forskel eller korrelation mellem variablerne, selvom der ikke er det.
Der er forskellige grunde til, at multipel testning kan være et problem. En grund er, at man ofte vil undersøge mange forskellige forhold eller sammenhænge i én og samme undersøgelse, og så øges risikoen for, at man støder på falsk positive resultater. Et andet problem er, at man kan blive vildledt til at tolke resultater som statistisk signifikante, blot fordi man har udført mange test, selvom resultatet egentlig ikke er signifikant.
For at undgå problemet med multipel testning findes der forskellige teknikker, man kan anvende, for eksempel Bonferroni-korrektion og False Discovery Rate (FDR). Disse teknikker bruges til at skærpe tærskelværdien for p-værdien, så man mindsker risikoen for falsk positive resultater. Det er vigtigt at være opmærksom på risikoen for falsk positive resultater, når man udfører multipel testning, og at anvende passende teknikker til at håndtere dette problem.