Sådan får du signifikante resultater

Hvis du gerne vil gøre dit liv lettere i akademia, er det altid godt at vide, hvordan man, når ens resultater ikke nødvendigvis gider makke ret og viser det, man havde håbet, kan få dem til at blive signifikante. De fleste forskere, der arbejder med kvantitative data, ved, at ens resultater ikke altid er signifikante i den første test. De fleste forskere, der har sendt en artikel afsted til et tidsskrift, ved også hvor vigtigt det er, at kunne vise stjerner ud for ens hjertebarn (altså resultatet ved den teoretisk begrundrede variabel) - og hellere tre end én af slagsen.

Dette blandt andet fordi der er en såkaldt publication bias, hvor negative resultater (nulfund) gennemsnitligt betragtet ikke er lige så interessante som positive resultater. Hvis forskere således ikke kan finde signifikante resultater, ender de ofte med ikke at sende deres arbejde til et tidsskrift. Der er dog heldigvis metodiske friheder (kaldet 'researcher degrees of freedom'), der gør, at man ofte kan få selv det mest insignifikante resultat til at være signifikant. Så ingen panik: hvis du bare er snu nok, er det en smal sag at få signifikante resultater.

I artiklen False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant vises det, hvordan metodisk fleksibilitet giver mulighed for at finde signifikante resultater. Helt specifikt tager de udgangspunkt i et scenarie, hvor man har fire forskellige situationer, hvor der er metodiske frihedsgrader: a) to afhængige variable (med en korrelation på 0,5), b) ti ekstra observationer i hver celle, c) kontrol for køn eller interaktion med køn og d) muligheden for at droppe (eller ikke droppe) en af tre grupper.

Her er den gode nyhed: ved at kombinere de fire ovenstående situationer viser studiet via simulationer, at man har 81,5% sandsynlighed for at finde et falsk positivt resultat (med en p-værdi lavere end 0,1). Det vil sige, at selvom du ikke finder nogle signifikante resultater, har du med ovenstående frihedsgrader masser af muligheder for stadig at finde noget signifikant.

Det bliver dog bedre endnu. I virkelighedens verden er der ofte mange flere metodiske frihedsgrader, der gør, at man har rig mulighed for at finde signifikante resultater. I en ny artikel, Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking, præsenteres en liste med 34 måder, hvorpå man kan forsøge at opnå signifikante resultater. Overordnet er der fem forskellige stadier, relateret til: 1) hypoteser, 2) design, 3) dataindsamling, 4) analyse og 5) formidling. Disse er præsenteret her:

Hypoteser1. Foretag eksplorativ forskning uden specifikke hypoteser 2. Tag udgangspunkt i en vag hypotese uden forventninger til retningen af en effekt

Design3. Lav flere uafhængige variable 4. Mål mange variable, der kan bruges som kontrolvariable, moderatorer og mediatorer 5. Mål den samme afhængige variabel på flere alternative måder 6. Mål andre koncepter der vil kunne bruges som afhængig variabel 7. Mål andre variable, der kan bruges som eksklusionskriterie senere (evt. opmærksomhed og stimulitest) 8. Undgå at foretage en power analyse 9. Undgå at lave en plan for, hvor mange små studier, der skal laves

Dataindsamling10. Undgå tilfredsstillende randomisering 11. Undgå blindtest af forsøgsdeltagere 12. Korriger, omkod, og slet data i løbet af dataindsamlingsprocessen 13. Stop dataindsamlingen på baggrund af opnåelsen af ønsket resultat eller test for statistisk signifikans

Analyse14. Undersøg forskellige måder at håndtere manglende data på 15. Undersøg forskellige måder at transformere data 16. Undersøg forskellige måder at håndtere forudsætningsbrud på 17. Undersøg forskellige måder at håndtere outliers på 18. Undersøg forskellige variable, der matcher den afhængige variabel 19. Undersøg forskellige måder at kode den afhængige variabel på 20. Undersøg andre variable, der kan fungere som afhængig variabel 21. Undersøg forskellige kombinationer af de uafhængige variable 22. Undersøg forskellige operationaliseringer af de primære uafhængige variable 23. Undersøg forskellige måder at inkludere uafhængige variable, herunder mediatorer og moderatorer 24. Undersøg forskellige operationaliseringer af kontrolvariable 25. Undersøg forskellige inklusions- og eksklusionskriterier for observationerne 26. Undersøg forskellige statistiske modeller 27. Undersøg forskellige estimationsmetoder, programmer og standardfejl 28. Undersøg forskellige inferenskriterier, herunder ensidede hypotesetests

Formidling29. Undlad at sørge for, at studiet kan reproduceres 30. Undlad at sørge for, at studiet kan replikeres 31. Undlad at nævne information omkring præregistrering 32. Undlad at formidle information omkring studier, der blev foretaget men ikke inkluderet 33. Rapporter forkerte resultater og p-værdier 34. Præsenter eksplorative analyser som hypotesetestende (HARKing)

Med alle disse muligheder er det faktisk svært ikke at finde noget, der er signifikant, hvis man kører en analyse mere, end der oprindeligt var planen. Hvis du ligeledes - og for eksemplets skyld - har tre forskellige studier (evt. foretaget i tre forskellige lande), er det en smal sag at finde et mønster, der går igen i de tre datasæt.

De fleste tidsskrifter - især politologiske tidsskrifter - har meget få krav, der gør det svært at anvende ovenstående praksikker. Derfor er der rig mulighed for, at finde signifikante resultater og sende dem til dit yndlingstidsskrift. Hvis du vil være på den sikre side skal du bare lige huske at gemme en do-fil i Stata, der indeholder det datasæt, du endte med at køre den endelige analyse på, og så selvfølgelig kun indeholder de sidste analyser, du kørte. God fornøjelse.