Reproducerbarhet av p-värden: en simuleringsstudie
Year: 2019
Type: dissertation
Abstract: Det här kandidatarbetet studerar reproducerbarhet av vetenskapliga studier. Ämnet är viktigt eftersom det har framkommit att många studier inte är reproducerbara och således att forskningsresultat kan vara felaktiga. En orsak till icke-reproducerbara studier ¨ar bias. Bias kan vara medveten då forskare manipulerar sin forskning i syfte att bli publicerad eller kan vara omedveten som följd av att forskaren har en förutfattad mening av vad resultatet ska bli i en studie.\nFör att få en översikt av problemet simulerades ett flertal studier för att representera ett forskningsfält. En studie i det här arbetet representeras av ett p-värde som är antingen signifikant eller inte signifikant. I det här arbetet används en signifikansnivå α = 0.05 för att bestämma om ett p-värde är signifikant. I en studie kan stickprovet komma från fördelningen för nollhypotesen eller den alternativa hypotesen. Det antas genomgående i texten vara känt vilken fördelning stickprovet kommer ifrån. Detta på grund av att en viktig del av arbetet är att undersöka om det går att härleda om H0 eller H1 föreligger i en studie. De hypoteser som använts i arbetet är\nH0 := stickprovet kommer från N(0,52) H1 := stickprovet kommer från N(1,52)\nGenom grafiska framställningar undersöks studierna, det vill säga pH-värdena. Först undersöks fördelningarna av p-värdena under H0 respektive H1. Därefter implementerades en metod för medveten bias i syfte att undersöka påverkan av medveten bias på ett forskningsfält. Slutligen kombineras p-värdena under H0 och H1 både med och utan medveten bias för att kunna göra en mer realistisk bild av verklighetstillståndet.\nDen andra formen av bias, omedveten bias, har undersökts med hjälp av det så kallade positiva prediktiva värdet (PPV). PPV ¨ar sannolikheten att H1 föreligger givet att ett signifikant p-värde erhållits. Detta arbete betraktade proportionen av studier med omedveten bias som känd.\nAnvändningen av bland annat dessa metoder resulterade i grafiska framställningar och tabeller som visar på en tydlig skillnad mellan fallen då bias förekommer och då det inte förekommer. Resultaten i simuleringen har även jämförts med en verklig studie och bekräftar resultaten av arbetet.\nSlutsatsen av de grafiska representationerna av forskningsfält ¨ar att det till exempel går att utröna att medveten bias förekommit inom ett forskningsfält. En vidare slutsats ¨ar att PPV påverkas negativt av båda formerna av bias och antalet studier med signifikanta p-värden kommer att öka då studier är biased inom ett forskningsfält.
Institutions: Chalmers University of Technology, University of Gothenburg
Language: Swedish
Subfield: Statistics, Probability and Uncertainty
Field: Decision Sciences
Domain: Social Sciences
Keywords: reproducibility of research, p-values, p-hacking, researcher degrees of freedom, publication bias, selective reporting, statistical significance, null hypothesis, simulation study, p-value distribution, hypothesis testing, research integrity, replication crisis, research quality improvement
Open Access status: green
OpenAlex ID: W2954227097
