Nießen, D., Poppa, C., Daikeler, J., Silber, H., Weiß, B., & Richter, D. (2025). Actor-driven risk factors of publication bias: Opening the file drawer of two probabilistic panel surveys. PsyArXiv. https://doi.org/10.31234/osf.io/phk3a_v1
Eine neue Untersuchung von 178 Studien, die zwischen 2013 und 2021 bei zwei großen deutschen probabilistischen Panels eingereicht wurden, wirft Licht auf das anhaltende Problem des Publikationsbias in der Wissenschaft. Die Forschenden verglichen die ursprünglich in den Studienanträgen formulierten Hypothesen und explorativen Analysen mit deren späterer Darstellung in veröffentlichten Artikeln.
Die Ergebnisse zeigen: Der Publikationsbias – also das selektive Berichten oder Nicht-Veröffentlichen von Ergebnissen basierend auf deren Richtung oder Stärke – bleibt ein bedeutendes Problem für die Belastbarkeit wissenschaftlicher Erkenntnisse. Allerdings konnten die Forschenden Faktoren identifizieren, die mit einem geringeren Risiko für Publikationsbias einhergehen: ein experimentelles Studiendesign, Drittmittelförderung, die Preregistrierung von Hypothesen sowie Forschungsarbeiten mit wirtschaftswissenschaftlichem Fokus.
Die Autorinnen und Autoren folgern, dass Maßnahmen wie Preregistrierung, finanzielle Anreize und ein strenges Peer-Review-Verfahren dabei helfen können, den Publikationsbias zu verringern. Die Studie zeigt die Möglichkeit der Reformen im Umgang mit wissenschaftlichen Ergebnissen und ruft Forschende, Förderinstitutionen und Fachzeitschriften dazu auf, aktiv Verantwortung für die Integrität der Forschung zu übernehmen.
Poppa, C., Nießen, D., Daikeler, J., Silber, H., Weiß, B., & Richter, D. (2025). The tip of the iceberg? Insights into the prevalence of publication bias in two probability-based academic panels. PsyArXiv. https://doi.org/10.31234/osf.io/bj3g9_v1
Eine neue Studie hat einen erheblichen Publikationsbias in den Sozial-, Verhaltens- und Wirtschaftswissenschaften aufgedeckt und zeigt, dass ein großer Teil der Forschungsergebnisse entweder unveröffentlicht bleibt oder nur selektiv berichtet wird. Publikationsbias entsteht, wenn wissenschaftlich signifikante Ergebnisse gegenüber nicht signifikanten oder Nullbefunden bevorzugt veröffentlicht werden – basierend auf der Annahme, dass solche Resultate wertvoller und publizierbarer sind. Dies führt häufig zum sogenannten „File Drawer Bias“, bei dem Studien mit Nullbefunden seltener veröffentlicht werden.
Die Forschenden untersuchten 178 Studien, die bei zwei großen deutschen, probabilistischen Panelinfrastrukturen (SOEP-IS und GESIS Panel) eingereicht wurden, und verglichen die in den Ursprungsstudien angegebenen Hypothesen mit den veröffentlichten Hypothesen in späteren Publikationen. Die Analyse zeigt: 43,8 % der Studien wurden nie veröffentlicht, während nur 44,4 % mindestens eine Fachpublikation hervorbrachten, und 11,8 % ausschließlich als Graue Literatur erschienen.
Auffällig ist, dass weniger als ein Drittel aller eingereichten Hypothesen tatsächlich publiziert wurden. Über 80 % der veröffentlichten Hypothesen wurden ad hoc – also nach der Datenerhebung – formuliert. Mehr als die Hälfte der Studien publizierten ausschließlich solche ad-hoc-Hypothesen, was auf sogenanntes „HARKing“ (Hypothesizing After the Results are Known) hindeutet. Über 70 % der veröffentlichten Hypothesen wurden durch die Daten gestützt, was den beständigen Anreiz zur bevorzugten Berichterstattung positiver Ergebnisse verdeutlicht.
Die Ergebnisse unterstreichen die anhaltenden Probleme in Bezug auf Transparenz und Integrität in der Forschung und machen deutlich, dass zielgerichtete Reformen im Publikationsprozess möglich sind, um File Drawer Bias, selektive Berichterstattung und die weitverbreitete Verwendung nachträglich formulierter Hypothesen einzudämmen.