Opening the File Drawer: Assessing and Understanding Publication Bias in the Economic, Behavioral and Social Sciences by Utilizing two German Academic Access Panels (PubBias)
Projektbeschreibung
Eine Publikationsverzerrung kann als die (Nicht-)Veröffentlichung von Studienergebnissen angesehen werden, die auf deren Richtung oder Stärke zurückzuführen ist, d. h. statistisch signifikante Ergebnisse werden zum Beispiel mit größerer Wahrscheinlichkeit veröffentlicht als statistisch nicht signifikante Ergebnisse. Folglich behindern Publikationsverzerrungen die Beurteilung des wahren Wissensstandes zu einer bestimmten Forschungsfrage, was zu wissenschaftlichen Debatten und politischen Entscheidungen führen kann, die auf falschen oder unzureichenden Ergebnissen beruhen. Mehrere Faktoren beeinflussen das Auftreten von Publikationsverzerrungen, vor allem die direkt beteiligten Akteure: Autoren, Herausgeber und Gutachter. Darüber hinaus wirkt sich auch der disziplinäre, nationale und kulturelle Hintergrund auf die Wahrscheinlichkeit und das Ausmaß von Publikationsverzerrungen aus. Das vorgeschlageneForschungsprojekt konzentriert sich auf die verschiedenen Schritte der Entscheidungsprozesse von Forschenden, die zur selektiven Veröffentlichung von Ergebnissen führen können, während andere Ergebnisse in der "Aktenschublade" zurückbleiben. Das Projekt hat zwei Ziele: (I) Erstens soll das Ausmaß der Publikationsverzerrung für die Wirtschafts-, Verhaltens- und Sozialwissenschaften im deutschen Kontext bestimmt werden. Dies kann durch die Gegenüberstellung von publizierten und nicht publizierten Studieneinreichungen des SOEP-Innovation Sample (IS) und des GESIS Panels erreicht werden. (II) Zweitens werden wir, theoretisch abgeleitete Hypothesen zu den Ursachen von Publikationsverzerrungen empirisch überprüfen und, falls erforderlich, die zugrundeliegenden theoretischen Modelle anpassen und/oder erweitern.
Um die Entscheidungsprozesse von Forschenden zu untersuchen, bietet dieses Projekt die Möglichkeit, den gesamten Forschungszyklus zu beobachten. Es zielt darauf ab, die Forschungspraktiken auf dem Weg vom Studienentwurf bis zur Veröffentlichung nachzuvollziehen, indem Informationen der Studieneinreichungen externer Forschender beim GESIS-Panel und SOEP-IS verwendet werden. In diesen beiden deutschen Access-Panel-Infrastrukturen können externe Forschende aller Fachrichtungen ihre eigenen Studien einreichen. In diesem Zusammenhang können wir anhand von 184 erfolgreichen Studieneinreichungen untersuchen, welche Studienmerkmale (z. B. Seniorität der Forschenden, Anzahl der Autoren, oder experimentelles vs. nicht-experimentelles Forschungsdesign) mit einer höheren Veröffentlichungswahrscheinlichkeit verbunden sind. Darüber hinaus werden wir eine Autorenbefragung durchführen, um akteursbezogene Motive, Einstellungen und Werte zum Publikationsprozess zu erheben. Zudem planen wir eigene Datenanalysen auf der Grundlage von zufällig ausgewählten Studieneinreichungen ohne entsprechende Publikationen durchzuführen, um zu untersuchen, ob diese systematisch, statistisch nicht signifikante Ergebnisse liefern, was das Ausbleiben entsprechender Publikationen erklären könnte.
Projektlaufzeit
2023-08-01 – 2026-07-31Partner
- SOEP – The Socio-Economic Panel, DIW – German Institute of Economic Research