Opening the File Drawer: Assessing and Understanding Publication Bias in the Economic, Behavioral and Social Sciences by Utilizing two German Academic Access Panels (PubBias)

Eine Publikationsverzerrung kann als die

(Nicht-)Veröffentlichung von Studienergebnissen angesehen werden, die auf deren

Richtung oder Stärke zurückzuführen ist, d. h. statistisch signifikante

Ergebnisse werden zum Beispiel mit größerer Wahrscheinlichkeit veröffentlicht

als statistisch nicht signifikante Ergebnisse. Folglich behindern Publikationsverzerrungen

die Beurteilung des wahren Wissensstandes zu einer bestimmten Forschungsfrage,

was zu wissenschaftlichen Debatten und politischen Entscheidungen führen kann,

die auf falschen oder unzureichenden Ergebnissen beruhen. Mehrere Faktoren

beeinflussen das Auftreten von Publikationsverzerrungen, vor allem die direkt   beteiligten

Akteure: Autoren, Herausgeber und Gutachter. Darüber hinaus wirkt sich auch der

disziplinäre, nationale und kulturelle Hintergrund auf die Wahrscheinlichkeit und

das Ausmaß von Publikationsverzerrungen aus. Das vorgeschlagene

Forschungsprojekt konzentriert sich auf die verschiedenen Schritte der

Entscheidungsprozesse von Forschenden, die zur selektiven Veröffentlichung von Ergebnissen

führen können, während andere Ergebnisse in der "Aktenschublade"

zurückbleiben. Das Projekt hat zwei Ziele: (I) Erstens soll das Ausmaß der Publikationsverzerrung für

die Wirtschafts-, Verhaltens- und Sozialwissenschaften im deutschen Kontext bestimmt

werden. Dies kann durch die Gegenüberstellung von publizierten und nicht

publizierten Studieneinreichungen des SOEP-Innovation Sample (IS) und des GESIS

Panels erreicht werden. (II) Zweitens werden wir, theoretisch abgeleitete

Hypothesen zu den Ursachen von Publikationsverzerrungen empirisch überprüfen

und, falls erforderlich, die zugrundeliegenden theoretischen Modelle anpassen

und/oder erweitern.

Um die Entscheidungsprozesse von Forschenden zu untersuchen,

bietet dieses Projekt die Möglichkeit, den gesamten Forschungszyklus zu

beobachten. Es zielt darauf ab, die Forschungspraktiken auf dem Weg vom Studienentwurf

bis zur Veröffentlichung nachzuvollziehen, indem Informationen der Studieneinreichungen

externer Forschender beim GESIS-Panel und SOEP-IS verwendet werden. In diesen

beiden deutschen Access-Panel-Infrastrukturen können externe Forschende aller

Fachrichtungen ihre eigenen Studien einreichen. In diesem Zusammenhang können

wir anhand von 184 erfolgreichen Studieneinreichungen untersuchen, welche

Studienmerkmale (z. B.

Seniorität der Forschenden, Anzahl der Autoren, oder experimentelles vs.

nicht-experimentelles Forschungsdesign) mit einer höheren Veröffentlichungswahrscheinlichkeit

verbunden sind. Darüber hinaus werden wir eine Autorenbefragung durchführen, um akteursbezogene Motive, Einstellungen

und Werte zum Publikationsprozess zu erheben. Zudem planen wir eigene

Datenanalysen auf der Grundlage von zufällig ausgewählten Studieneinreichungen

ohne entsprechende Publikationen durchzuführen, um zu untersuchen, ob diese

systematisch, statistisch nicht signifikante Ergebnisse liefern, was das

Ausbleiben entsprechender Publikationen erklären könnte.