Messung und Fragebogen

Forschung zur Messung und zum Fragebogen

Im Bereich Fragebogen erforschen wir, wie man bestmöglich das messen kann, was man messen möchte. Datenqualität bedeutet hier: Reliabilität, Validität, und – im interkulturellen Kontext – Äquivalenz der erhobenen Daten. Wir fokussieren unsere Forschung sowohl auf den Entwicklungsprozess von einzelnen Items/Fragen und Erhebungsinstrumenten als auch auf die Qualitätsbewertung der resultierenden Daten.

Unsere aktuellen Schwerpunkte sind:

  • Instrumentenentwicklung: Wir entwickeln bedarfsorientiert Messinstrumente, insbesondere Kurzskalen, zu verschiedenen für die Umfrageforschung relevanten Merkmalen, wie z.B. Growth Mindset oder nicht-binäres Geschlecht. Auch adaptieren und validieren wir etablierte Messinstrumente nach State-of-the-Art-Verfahren, vor allem für den deutschsprachigen Raum.
  • Fragebogendesign und Antwortverhalten: Wir untersuchen, inwiefern das Frageformat oder individuelle und situative Aspekte die Qualität des Antwortverhaltens beeinflussen. So vergleichen wir z.B. Matrix- vs. Einzelitems oder alternative Ratingskalen. Zudem erforschen Antwortstile, wie akquieszentes Antwortverhalten (Jasage-Tendenz die), Antwortverweigerungen oder die Nützlichkeit von Aufmerksamkeitschecks während der Erhebung.
  • Pretesting-Verfahren: Wir entwickeln kognitive Pretesting-Verfahren weiter und prüfen ihre Effizienz. Im Kontext von Web-Probing untersuchen wir den Einsatz von Sprachantworten, von geschlossenen im Vergleich zu offenen Probing-Fragen sowie die Gestaltung und die Formulierung von Probes.
  • Harmonisierung und Vergleichbarkeit: Wir forschen zur Vergleichbarkeit von Erhebungsinstrumenten über verschiedene Umfragen und Befragungsmodi hinweg (Measurement Invariance). Für Items bzw. Fragen, die in unterschiedlichen Umfragen dasselbe Merkmal unterschiedlich formuliert erfassen, entwickeln wir Lösungen zur Harmonisierung unter Verwendung von “Equating” oder wir prüfen, inwieweit unterschiedliche Formulierungen von Fragen zu unterschiedlichen Antworten führen.
  • Fragebogenübersetzung. Wir forschen zu Übersetzungsmethoden, z.B. zur Einbindung maschineller Übersetzungen in den Übersetzungsprozess oder zum Vergleich unterschiedlicher Übersetzungsverfahren. Zudem forschen wir zu Methoden, die die Übersetzbarkeit von Ausgangsfragebögen überprüfen.  

Forschungsoutput

  • Behr, Dorothée, and Michael Braun. 2023. “How does back translation fare against team translation? An experimental case study in the language combination English-German.” Journal of Survey Statistics and Methodology 11 (2): 285-315. doi: 10.1093/jssam/smac005
  • Gummer, Tobias, Tanja Kunz, Tobias Rettig, and Jan Karem Höhne. 2023. “How to Detect and Influence Looking Up Answers to Political Knowledge Questions in Web Surveys.” Public Opinion Quarterly 87 (Special Issue): 507-41. doi: 10.1093/poq/nfad027
  • Lenzner, Timo, Jan Karem Höhne, and Konstantin Gavras. 2024. “Innovating web probing: Comparing written and oral answers to open-ended probing questions in a smartphone survey.” Journal of Survey Statistics and Methodology 12 (5): 1295-317. doi: 10.1093/jssam/smae031
  • Rammstedt, Beatrice, Lena Roemer, and Clemens Lechner. 2023. “Do simpler item wording and response scales reduce acquiescence in personality inventories? A survey experiment.” Personality and Individual Differences 214 (November 2023): 112324. doi: 10.1016/j.paid.2023.112324
  • Singh, Ranjit K., and Matthias Roth. 2023. “Harmonizing data from open-ended and closed-ended quantity questions with observed score equating.” Survey Research Methods 17 (2): 177-91. doi: 10.18148/srm/2023.v17i2.8087.