Automatische Prüfung der Verständlichkeit von Fragebogen-Items mittels Eye-Tracking (TACT)

Fragebögen sind wichtige Erhebungsinstrumente, die zur Erfassung von Selbstauskünften von Personen verwendet werden. In den Sozialwissenschaften werden Fragebögen regelmäßig zur Beobachtung der Gesellschaft eingesetzt. In der Psychologie dienen sie häufig dazu, z.B. Persönlichkeitsmerkmale, emotionale Zustände oder Überzeugungen zu erfassen. Bei aktuellen Ereignissen wie Finanzkrisen oder der aktuellen Pandemie sind Fragebögen außerdem eine geeignete Methode, um schnell ein Meinungsbild der Bevölkerung einzuholen. Die Qualität der erfassten Daten hängt stark davon ab, wie verständlich die Fragebogenitems (d.h. Fragen oder Aussagen) für die Zielgruppe sind. Die kognitive Befragung ist eine übliche Pretest-Methode, um problematische Items zu entdecken. Die Teilnehmenden beantworten die Items und verbalisieren dabei mögliche Verständnisprobleme. Der Output solcher kognitiven Interviews ist jedoch stark abhängig, von der Fähigkeit und der Bereitschaft der Befragten ihre Gedanken auszudrücken. Die Anwendung von Eye-Tracking in Pretests ermöglicht es weitere mögliche Verständnisprobleme bei der Fragebogenbeantwortung aufzudecken, die ansonsten unbemerkt bleiben. Über den Zusammenhang zwischen verschiedenen Eye-Tracking-Maßen, verschiedenen Arten von Verständnisproblemen und der Rolle der allgemeinen Lesefähigkeiten von Personen ist bisher jedoch wenig bekannt. Zudem können Analysen von Eye-Tracking-Daten in Fragebogen-Pretests schnell sehr komplex werden (abhängig von der Anzahl der betrachteten Eye-Tracking-Maße).

In diesem interdisziplinären Projekt tragen wir zur Forschung im Bereich des Fragebogen-Pretestings mit Hilfe von Eye-Tracking bei, indem wir Expertise aus der Leseforschung und aus dem Bereich des maschinellen Lernens vereinen. Zu diesem Zweck werden wir in drei experimentellen Benutzerstudien Eye-Tracking-Daten von insgesamt 150 erwachsenen Teilnehmenden (aus einer Quotenstichprobe) erheben, um die Rolle der Item-Verständlichkeit (experimentell variiert) und der allgemeinen Lesefertigkeiten in Bezug auf das Blickverhalten anhand verschiedener Eye-Tracking-Maße zu analysieren. Auf der Grundlage dieser Erkenntnisse werden Algorithmen des maschinellen Lernens modelliert und trainiert. Diese Modelle werden in einer Evaluationsstudie mit weiteren 50 Teilnehmenden auf ihre Generalisierbarkeit getestet. Das beantragte Projekt soll zum einen dazu beitragen, zu verstehen, wie sich Verständnisprobleme bei Fragebogenitems in den Blickbewegungen der Befragten manifestieren und zum anderen automatische Methoden bereitstellen, die das Pretesting von Fragebogen-Items effizienter und zuverlässiger machen.