Automatische Prüfung der Verständlichkeit von Fragebogen-Items mittels Eye-Tracking (TACT)

Fragebögen

sind wichtige Erhebungsinstrumente, die zur Erfassung von Selbstauskünften von

Personen verwendet werden. In den Sozialwissenschaften werden Fragebögen

regelmäßig zur Beobachtung der Gesellschaft eingesetzt. In der Psychologie

dienen sie häufig dazu, z.B. Persönlichkeitsmerkmale, emotionale Zustände oder

Überzeugungen zu erfassen. Bei aktuellen Ereignissen wie Finanzkrisen oder der

aktuellen Pandemie sind Fragebögen außerdem eine geeignete Methode, um schnell

ein Meinungsbild der Bevölkerung einzuholen. Die Qualität der erfassten Daten

hängt stark davon ab, wie verständlich die Fragebogenitems (d.h. Fragen oder

Aussagen) für die Zielgruppe sind. Die kognitive Befragung ist eine übliche Pretest-Methode,

um problematische Items zu entdecken. Die Teilnehmenden beantworten die Items

und verbalisieren dabei mögliche Verständnisprobleme. Der Output solcher

kognitiven Interviews ist jedoch stark abhängig, von der Fähigkeit und der

Bereitschaft der Befragten ihre Gedanken auszudrücken. Die Anwendung von

Eye-Tracking in Pretests ermöglicht es weitere mögliche Verständnisprobleme bei

der Fragebogenbeantwortung aufzudecken, die ansonsten unbemerkt bleiben. Über den Zusammenhang zwischen

verschiedenen Eye-Tracking-Maßen, verschiedenen Arten von Verständnisproblemen

und der Rolle der allgemeinen Lesefähigkeiten von Personen ist bisher jedoch

wenig bekannt. Zudem können Analysen von Eye-Tracking-Daten in

Fragebogen-Pretests schnell sehr komplex werden (abhängig von der Anzahl der

betrachteten Eye-Tracking-Maße).

In diesem interdisziplinären Projekt tragen wir zur

Forschung im Bereich des Fragebogen-Pretestings mit Hilfe von Eye-Tracking bei,

indem wir Expertise aus der Leseforschung und aus dem Bereich des maschinellen

Lernens vereinen. Zu diesem Zweck werden wir in drei experimentellen

Benutzerstudien Eye-Tracking-Daten von insgesamt 150 erwachsenen Teilnehmenden

(aus einer Quotenstichprobe) erheben, um die Rolle der Item-Verständlichkeit

(experimentell variiert) und der allgemeinen Lesefertigkeiten in Bezug auf das

Blickverhalten anhand verschiedener Eye-Tracking-Maße zu analysieren. Auf der

Grundlage dieser Erkenntnisse werden Algorithmen des maschinellen Lernens

modelliert und trainiert. Diese Modelle werden in einer Evaluationsstudie mit

weiteren 50 Teilnehmenden auf ihre Generalisierbarkeit getestet. Das beantragte

Projekt soll zum einen dazu beitragen, zu verstehen, wie sich

Verständnisprobleme bei Fragebogenitems in den Blickbewegungen der Befragten

manifestieren und zum anderen automatische Methoden bereitstellen, die das

Pretesting von Fragebogen-Items effizienter und zuverlässiger machen.