Automatische Prüfung der Verständlichkeit von Fragebogen-Items mittels Eye-Tracking (TACT)
Projektbeschreibung
Fragebögen
sind wichtige Erhebungsinstrumente, die zur Erfassung von Selbstauskünften von
Personen verwendet werden. In den Sozialwissenschaften werden Fragebögen
regelmäßig zur Beobachtung der Gesellschaft eingesetzt. In der Psychologie
dienen sie häufig dazu, z.B. Persönlichkeitsmerkmale, emotionale Zustände oder
Überzeugungen zu erfassen. Bei aktuellen Ereignissen wie Finanzkrisen oder der
aktuellen Pandemie sind Fragebögen außerdem eine geeignete Methode, um schnell
ein Meinungsbild der Bevölkerung einzuholen. Die Qualität der erfassten Daten
hängt stark davon ab, wie verständlich die Fragebogenitems (d.h. Fragen oder
Aussagen) für die Zielgruppe sind. Die kognitive Befragung ist eine übliche Pretest-Methode,
um problematische Items zu entdecken. Die Teilnehmenden beantworten die Items
und verbalisieren dabei mögliche Verständnisprobleme. Der Output solcher
kognitiven Interviews ist jedoch stark abhängig, von der Fähigkeit und der
Bereitschaft der Befragten ihre Gedanken auszudrücken. Die Anwendung von
Eye-Tracking in Pretests ermöglicht es weitere mögliche Verständnisprobleme bei
der Fragebogenbeantwortung aufzudecken, die ansonsten unbemerkt bleiben. Über den Zusammenhang zwischen
verschiedenen Eye-Tracking-Maßen, verschiedenen Arten von Verständnisproblemen
und der Rolle der allgemeinen Lesefähigkeiten von Personen ist bisher jedoch
wenig bekannt. Zudem können Analysen von Eye-Tracking-Daten in
Fragebogen-Pretests schnell sehr komplex werden (abhängig von der Anzahl der
betrachteten Eye-Tracking-Maße).
In diesem interdisziplinären Projekt tragen wir zur
Forschung im Bereich des Fragebogen-Pretestings mit Hilfe von Eye-Tracking bei,
indem wir Expertise aus der Leseforschung und aus dem Bereich des maschinellen
Lernens vereinen. Zu diesem Zweck werden wir in drei experimentellen
Benutzerstudien Eye-Tracking-Daten von insgesamt 150 erwachsenen Teilnehmenden
(aus einer Quotenstichprobe) erheben, um die Rolle der Item-Verständlichkeit
(experimentell variiert) und der allgemeinen Lesefertigkeiten in Bezug auf das
Blickverhalten anhand verschiedener Eye-Tracking-Maße zu analysieren. Auf der
Grundlage dieser Erkenntnisse werden Algorithmen des maschinellen Lernens
modelliert und trainiert. Diese Modelle werden in einer Evaluationsstudie mit
weiteren 50 Teilnehmenden auf ihre Generalisierbarkeit getestet. Das beantragte
Projekt soll zum einen dazu beitragen, zu verstehen, wie sich
Verständnisprobleme bei Fragebogenitems in den Blickbewegungen der Befragten
manifestieren und zum anderen automatische Methoden bereitstellen, die das
Pretesting von Fragebogen-Items effizienter und zuverlässiger machen.
2023-02-01 – 2026-01-31
- Prof. Dr. Yvonne Kammerer (Hochschule der Medien, Stuttgart)