Anchoring vignettes enhance the validity of noncognitive measures in large-scale surveys

15. September 2014, 11:00 Uhr

Mannheim (Konferenzraum B2,1)

Dr. Jonas Bertling

Abstract

In PISA and other large-scale assessments and in psychological surveys, measures of noncognitive factors (e.g., motivation, personality) are often

based on self-report items with the vaguely defined response categories “strongly agree” to “strongly disagree”. Multiple problems have been reported for indices based on this response format, such as lack of cross-cultural comparability, response category DIF, and proneness to response styles. In this talk, I present an alternative scoring approach for Likert-type questionnaire items that is based on anchoring vignettes. I will present validity data based on PISA 2012 that indicates that anchoring vignettes can improve international comparisons. Anchoring provides an alternative metric for comparisons that reduces response category DIF. Best practices for using anchoring vignettes with nonparametric scaling models and frequency diagnosis including analysis of ties and order violations will be described. I will also discuss implications of these findings for the assessment of noncognitive constructs in K-12, higher education and workforce populations in general.

 

About the speaker

Dr. Jonas Bertling leitet seit 2013 als Direktor am Educational Testing Service (Princeton, NJ) die Entwicklung und Analyse von Hintergrundfragebögen zur Messung von kontextuellen Faktoren und psychologischen/nonkognitiven Schüler- und Lehrervariablen für das National Assessment of Educational Progress (NAEP). Von 2011 bis 2013 war Jonas Bertling als Mitarbeiter im Center for Academic and Workforce Readiness and Success am ETS unter anderem verantwortlich für Entwicklung und Analyse von  Hintergrundfragebögen für PISA 2012. Aktuell ist Herr Bertling auch Mitglied des internationalen Fragebogenentwicklungs- und Analyseteams für PISA 2015. Vor seiner Zeit in den USA war Herr Bertling als wissenschaftlicher Mitarbeiter an der Universität Münster (Fachbereich Psychologie) am Lehrstuhl für  Statistik und Methoden tätig wo er auch promoviert hat. Jonas Bertlings Forschungsinteressen betreffen – aus inhaltlicher Sicht – das Zusammenspiel von kognitiven und nonkognitiven Variablen als Prädiktoren von Schul-, Studien- und Berufserfolg und die Verbesserung von Bildungssystemen durch internationale und nationale  Vergleichsstudien sowie – aus methodischer Sicht – innovative Methoden zur Optimierung der Validität von Fragebogen- und Testinstrumenten, insbesondere in internationalen und interkulturellen Kontexten.