Daikeler, Jessica, Ruben L. Bach, Henning Silber, and Stephanie Eckman. 2020. "Motivated Misreporting in Smartphone Surveys." Social Science Computer Review 2020 (online first). doi: http://dx.doi.org/10.1177/0894439319900936.
Die bisherige Forschung zu Filterfragen in Webbefragungen kam zu der Empfehlung, dass Filterfragen um möglichst valide Antworten zu erhalten im sogenannten „grouped“ Format gestellt werden sollten. Das heißt, alle Filterfragen werden nacheinander in eine Art Block abgefragt und erst im Anschluss werden dem Befragten die ausgelösten Nachfragen angezeigt. Auf diese Weise ahnt der Befragte nicht, dass auf jede zustimmende Antwort in der Filterfrage Nachfragen folgen. Das alternative Format nennt sich „interleafed“ Format und hier bekommen die Befragten die Nachfragen sofort nachdem die Filterfrage ausgelöst wurde. In der Literatur wurde bisher eindeutig das „grouped“ Format favorisiert, da dies zu mehr ausgelösten Filtern führt. Daikeler und Kollegen haben nun allerdings herausgefunden, dass das „grouped“ Format zwar zu mehr ausgelösten Filtern führt, sich aber negativ auf die Datenqualität in den Nachfragen auswirkt. So zeigen Befragte im „grouped“ Format mehr item nonresponse, geben eher gerundete Werte an und wählen weniger Antworten bei Fragen mit Mehrfachauswahl. Dies stellt den Forscher vor die Frage, ob die Antworten in den Filterfragen oder die Nachfragen von höherer Bedeutung sind und darauf sollte das passende Filterfragenformat gewählt werden. Dieser Effekt ist für Smartphone-Befragte sogar noch verstärkt. In der Anzahl der ausgelösten Filterfragen, unabhängig vom Format hat das Endgerät allerdings keinen Effekt.
Diesen Befund und noch weitere konnten Daikeler und Kollegen in einem randomisierten Experiment nachweisen, indem sie 3.517 randomisiert den Filterfrageformaten „interleafed“ und „grouped“ und den Endgeräten PC und Smartphone zuwiesen.