QDDS: Software-Werkzeuge zur Dokumentation der Fragebogenentwicklung

Entwicklung eines Werkzeugs zur Entwicklung von Fragebögen, das die Änderungen einzelner Elemente sowie den gesamten Entwicklungsprozess dokumentiert

Bearbeitung: Oliver Hopt, Anja Zwingenberger (Universität Duisburg-Essen)
Leitung: Prof. Dr. Rainer Schnell (Universität Duisburg-Essen), Prof. Dr. York Sure-Vetter
Wissenschaftlicher Arbeitsbereich: Wissenstechnologien für Sozialwissenschaften

oliver.hopt(at)gesis(dot)org

Projektbeschreibung:

Basierend auf den Ideen von Prof. R. Schnell und Prof. F. Kreuter [Schnell/Kreuter 2001] wurde QDDS gemeinsam entwickelt von der Universität Duisburg-Essen und von GESIS – Leibniz-Institut für Sozialwissenschaften [Hopt, Schnell, Stempfhuber, Zwingenberger 2009].

Aufgrund von Pretestergebnissen werden Fragebögen während ihres Erstellungsprozesses üblicherweise häufig verändert. Aus verschiedenen Gründen, wie beispielsweise Datenanalyse und -speicherung oder auch zukünftige Fragebogenentwicklungen ist es notwendig, diese Überarbeitungen detailliert zu dokumentieren. Eine solche Dokumentation ist ebenso unverzichtbar für die wissenschaftliche Lehre im Bereich Survey Research.

Ziel der ersten Phase dieses Projekts war es daher, ein Softwarewerkzeug zu entwickeln, in dem die Fragebogenentwicklung eng mit der Dokumentation dieses Prozesses verknüpft ist. Damit kann sichergestellt werden, dass keine technischen Hürden den Dokumentations- und Archivierungsprozess erschweren. Das Programm sollte sowohl für CAI-Instrumente als auch für Face to face oder paper & pencil Interviews einsetzbar sein. Für jeden Fragebogen sollte ein Dokument erzeugt werden, das alle Versionen und alle Zusatzinformationen und –dokumente enthält. Die Dokumentation der Änderungen sollte bis auf die Ebene einzelner Fragebogenelemente reichen.

Die zweite Phase des Projekts soll nun die bestehende Software um noch fehlende Module ergänzen. Darüber hinaus werden eine inhaltliche und eine strukturelle Suchfunktion innerhalb verschiedener Pools von Fragebögen entwickelt. Diese Suchfunktionen können entweder auf webgestützten Repositories oder in lokal vorhandenen Dateien recherchieren. Die inhaltliche Suche bezieht sich dabei auf die textuellen Inhalte der Fragebögen, also Fragetexte, Einleitungen, Antwortvorgaben oder Klassifikationen. Die strukturelle wird Fragebögen nach formalen Kriterien durchsuchbar machen. Dies können beispielsweise die Typen von Fragen sein, wobei zudem noch Bedingungen für die folgenden Fragen ergänzt werden können. Beide Suchmöglichkeiten können kombiniert werden. Eine konkrete einfache Beispielanfrage: Fragebögen mit einer offenen Frage mit dem Inhalt „Einkommen“, auf die eine geschlossenen Frage folgt.

Im Projekt [Missy] wird QDDS die Basis für das dort benötigte Erfassungswerkzeug bilden

Projektergebnisse:

  • Software zur Erstellung von Fragebögen, in der der Entwicklungsprozess auf Ebene einzelner Fragebogenelemente dokumentiert werden kann. Die Software erzeugt dabei Dateien, deren Format an die Definition 2.1 der Data Documentation Initiative (DDI) angelehnt ist, mit dem Umfragen dokumentiert werden können. Das Format ist eine XML-Spezifikation. Lediglich einige Formatieranweisungen und die Änderungsdokumentation sind in die vorhandenen „notes“-Knoten des Formats eingefügt worden. Zudem wird das DDI 2.1-Format mit Informationen über die Versionierung umgeben. Für jede Version des Fragebogens wird eine XML-Datei innerhalb eines Ziparchivs angelegt, das dann die eigentliche QDDS-Datei bildet. In diesem Archiv können zudem weitere Dateien wie externe Reize zu einzelnen Fragen oder Dokumentvorlagen abgelegt werden.
  • Die dokumentierten Änderungen können auf drei Arten angezeigt werden: 1. können alle Versionen des Fragebogens aufgerufen werden. 2. können zu jedem Fragebogenelement die Veränderungen über alle Versionen hinweg in einer Liste angezeigt werden. 3. können alle gemachten Änderungen von einer wählbaren Starversion bis zum gegenwärtigen Stand in einer Liste angezeigt werden.
  • Die Oberfläche der Software liegt derzeit revidiert in deutscher Sprache und unrevidiert in englischer Sprache vor. Eine Übersetzung in andere Sprache ist konzeptionell vorgesehen.
    Derzeit ist die Software in der Version 0.7.5 erhältlich und kann hier heruntergeladen werden.
  • Beispielhaft umgesetzte Fragebögen bereits existierender Umfragen zur Demonstration der Möglichkeiten von QDDS, welche mit der Software ausgeliefert werden. Dies sind:- DEFECT in allen 28 dokumentierten Versionen- ESS 2006 für Deutschland in der Endversion- ALLBUS 2004 in der Endversion- SOEP 2006 in der Endversion.
  • Ein Hilfesystem, das die Arbeit mit QDDS erläutert, ist derzeit noch in Arbeit. Es wird als Website veröffentlicht werden und zukünftig auch Bestandteil der Softwareauslieferung sein. Neben Texten enthält es kommentierte Screenshots der Oberfläche sowie kurze Filme zur Veranschaulichung komplexerer Funktionen.

Projektlaufzeit:

Phase 1: Januar 2006 bis Juni 2007, Phase 2: Januar 2008 bis August 2009

Gefördert durch:

Partner:

Institut für Soziologie der Universität Duisburg-Essen
(Prof. Dr. Rainer Schnell)

Publications

  • Hopt, O. with Amin, A., Gregory, A., Jensen, J., Kristiansen, D., Vardigan, V. (2010, February) Questionnaire management and DDI: The QDDS case DDI Working Paper Series
  • Hopt, O., Schnell, R., Stempfhuber, M. & Zwingenberger, A. (2009, June) QDDS - Documenting survey questionnaires throughout their lifecycle Paper for the Fifth International Conference on e-Social Science, 24.06.-26.06.09, Cologne
  • Fragebogenentwicklung und Dokumentation mit QDDS, gesis report 3/08
  • Schnell,R., Kreuter,F.: Neue Software-Werkzeuge zur Dokumentation der Fragebogenentwicklung (2001); in: ZA-Informationen, 48, S. 56-70

Conferences

  • Hopt, O., Schnell, R., Stempfhuber, M. & Zwingenberger, A. (2009, April). QDDS III: Ein Werkzeug zur Dokumentation von Fragebögen für Wissenschaftler
    Poster for 11. Internationalen Symposium für Informationswissenschaft, 01.03-04.03.09 in Konstanz, Germany
    http://www.isi2009.de/sessions/session-14.html
  • Zwingenberger, A., Schnell, R., Hopt, O. & Stempfhuber, M. (2009, May). QDDS III: A tool for documenting survey questionnaires for researchers und data archives
    Poster for AAPOR 2009 - 64th Annual Conference of American Association for Public Opinion Research, 13.-17.05.09 Florida, USA
    http://www.aapor.org/2009aaporconference
  • Hopt, O., Zwingenberger, A., Schnell, R. & Stempfhuber, M. (2009, May). QDDS III: A tool for documenting survey questionnaires for researchers und data archives
    Poster for 35th annual conference of IASSIST(the International Association of Social Science Information Service & Technology) and IFDO(the International Federation of Data Organisations for the Social Science), 26.05.-29.05.09 in Tampere, Finland
    http://www.fsd.uta.fi/iassist2009/posters.html
  • Hopt, O., Schnell, R., Stempfhuber, M. & Zwingenberger, A. (2009, June). QDDS - Documenting survey questionnaires throughout their lifecycle
    Paper for the Fifth International Conference on e-Social Science, 24.06.-26.06.09, Cologne
    http://www.ncess.ac.uk/conference-09/programme/
  • Schnell, R., Zwingenberger, A., Hopt, O. & Stempfhuber, M. (2009, June). QDDS III: A tool for documenting survey questionnaires for researchers und data archives
    Paper for ESRA 2009 - European Survey Research Association, 29.06-03.07.09 Warschau, Poland
    http://www.surveymethodology.eu/conferences/warsaw-2009/sessions/169/