Warum muss man ein Messinstrument als Referenzinstrument auswählen?

Latente Konstrukte haben keine natürlichen Einheiten, sondern müssen "skaliert" werden. Sie müssen also an etwas verankert werden, damit sie interpretierbar sind. In den Sozialwissenschaften werden die Ergebnisse von Fragen meist als Rohwerte belassen; also in Relation zur verwendeten Frageformulierung und den Antwortoptionen interpretiert. Diese Konvention behält QuestionLink bei. Harmonisierte Werte anderer Messinstrumente sind nun in Relation zu Frageformulierung und Antwortoptionen des Referenzinstruments interpretierbar.

Warum sind nur die deutschen Teile der internationalen Umfragen (ESS, EVS, ISSP) in QuestionLink?

QuestionLink wendet als Methode das sogenannte Observed Score Equating im Random Groups Design (OSE-RG) an. Die Methode benötigt Messungen für beide harmonisierte Instrumente als Zufallsstichproben der gleichen Population zur gleichen Zeit. Näheres zu dieser Logik ist anschaulich in einem GESIS Blogpost erklärt.

Spezifisch nutzt die unsere QuestionLink Implementierung zum automatisierten Equating Zufallsstichproben der deutschen erwachsenen Bevölkerung der beteiligten Umfrageprogramme. Daher verabeiten wir aktuell nur nationale Umfragen oder Umfrageteile.

Werden Daten durch QuestionLink perfekt vergleichbar?

QuestionLink gleicht die Skalen im Sinne der numerischen Messeinheiten verschiedener Messinstrumente an. Konkret gleicht QuestionLink dabei die Verteilung der Antwortwerte so an, dass man bei der Anwendung der verschiedenen Instrumente die gleiche Verteilungsform der Antworten erwarten würde. Durch eine Rekodierung mit QuestionLink würde man in der gleichen Population eine vergleichbare durchschnittliche Antwort, Standardabweichung und Perzentile erwarten. Werden die Messinstrumente in verschiedenen Populationen angewendet, dann stellen die Verteilungsunterschiede nun wahre Populationsunterschiede dar. Das löst viele Vergleichbarkeitsprobleme.

Was QuestionLink und das zugrunde liegende Observed Score Equating generell nicht angleichen können sind Zufallsfehler der Messung. Einige Instrumente tendieren zu höherer Reliabilität (erleiden also geringere Zufallsfehler) als andere Instrumente. Solche Unterschiede der Reliabilität werden durch die Rekodierung mit QuestionLink nicht angeglichen. Bitte beachten Sie jedoch, dass dies eine generelle Einschränkung jeglicher Harmonisierungsansätze durch Rekodierung oder Imputation ist.

Können mit QuestionLink auch Daten anderer Umfragen harmonisiert werden?

QuestionLink harmonisiert Messinstrumente, nicht Umfragen. Werden also die von QuestionLink harmonisierten Messinstrumente in anderen Umfragen verwendet, so können die QuestionLink Rekodierungsskripte auch für diese Daten verwendet werden.

Kann die QuestionLink Engine auch für andere Projekte verwendet werden?

QuestionLink wurde von Beginn an auch als Inspiration für andere Projekte konzipiert. Insbesondere die automatisierte Anwendung von Observed Score Equating in einem Random Groups Design (OSE-RG) ist sicherlich auch für andere Harmonisierungsprojekte interessant. Daher ist mittelfristig geplant, die QuestionLink Engine als allgemein anwendbares R Paket zu veröffentlichen. In der Zwischenzeit können Sie uns bei Interesse gerne ansprechen. Verschiedene Teile der QuestionLink Engine sind auch einzeln nutzbar und können schnell Auskunft darüber geben, ob die zu harmonisierenden Umfragedaten über eine geeignete Struktur zur automatisierten Harmonisierung verfügen. Wir beraten Sie dazu gerne.