PIAAC-Qualitätsstandards
Ziel von PIAAC ist es, international vergleichbare Daten über die Kompetenzen Erwachsener in höchster Qualität zu produzieren. Die Daten sind von besonderem öffentlichem Interesse. Sie werden von Wissenschaftler*innen der unterschiedlichsten Disziplinen genutzt, und die Ergebnisse der PIAAC-Studie dienen zentralen Akteuren in Politik und Gesellschaft als Grundlage für politische Interventionen und Weichenstellungen.
Um das Ziel zu erreichen und die hohe Qualität der Daten sicherzustellen, muss die Erhebung in allen Ländern in vergleichbarer und standardisierter Weise erfolgen. Das internationale Konsortium hat hierfür umfangreiche und detaillierte Qualitätsstandards definiert. Die Einhaltung und Umsetzung dieser internationalen Standards in den teilnehmenden Ländern werden vom internationalen Konsortium regelmäßig überprüft. In Deutschland werden die international vorgegebenen qualitätssichernden Standards durch weitere nationale Maßnahmen ergänzt.
Die internationalen PIAAC-Standards reflektieren den aktuellen Stand der Forschung zur Umfragemethodik und erstrecken sich auf alle Bereiche des Forschungsdatenzyklus (Survey Life Cycle):
- Qualitätssicherung und -kontrolle
- Ethik
- Studienplanung
- Stichprobendesign und Stichprobenziehung
- Erhebungsinstrumente
- Übersetzung und Adaptation der Erhebungsinstrumente
- IT-Ausstattung sowie Integration der Erhebungssoftware in nationale IT-Systeme
- Personelle und organisatorische Ausstattung des Erhebungsinstitutes
- Interviewerschulung
- Datenerhebung, Monitoring der Feldarbeit und Interviewkontrolle
- Datenmanagement und Datenprüfung
- Vertraulichkeit und Sicherung der Daten, Datenschutz
- Gewichtung und Varianzschätzung
- Qualitätsindikatoren (z. B. Ausschöpfung, Stichprobenverzerrung)
Qualität der Stichprobe
Für die Interpretation der PIAAC-Ergebnisse ist es von großer Wichtigkeit, dass die befragten Personen tatsächlich ein repräsentatives Abbild der Grundgesamtheit darstellen. Um eine wirklichkeitsgetreue Bestandsaufnahme der aktuellen Situation in den Ländern zu erhalten und diese international vergleichen zu können, ist die Teilnahme von möglichst vielen ausgewählten Personen an der Studie von zentraler Bedeutung. Nach internationalen Standards ist eine Stichprobenausschöpfung von mindestens 70% zu erzielen. Länder mit niedrigeren Ausschöpfungsquoten sollen durch Nonresponse-Bias-Analysen nachweisen, dass die realisierte Stichprobe keine oder nur marginale Verzerrungen aufweist.
Qualitätssicherung durch internationalen wissenschaftlichen Beirat
Vor der Datenveröffentlichung begutachtet der internationale wissenschaftliche Beirat (Technical Advisory Group) für jedes Land die Einhaltung der Standards zur Qualitätssicherung sowie die Verwertbarkeit der PIAAC-Daten für Analysezwecke. Zentrale methodische Aspekte sind hierbei die Güte der Stichprobe und des Stichprobenverfahrens, die Abdeckung und Verzerrung der Stichprobe, die Datenerhebung sowie die Güte der Instrumente und die Qualität der Daten. Das Ergebnis dieser Begutachtung entscheidet darüber, ob die Daten der jeweiligen Länder in den internationalen Datensatz aufgenommen und in den internationalen Analysen berücksichtigt werden.