Quelle: Methods, data, analyses : a journal for quantitative methods and survey methodology (mda), 13 (2019) 1, S 59-90
Inhalt: Questions on earnings are counted among sensitive topics that often produce high rates of item nonresponse or measurement error. Both types of bias are well documented in the literature and are found to concentrate in the tails of the earnings distribution. In this paper, we explore whether measurement error on earnings could be explained by socially desirable
reporting and whether the error is impacted by interviewer characteristics. Using the linked dataset NEPS-SC6-ADIAB, which contains survey data from the German National Educational Panel Study, Starting Cohort "Adults", linked to administrative earnings records from the German Federal Employment Agency, we analyze the extents of over- and underreporting and the influence of respondent and interviewer characteristics on these behaviors for different quartiles of the earnings distribution. Our results show that the average level of misreporting is relatively low (approximately 6% of median earnings). Our main logistic model reveals that female and more highly educated respondents report significantly more accurately while those with higher earnings misreport to a significantly greater extent. Regarding the impact of personality traits on reporting accuracy, we find significant positive effects for more agreeable respondents and significant negative effects for extraverted respondents. When differentiating by the direction of misreporting, we find, for instance, that women are less likely to overreport across all earnings quartiles. However, the influence of interviewer characteristics is negligible.
Non-Randomized Response Models: An Experimental Application of the Triangular Model as an Indirect Questioning Method for Sensitive Topics
Autor/in:
Erdmann, Anke
Quelle: Methods, data, analyses : a journal for quantitative methods and survey methodology (mda), 13 (2019) 1, S 139-167
Inhalt: When it comes to sensitive questions, data is often affected by bias due to non-response or effects of social desirability. Several methods have been introduced to eliminate answer bias by using randomization processes and probabilistic theory to obscure the respondent’s answer and create anonymity, thus facilitating honest answers. The probably most traditional method is the Randomized Response Technique by Warner (1965). However, this method is loaded with certain disadvantages. Therefore, in the last decade, newer methods were introduced that aim at balancing the disadvantages and weaknesses of previous methods, for instance, the non-randomized models Crosswise Model and Triangular Model (Yu et al. 2008) as well as the Parallel Model (Tian 2014). Although especially the Triangular Model is easy to implement in a study, there is only little empirical evidence on its application in different survey modes and populations. Further, it is to assume that certain questions are not equally sensitive for everybody due to specific personal characteristics. Thus, indirect questioning might not be effective in general but only for certain populations. The present study extends prior work on the Triangular Model by evaluating it for different subgroups. The conducted experiment asks for sensitive characteristics in the context of mental stress among students. The Triangular Model achieves significantly higher percentages than conventional direct questioning for illegal drug use among persons that answer socially desirable according to the characteristic of Self-Deception. For the other analyzed subgroups (Impression Management, gender, and depressiveness), the Triangular Model could not achieve higher prevalence rates compared to direct questioning on a sufficient probability level. But still, hard evidence on the effectiveness of indirect questioning models is thin and further critical discussion is needed.
Schlagwörter:Umfrageforschung; survey research; Datengewinnung; data capture; Datenqualität; data quality; Antwortverhalten; response behavior; soziale Erwünschtheit; social desirability; Anonymität; anonymity; psychische Gesundheit; mental health; Drogenkonsum; drug use; Triangular Model; Indirect Questioning; Survey Methodology; Non-Randomized Response
SSOAR Kategorie:Erhebungstechniken und Analysetechniken der Sozialwissenschaften
Das unterschätzte Potenzial hoher Fallzahlen - Stärken und Limitierungen des Mikrozensus am Beispiel von Fertilitätsanalysen
Titelübersetzung:The unrecognised potential of large N - strengths and limitations of the German Microcensus exemplified by fertility research
Autor/in:
Bujard, Martin; Dorbritz, Jürgen; Herter-Eschweiler, Robert; Lux, Linda
Quelle: Zeitschrift für Familienforschung, 27 (2015) 3, S 343-372
Inhalt: "Aufgrund der hohen Fallzahlen (688.931 Personen in 2012) ist das Potenzial des Mikrozensus (MZ) für demografische und familiensoziologische Analysen groß, zudem inhaltlich durch die Erhebung der Geburten von Frauen noch gestiegen. Der Beitrag hat zum Ziel, methodische Hintergründe, Limitierungen und Potenziale des MZ am Beispiel von Fertilität systematisch aufzuzeigen. Die Analyse von Antwortverweigerungen zeigt, dass die Art der Befragung einen starken Einfluss hat, deren Verzerrungen durch Imputationen deutlich reduziert werden konnten. Die Limitierungen sind v.a. das Querschnittsdesign sowie die fehlenden Daten zur Kinderzahl von Männern und zur Binnenmobilität. Die hohen Fallzahlen des MZ ermöglichen tiefenscharfe Differenzierungen bezüglich Sozialstruktur, Paritäten und Zeitverläufe, was anhand von Konfidenzintervallen diskutiert wird. Drei Forschungsdesigns, die die Analysepotenziale nutzen, werden vorgestellt: Dendrogrammanalysen ermöglichen gruppenspezifische Differenzierungen nach fünf Ebenen und zeigen so ein detailliertes Muster der Kinderlosigkeit. Der Verlauf von Paritätsmustern im Kohortenvergleich verdeutlicht die je nach beruflicher Bildung unterschiedlichen Verläufe. Die Analysen zur altersspezifischen Häufigkeit von Erstgeburten ermöglichen, Trends von nachholenden Geburten für verschiedene Bildungsgruppen zu identifizieren." (Autorenreferat)
Inhalt: "Due to a large number of cases (688.931 persons in 2012) the German Microcensus has a huge potential for analyses in demography and family sociology. Content is further improved by the new voluntary question on biological children of women. This paper aims to systematically assess the methodological background as well as limitations and potentials of the Microcensus using the example of fertility data. The analyses of nonresponse show that the way of questioning has a strong impact. The related bias could, however, be reduced by imputations. The main limitations are the cross-sectional design and missing data on the children of men and internal migration. The potential of the high case numbers of the Microcensus is systematically discussed by analyzing confidence intervals: It allows for in-dept differentiations for analyzing social structure, birth parities and time patterns. Finally, we discuss three research designs which are able to use this potential: Dendrogram analyses allow group differentiations for up to five levels and thus reveal detailed patterns of childlessness. Parity patterns by cohorts illustrate differences by occupational education. Third, the age-specific analyses of first births among several cohorts allow for identifying trends of recuperation which differ considerable between educational groups." (author's abstract)
Schlagwörter:Mikrozensus; microcensus; Antwortverhalten; response behavior; Befragung; survey; Interview; interview; Datengewinnung; data capture; Schätzung; estimation; Kinderlosigkeit; childlessness; Fruchtbarkeit; fertility; Geburtenentwicklung; birth trend; Sozialstruktur; social structure; soziale Faktoren; social factors; demographische Faktoren; demographic factors; sozioökonomische Faktoren; socioeconomic factors; Bildungsniveau; level of education; Federal Republic of Germany; Imputationen
SSOAR Kategorie:Erhebungstechniken und Analysetechniken der Sozialwissenschaften, Familiensoziologie, Sexualsoziologie, Bevölkerung
Titelübersetzung:Social presence in online surveys
Autor/in:
Schmidt-Catran, Alexander W.; Hörstermann, Katharina
Quelle: Methoden, Daten, Analysen (mda), 7 (2013) 3, S 397-432
Inhalt: "Onlinebefragungen zählen mittlerweile zum Standardrepertoire vieler Forschungsinstitute, einige methodische Fragen bleiben bis dato jedoch noch unbeantwortet. Diese Studie beschäftigt sich mit der Frage, ob durch die Simulation sozialer Präsenz das Antwortverhalten der Befragten beeinflusst werden kann. Mit einem experimentellen Design werden Effekte der sozialen Präsenz auf Nonresponse sowie sozial erwünschtes Antwortverhalten untersucht. Dabei wird davon ausgegangen, dass die Implementierung sozialer Präsenz den Vorteil einer erhöhten Teilnahmebereitschaft und den Nachteil von sozial erwünschtem Antwortverhalten mit sich bringen kann. Der inhaltliche Schwerpunkt des Experiments liegt auf Einstellungen zu Sexismus, Geschlechterrollen und der Berufstätigkeit von Frauen. Zur Simulation der sozialen Präsenz werden Fotografien verwendet. Zusätzlich zum Effekt der sozialen Präsenz wird untersucht, ob das Geschlecht und die Attraktivität der auf den Fotos gezeigten Personen einen Einfluss auf das Antwortverhalten haben. Bei diesem Effekt handelt es sich um eine Art 'Gender-of-Interviewer'-Effekt. Bezüglich der Teilnahme- und Antwortbereitschaft konnten keine positiven Effekte nachgewiesen werden. Die Ergebnisse hinsichtlich möglicher Interviewereffekte in Form von sozial erwünschtem Antwortverhalten sind nicht eindeutig, es tauchen aber systematische Unterschiede zwischen den Experimental- und der Kontrollgruppe auf." (Autorenreferat)
Inhalt: "Today, online surveys belong to the standard instruments of most survey research institutes, but some methodical questions are still unanswered. This study deals with the question of whether the simulation of social presence has an effect on the response style. Using an experimental design, the effects of social presence on non-response and socially desirable answers are tested. We expect social presence to lower non-response but to induce socially desirable answers. Topics of the survey are attitudes towards sexism, gender roles and the participation of women in the labor market. Social presence is simulated by pictures of the 'investigators' of the study. In addition to the effect of social presence, the study investigates whether the gender and the attractiveness of the person on the pictures have an effect on the answers. This effect might be called a 'gender-of-interviewer'-effect. Concerning the non-response rate no positive effect of social presence could be found. The results with regard to social desirability and a possible gender-of-interviewer-effect are ambiguous but show significant differences between the control group and our experimental groups." (author's abstract)
Zum Zusammenhang von Interviewermerkmalen und Ausschöpfungsquoten
Titelübersetzung:The relationship between interviewer characteristics and exhaustive quotas
Autor/in:
Koch, Achim
Quelle: ZUMA Nachrichten, 15 (1991) 28, S 41-53
Inhalt: 'Mit Daten der Non-Response-Studie zur Allgemeinen Bevölkerungsumfrage der Sozialwissenschaften (ALLBUS) 1986 wird der Zusammenhang zwischen Interviewermerkmalen und Ausschöpfungsquoten untersucht. Es zeigt sich, daß weibliche Interviewer eine höhere Responserate als männliche Interviewer aufweisen. Je älter die Interviewer und je größer der zeitliche Umfang, den die Interviewertätigkeit einnimmt, desto besser die Ausschöpfung. Diese Befunde sollten bei der Intervierwerrekrutierung durch die Umfrageinstitute berücksichtigt werden.' (Autorenreferat)