Testing the Validity of Gender Ideology Items by Implementing Probing Questions in Web Surveys
Autor/in:
Behr, Dorothée; Braun, Michael; Kaczmirek, Lars; Bandilla, Wolfgang
Quelle: Field Methods, 25 (2013) 2, S 124-141
Inhalt: This article examines the use of probing techniques in web surveys to identify validity problems of items. Conventional cognitive interviewing is usually based on small sample sizes and thus precludes quantifying the findings in a meaningful way or testing small or special subpopulations characterized by their response behavior. This article investigates probing in web surveys as a supplementary way to look at item validity. Data come from a web survey in which respondents were asked to give reasons for selecting a response category for a closed question. The web study was conducted in Germany, with respondents drawn from online panels (n = 1,023). The usefulness of the proposed approach is shown by revealing validity problems with a gender ideology item.
Schlagwörter:Befragung; survey; Online-Befragung; online survey; Gender; gender; Ideologie; ideology; Validität; validity; Panel; panel; Antwortverhalten; response behavior; Fehler; error; Deutungsmuster; pattern of interpretation; Interpretation; interpretation; Analyse; analysis; Indikator; indicator; Egalitarismus; egalitarianism; Rollenverteilung; role distribution; Rollenverständnis; role conception; ISSP; ISSP; Federal Republic of Germany; probing; web survey; gender ideology; ZA3880: International Social Survey Programme: Family and Changing Gender Roles III - ISSP 2002
SSOAR Kategorie:Erhebungstechniken und Analysetechniken der Sozialwissenschaften
Personalisation in advance letters does not always increase response rates: demographic correlates in a large scale experiment
Titelübersetzung:Personalisierung in Voraus-Briefen erhöhen nicht immer die Antwortraten: demographische Korrelationen in einem Großversuch
Autor/in:
Luiten, Annemieke
Quelle: Survey Research Methods, 5 (2011) 1, S 11-20
Inhalt: "This study was set up to examine whether personalizing advance letters by adding names and appropriate salutation, affects the survey cooperation of subgroups in the general population differently, in analogy to findings that subgroups react differently to advance letters. Differential reactions could be an explanation for the mixed findings in the literature on personalization of advance or cover letters. In a large scale study (N=39,518), information in communal registries was used to study (non)response patterns in subgroups, as a result of personalization. Advance letters of the Dutch CAPI Labor Force Survey were randomly assigned to addresses. In the non-personalized version (N=30,899), letters were addressed to 'the inhabitants of '. In the personalized version (N=8,619), the name or names of the household core were derived from municipal registries and used for addressing the letter. A re-interview addressed the issue whether the advance letter was read by more households when the household was addressed by name. By linking the sample to registries, it was possible to study response behavior of subgroups. The study focused on groups the literature indicates as differentially reacting to advance letters, i.e., different age, ethnic, gender, household composition and income groups, and groups with or without a listed telephone number. Hardly any difference in the overall level of cooperation was found if either a personalized or non-personalized letter was used. However, differential reactions were found for listed versus unlisted telephone owners, where only listed households reacted positively to personalization. In the other subgroups studied, no firm evidence of differential reactions were found. The paper discusses what these results signify for sample composition and the risk of bias." (author's abstract)
Sozial erwünschtes Antwortverhalten bezüglich der Teilung häuslicher Arbeit: die Interaktion von Interviewergeschlecht und Befragtenmerkmalen in Telefoninterviews
Titelübersetzung:Social desirability and response bias in case of the division of household labour: the interaction between gender of the interviewer and respondent characteristics in telephone interviews
Autor/in:
Klein, Markus; Kühhirt, Michael
Quelle: Methoden, Daten, Analysen (mda), 4 (2010) 2, S 79-104
Inhalt: "Der Beitrag untersucht den Einfluss des Interviewergeschlechts auf das Antwortverhalten von Befragten bezüglich der Teilung häuslicher Arbeit in telefonischen Interviews. Aufgrund einer Diskrepanz zwischen öffentlich vertretenen egalitären Geschlechterrollen und der noch immer geringen männlichen Beteiligung an der Hausarbeit wird auf Basis von Rational-Choice Argumenten erwartet, dass männliche Befragte bei weiblichen Interviewern sozial erwünscht antworten und ihre Beteiligung an der Hausarbeit überschätzen. Dagegen ist anzunehmen, dass Frauen ihren relativen Anteil an der partnerschaftlichen Hausarbeit eher unterschätzen. Interviewereffekte des Geschlechts sollten bei weiblichen Befragten jedoch geringer ausfallen als bei Männern. Da sich vor allem junge bzw. gebildete Befragte egalitärer Rollenvorstellungen bewusst sind, sollten vor allem diese Gruppen anfällig für derartige Interviewereffekte sein. Für männliche Befragte entsprechen die Ergebnisse weitestgehend den Erwartungen, wobei das Interviewergeschlecht in Abhängigkeit vom Alter des Befragten die stärkeren Effekte zeigt. Für weibliche Befragte zeigen sich über alle Altersgruppen und Bildungsabschlüsse dagegen keine signifikanten Effekte. Die Ergebnisse verdeutlichen, dass sozial erwünschtes Antwortverhalten auch bei Auskünften über konkretes Alltagshandeln auftreten kann. Hinzu kommt eine beträchtliche Heterogenität der Effekte über unterschiedliche Bevölkerungsgruppen." (Autorenreferat)
Inhalt: "In this paper the authors examine the impact of the interviewer's gender on respondents' self-reported share of housework in telephone interviews. Due to a discrepancy between modern, egalitarian gender roles dominating public discussion and men's marginal participation in housework they expect male respondents to answer in a socially desirable way and exaggerate their share of housework vis à vis female interviewers. At the same time, they assume that female respondents underreport their contribution to the couple's housework to female interviewers. The effects of the interviewer's gender should be less strong in case of female respondents than in case of male respondents, though. Additionally, theory suggests that young and educated respondents are particularly susceptible to effects of the interviewer's gender as they are most aware of egalitarian gender roles due to their socialization and environment. For male respondents the results are largely consistent with the expectations. However, the effect of the interviewer's gender varies stronger by age than by education. Regarding female respondents the results do not indicate any significant effects across age groups and educational degrees. Overall, the results show that social desirability may also bias self-reports of everyday behaviour. Moreover, interviewer effects vary considerably between different social groups." (author's abstract)
Autor/in:
Bollinger, Christopher R.; Hirsch, Barry T.
Quelle: Rat für Sozial- und Wirtschaftsdaten (RatSWD); Berlin (RatSWD Working Paper Series, 165), 2010. 22 S
Inhalt: "Earnings nonresponse in the Current Population Survey is roughly 30% in the monthly surveys and 20% in the annual March survey. Even if nonresponse is random, severe bias attaches to wage equation coefficient estimates on attributes not matched in the earnings imputation hot deck. If nonresponse is ignorable, unbiased estimates can be achieved by omitting imputed earners, yet little is known about whether or not CPS nonresponse is ignorable. Using sample frame measures to identify selection, we find clear-cut evidence among men but limited evidence among women for negative selection into response. Wage equation slope coefficients are affected little by
selection but because of intercept shifts, wages for men and to a lesser extent women are understated, as are gender wage gaps. Selection is less severe among household heads/co-heads than among other household members." [author's abstract]
Das Begehren zu sprechen: oder: Geschlechtsbezogene Artikulationen in Interviews mit heterosexuellen männlichen Freiern
Titelübersetzung:Talks of desire: sex/ gender related articulations in interviews with heterosexual male clients of female sex workers
Autor/in:
Grenz, Sabine
Quelle: GENDER - Zeitschrift für Geschlecht, Kultur und Gesellschaft, 1 (2009) 2, S 75-89
Inhalt: "In diesem Artikel geht es um die Frage, wie sich das Geschlecht der interviewenden Personen auf das Interviewverhalten von Konsumenten kommerzieller Sexualität auswirkt, bzw. wie Interviewees ihr Verhalten an heteronormativen Konstruktionen von Geschlecht ausrichten und auf spezifische Weise Maskulinität herstellen. Dieser Frage wird anhand eines Experiments nachgegangen: Die Ergebnisse der von mir selbst durchgeführten Freier-Studie (Grenz 2007) wurden mit den veröffentlichten Ergebnissen einer anderen Studie mit einem männlichen Interviewer (Gerheim 2007) verglichen. Im Vergleich der beiden Studien ist zu beobachten, dass die Interviewees die Geschichten ihrer kommerziellen Sexualität anhand der Vorstellung einer komplementären männlichen und weiblichen Sexualität strukturieren. Als Folge wird die interviewende Person je nach Geschlecht auf unterschiedliche Weise in die Erzählung der Probanden eingebunden. Während der Interviewer über die Gleichheit des Geschlechts in die Erzählung aufgenommen wird, wird bei einer Interviewerin auf die Verschiedenheit des Geschlechts zurückgegriffen." (Autorenreferat)
Inhalt: "This article is concerned with the following question: How does the sex/ gender of a researcher influence the behaviour of hetero-sexual clients of prostitutes participating in interviews? In other words: How do interviewees make use of heteronormative imaginations of sex/gender and, thus, establish masculinity through the structure of their story? In this article the author undertakes an experiment by comparing my own research results (Grenz 2007) with results published by another researcher (Gerheim 2007). In this comparison, one can see that interviewees structure their story of commercial sexuality according to the imaginations of the complementary male and female sexualities. As a consequence, the interviewee integrates the interviewer differently according to heteronormative assumptions of sexuality. While a male interviewer is integrated according to assumptions of sameness, a female interviewer is integrated on the basis of difference." (author's abstract)
Titelübersetzung:Online surveys: potential and problems
Autor/in:
Faas, Thorsten
Quelle: Deutsche Gesellschaft für Soziologie (DGS); Rehberg, Karl-Siegbert; Kongress der Deutschen Gesellschaft für Soziologie "Soziale Ungleichheit - kulturelle Unterschiede"; Frankfurt am Main, 2006. S 4815-4825
Inhalt: "Das Internet hat in die Prozesse der sozialwissenschaftlichen Datenerhebung Einzug gehalten. Besonderer Beliebtheit erfreuen sich dabei Online-Umfragen, was verständlich ist, liegen ihre Vorteile doch vermeintlich auf der Hand: Online-Umfragen sparen vor allem Zeit und Geld. Zu befürchten ist allerdings, dass diese Vorteile mit geringerer Datenqualität erkauft werden. Der Beitrag vergleicht Ergebnisse dreier Umfragen, die anlässlich der Bundestagswahl 2002 auf methodisch sehr unterschiedliche Weise durchgeführt wurden. Es handelt sich erstens um eine repräsentative mündliche Bevölkerungsumfrage, zweitens um eine repräsentative Online-Erhebung unter Internet-Nutzern sowie drittens um eine Online-Erhebung mit selbst rekrutierten Teilnehmern. Der Vergleich dieser drei Umfragen zeigt, dass sich die Umfragen sowohl hinsichtlich sozialstruktureller Variablen (Alter, Bildung und Geschlecht) als auch hinsichtlich substanzieller Fragen (Wahlverhalten, politisches Interesse) deutlich voneinander unterscheiden. Auch eine sozialstrukturelle Gewichtung nach Alter und Geschlecht kann diese substanziellen Unterschiede der Randverteilungen nicht beseitigen. Positiver sieht das Bild aus, wenn man anstelle von Randverteilungen Zusammenhänge zwischen Variablen betrachtet: Zwar treten auch hier erwartete systematische Unterschiede zwischen den drei Umfragen auf, die aber im Vergleich zu den Unterschieden in Randverteilungen weitaus geringer (man könnte fast sagen: vernachlässigbar klein) ausfallen." (Autorenreferat)
Schlagwörter:voting behavior; Datengewinnung; education; online survey; Internet; election to the Bundestag; comparison of methods; Datenqualität; Methode; Wahlverhalten; Federal Republic of Germany; data quality; social research; Sozialforschung; election research; Bildung; politisches Interesse; gender; Methodenvergleich; Online-Befragung; survey; Sozialstruktur; population; Alter; Befragung; method; social structure; Bundestagswahl; old age; Internet; Bevölkerung; data capture; Wahlforschung; political interest
SSOAR Kategorie:Erhebungstechniken und Analysetechniken der Sozialwissenschaften