Bergmann, M. et al. (2012): Daten aus Online-Access-Panels

Bergmann, Michael / Greszki, Robert (2012): Daten aus Online-Access-Panels - der Einfluss der Referenzstudie bei Propensity Score-Anpassungsverfahren

Abstrakt

Immer mehr sozialwissenschaftliche Befragungen werden online durchgeführt. Als Auswahlgesamtheit für solche Befragungen dienen oftmals freiwillige Online-Access-Panels. Das Problem bei diesem Typ von Auswahlgesamtheit besteht darin, dass eine Verallgemeinerung der Befunde auf die Gesamtbevölkerung nicht ohne weiteres möglich ist. Ursachen hierfür sind die nicht vollständige Abdeckung mit Internetzugängen in der Bevölkerung und die vorherrschende Selektivität der Teilnehmer in solchen Online-Access-Panels. Ein Lösungsvorschlag, um durch die Auswahlgesamtheit verursachte Verzerrungen online erhobener Daten zu reduzieren, ist die Anpassung der Daten an eine repräsentative Referenzstudie. Hierbei kommen neben konventionellen Anpassungsverfahren so genannte Propensity Score-Gewichtungsverfahren zur Anwendung, die dafür sorgen, dass sich online befragte Respondenten hinsichtlich relevanter Eigenschaften nicht mehr signifikant von Befragten der Referenzstudie unterscheiden.
Bei der Berechnung von propensity scores stellt sich jedoch die grundlegende Frage, ob und inwiefern die Güte der Anpassung und somit die Datenqualität von Online-Umfragen von der ausgewählten Referenzstudie abhängt? Daher wird eine Face-to-Face-Befragung mit einer telefonischen Befragung im Hinblick auf ihre Eignung als Anpassungsreferenz verglichen.
Die Ergebnisse zeigen, dass zum Teil große Unterschiede zwischen den verschiedenen Erhebungsmodi bestehen, wobei Onliner persönlich-mündlich Befragten im Hinblick auf politische Einstellungs- und Verhaltensmerkmale ähnlicher sind als telefonisch Befragten. Zudem bestehen große Unterschiede zwischen west- und ostdeutschen Onlinern, die eine getrennte Modellierung der propensity scores notwendig machen. Darüber hinaus zeigen die Untersuchungen, dass der verwendeten Referenzstudie hinsichtlich der Anpassungsgüte eine entscheidende Bedeutung zukommt. Demnach ist grundsätzlich eine Face-to-Face-Studie gegenüber einer telefonischen Befragung als Anpassungsreferenz vorzuziehen.

Präsentation anlässlich der Gründungstagung der Sektion „Methoden der Politikwissenschaft" der DVPW. Hamburg, 09.-11.02.2012.

Kontakt: Michael Bergmann, Robert Greszki

Bergmann, M. (2011): Propensity Score Weighting

Bergmann, Michael (2011): Propensity Score Weighting: Methods and Applications

Abstract

Despite the increasing use of online surveys in political opinion research, the field still lacks thorough research mapping the effects of this polling tool on achieving representativeness. For cause, the two most salient problems associated with online research – limited internet coverage and selectivity of respondents – have not yet been convincingly addressed. To compensate for distortions produced by online surveys, weighting often is seen as a promising corrective solution. However, the impacts of this technique are controversial since findings from previous research are ambiguous at best (e.g. Taylor 2005; Malhotra/Krosnick 2007). The demonstration proposed in this paper rests on a two-step approach, using the German Longitudinal Election Study (GLES) since this data source offers the opportunity to test the impact of different weighting schemes on models of party choice and turnout. In a first step, I correct for socio-demographic differences between an online sample and the population under consideration through post-stratification weighting, using census data as reference. Yet, even after adjusting the known proportions of certain respondent groups, attitudinal and/or behavioral differences frequently still persist between respondents polled online versus face-to-face. Therefore, in a second step, I use a propensity score weighting scheme to compensate for variations attributable to different levels of participation. Propensity scores are derived through logistic regression, using the online sample and a probability-based reference. First results show that even complex weighting schemes cannot completely eliminate differences between online and face-to-face surveys. However, propensity score weighting helps to reduce bias significantly, in particular in the realm of attitudes.

Presentation prepared for the European Survey Research Association (ESRA), Lausanne, July 18-22, 2011.

Contact: Michael Bergmann

Bergmann, M. (2010): Conditioning Effects ...

Bergmann, Michael (2010): Conditioning Effects in a Short-Term Campaign Panel

Abstract

While longitudinal surveys provide substantial information about intra-individual change, they also present several methodological difficulties. Among these, the question […] whether repeated interviews are likely, in themselves, to influence a respondent’s opinions” (Lazarsfeld 1940: 128) still lacks thorough understanding. Findings from previous research, which address this crucial point under the notion of panel conditioning, panel bias, re-interview effect or time-in-sample bias, more or less suffer from methodological as well as theoretical inadequateness and frequently are ambiguous in detail (Bartels 1999; Sturgis et al. 2009). For these reasons, I believe it is essential to examine systematically the causes and conditions for the varying evidence of panel conditioning effects. In this respect, the German Longitudinal Election Study (for more information, see: GLES offers a unique database, as it contains a seven-wave online campaign panel with parallel cross-sectional samples. The two most salient difficulties associated with conditioning in panel surveys are to separate (1) attrition effects as well as (2) mere trends occurring in the population over time from conditioning effects. Therefore, this paper employs a weighting procedure, which adjusts the several panel waves by using the respective cross-section as a reference and thus ensures that treatment (panel respondents) and control group (cross-section respondents) have similar distributions of relevant characteristics. Under this directive the cross-sectional samples serve as a baseline to explore whether the responses given by a person, who has already taken part in the panel study, differ from the responses that the person would have given without previous participation. In addition, I direct particular attention to the mechanisms of attitude formation and change underlying conditioning effects as one component of measurement error in panel surveys. First results show that the respondents’ cognitive structure as well as the frequency of being interviewed has a significant impact on the presence and degree of panel conditioning.

Presentation prepared for the 17th ISA World Congress of Sociology, Gothenburg, July 11-17, 2010.

Contact: Michael Bergmann

Blumenstiel, J.E. et al. (2010): Breakoff in web surveys ...

Blumenstiel, Jan Eric / Roßmann, Joss / Steinbrecher, Markus (2010): Breakoff in web surveys of the German Longitudinal Election Study (GLES)

Abstract

High drop-out rates are considered a major shortcoming of web surveys and considerably threaten data quality. However, until recently survey breakoff has received limited scholarly attention and knowledge about the reasons causing respondents to terminate surveys early is still fractional. Connected to the German Longitudinal Election Study (GLES) a seven-wave online tracking has been conducted with a total of about 14,000 respondents, thereof about 3,000 drop outs. These data allow for a detailed analysis of drop-outs. Our main findings can be summarised as follows: (1) In accordance with recent research, we find drop-out to be a function of both respondent characteristics and page characteristics. For instance, people who are less interested in politics tend to drop out at higher rates while open-ended questions and more demanding questions (in terms of the cognitive burden for the respondents) also increase the risk of respondents dropping out of the survey; (2) in the course of the survey, the drop-out risk tends to decrease; (3) characteristics of the questions and the questionnaire are relatively more important than respondent characteristics. Based on the empirical results, some prospects for reducing the number of drop outs in web surveys are provided.

Presentation prepared for the General Online Research 10 Conference (GOR 10). Pforzheim, 26.5.-28.5.2010.

Contact: Joss Roßmann

Greszki, R. (2011): Berufsbefragte ...

Greszki, Robert (2011): Berufsbefragte – die Zukunft in der Wahl- und Einstellungsforschung? Ein Vergleich des Antwortverhaltens von Online-Access-Panelisten und CATI-Befragten zur Bundestagswahl 2009

Abstrakt

Online-Befragungen gelten als eine kostengünstige Alternative zu den konventionellen Befragungsmethoden. Es stellt sich jedoch die Frage, ob Daten, welche mit Hilfe eines Online-Access-Panels erhoben wurden, überhaupt den Anforderungen der Forschung stand halten und als Ausgangspunkt zur Beantwortung inhaltlicher Fragestellungen genutzt werden können. Das Papier untersucht die Datenqualität von online erhobenen Daten im Vergleich zu einer repräsentativen telefonischen Befragung im Vorfeld der Bundestagswahl 2009. Bei diesem Vergleich steht vor allem der coverage error, also das Problem der nicht auf die wahlberechtigte Bevölkerung möglichen Verallgemeinerung der Befunde, im Vordergrund. Dazu werden die Wahlabsicht und die Bewertung der allgemeinen wirtschaftlichen Lage sowie die SPD-Wahl zwischen den zwei Erhebungsmodi verglichen. Neben der Gegenüberstellung der ungewichteten Daten wird sowohl eine Repräsentativgewichtung als auch eine propensity score-Anpassung durchgeführt. Die vorliegende Arbeit zeigt, dass signifikante Unterschiede im Hinblick auf die untersuchten Merkmale zwischen den Erhebungsmodi existieren. Eine Anpassung in den Randverteilungen einzelner Merkmale gelingt zwar mehr oder weniger, im multivariaten Modell wird die Verzerrung durch eine Anpassung jedoch eher noch vergrößert.

Papier anlässlich der Jahrestagung des DVPW-Arbeitskreises "Wahlen und politische Einstellungen". Mainz, 30.06.-01.07.2011.

Kontakt: Robert Greszki

Greszki, R. et al. (2011): Der „Zeitunterschreiter“ ...

Greszki, Robert / Meyer, Marco / Schoen, Harald (2011): Der „Zeitunterschreiter“ als Problem der Online-Befragung

Abstrakt

Ein Nachteil der Online-Befragung ist die unkontrollierte Interviewsituation und in diesem Zusammenhang insbesondere die Möglichkeit der Befragten, den Fragebogen einfach durchzuklicken, was eine Minderung der Datenqualität zur Folge haben kann. Vor allem bei Befragungen mit Stichproben aus Online-Access-Panels ist aufgrund der Belohnungsstruktur der Anreiz zum Durchklicken für die Respondenten groß. Für empirische Sozialforscher, die eine hohe Datenqualität anstreben, ist es daher wünschenswert, „Zeitunterschreiter“ im Nachhinein zu identifizieren, um sie von Analysen auszuschließen. Noch besser aber wäre es, „Zeitunterschreiter“ vor der Befragung zu erkennen und sie überhaupt nicht zu befragen. <br/> Vor diesem Hintergrund werden gängige Methoden zur Identifikation von „Zeitunterschreitern“ problematisiert und weiterentwickelt. Dabei wird u.a. vorgeschlagen, die Zeitmessung auf die einzelnen Befragungsseiten zu beziehen und individuelle Eigenschaften der Befragten, wie beispielsweise das Lebensalter bei der Messung der Antwortgeschwindigkeit zu berücksichtigen. Weiterhin werden verschiedene Qualitäts-Indikatoren herangezogen, um die Güte der unterschiedlichen Methoden zur Identifikation von „Zeitunterschreitern“ zu bestimmen. Dabei zeigt sich, dass die weiterentwickelte Methode zu einer besseren Abgrenzung – hinsichtlich der herangezogenen Qualitäts-Indikatoren – führt.<br/> Im zweiten Schritt werden die „Zeitunterschreiter“ näher charakterisiert, um sie vor einer Befragung identifizieren zu können. Da gerade bei „Zeitunterschreitern“ die Validität von in der Umfrage erhobenen Daten nicht als gesichert gelten kann, dienen daher „externe“ Informationen (Paradaten) über das Umfrageverhalten der Panelisten als potentielle Bestimmungsfaktoren. Erste Ergebnisse zeigen, dass „Zeitunterschreitung“ mit der Tageszeit der Teilnahme und dem Rekrutierungsweg in Verbindung stehen. Weitere Untersuchungen sind jedoch nötig, um diese ersten Befunde zu stützen.

Präsentation anlässlich der Tagung der Methodensektion in der Deutschen Gesellschaft für Soziologie und des Arbeitskreises "Empirische Methoden der Politikwissenschaft" der DVPW. Mannheim, 27.-28.05.2011.

Kontakt: Robert Greszki

Roßmann, J. (2010): Data Quality in Web Surveys ...

Roßmann, Joss (2010): Data Quality in Web Surveys of the German Longitudinal Election Study 2009

Abstract

Web surveys are becoming more and more popular in the social sciences. Nevertheless, the data quality of Web surveys is still questionable. This paper is focused on measurement error caused by respondents "speeding" through web surveys, i.e. respondents who complete the survey in an extremely short time. Two related questions are addressed: (1) Who is a speeder, and (2) does speeding matter for the quality of the data? The analyses conducted in the paper rely on data from two Web surveys of the German Longitudinal Election Study (GLES). The results of the analyses show, first, that two different methods applied to identify speeders yield slightly different outcomes concerning data quality. Second, speeding lowers the quality of the data, though the effect is not as large as could have been expected. Third, the analyses indicate that the inclusion of speeders into a logistic regression has a moderate impact on the results. Finally, the implications of the findings are discussed and further research opportunities are presented.

Paper prepared for delivery at the 3rd ECPR Graduate Conference. Dublin, 30.08.-01.09.2010.

Contact: Joss Roßmann

Roßmann, J. et al. (2011): Why do respondents drop-out from online surveys?

Roßmann, Joss / Blumenstiel, Jan Eric / Markus Steinbrecher (2011): Why do respondents drop-out from online surveys? Results from follow-up surveys in the German Longitudinal Election Study

Abstract

High drop-out rates may threaten data quality of surveys if drop-out is rather systematic than random. Previous research mainly addresses the impact of survey design, question wording, and characteristics of the respondents on survey drop-out via ex-post statistical methods. The research presented here is innovative in that the respondents are asked directly about the reasons for dropping out, the interview situation, psychological predispositions, as well as a reduced number of questions on politics and political attitudes in a series of follow-up surveys conducted subsequently to three consecutive online surveys of the GLES (German Longitudinal Election Study). These follow-up surveys, featuring 371 interviews with drop-outs, allow for an enhanced understanding of the complex processes underlying the phenomenon. Since the most essential items are also included in the preceding online surveys, the design allows for comparisons between drop-outs and complete responders in order to analyze how both groups differ in terms of their responses to substantive questions. In this regard, our research adds to the knowledge on which respondents are especially prone to dropout, their reasons for dropping out, and how these respondents relate to key variables of the respective survey, thus amending the theoretical explanation of dropout.

Paper prepared for delivery at the 4th Conference of the European Survey Research Association (ESRA), Lausanne, Switzerland, July 18-22, 2011.

See also:

Roßmann, Joss/Blumenstiel, Jan Eric/Steinbrecher, Markus (2011): A new approach to the analysis of survey drop-out. Results from a follow-up survey in the German Longitudinal Election Study (GLES). Presentation prepared for the General Online Research 11 Conference (GOR 11). Düsseldorf, 14.-16.03.2011.

Roßmann, Joss/Blumenstiel, Jan Eric/Steinbrecher, Markus (2011): Sind Abbrecher anders? Ergebnisse von Abbrecherbefragungen im Rahmen der Online-Trackings der German Longitudinal Election Study (GLES). Gemeinsame Tagung "Onlineforschung" des DVPW-Arbeitskreises "Empirische Methoden der Politikwissenschaft" und der DGS-Sektion "Methoden der Empirischen Sozialforschung". Mannheim, 27.-28.05.2011.

Contact: Joss Roßmann

Roßmann, J. et al. (2011): Happy respondents, happy researchers?

Roßmann, Joss / Blumenberg, Johannes N. (2011): Happy respondents, happy researchers? What self-disclosure and response-style can tell us about the quality of our data

Abstract

"Satisficing" (Krosnick 1999) respondents, e.g. respondents, who devote only little cognitive effort while answering survey questions, and, therefore, generate answers more superficially and less accurately than they might otherwise, are a major issue in the discussion on data quality in Web surveys. Response behaviors generally assumed to be associated with survey satisficing include among others response non-differentiation ("straightlining"), item nonresponse, and extremely short interview completion times ("speeding"). These unsolicited response styles are in particular relevant for online panels, because completing a large number of surveys or other stimuli than in other survey modes (like incentives e.g.) might cause respondents to approach surveys differently than those with no or little survey-taking experience, resulting in an increased probability of respondents satisficing. In order to evaluate the quality of our data after the fieldwork period we developed four items to measure the topic interest and the engagement of the respondents as well as the overall burden, the questions impose on the respondents. Following Krosnicks (1999) research, these items enable us to determine the propensity of respondents to show satisficing response behavior. Using the items we then evaluate our own data sets and advertise our instruments for application in prospective surveys. The data used in the analyses is based on Web surveys of the German Longitudinal Election Study (GLES) and of a the Wahlstudie Baden-Wuerttemberg 2011.

Presentation prepared for the 4th Conference of the European Survey Research Association (ESRA), Lausanne, Switzerland, July 18-22, 2011.

Contact: Joss Roßmann