Meet the Experts

Best practice methods in Survey Methodology and Computational Social Sciences

Our one-hour online series "Meet the Experts" offers insights into social science research. We focus on best practices in survey methodology and new approaches to handling digital behavioral data based on methods from computational social sciences.

The online series provides an overview of different procedures and best practice methods to help you achieve the best possible data quality. After a 30-minute talk or so, our experts will be available for further discussion and to answer your questions.

Information on procedure and registration:  

The event will take place via Zoom. The login information for the Zoom meeting will be sent to you in a separate email. We will delete your contact information after the session(s) you registered for have taken place. You can find information on data protection at GESIS on our website.

Registration for sessions from May to July will start at the beginning of May. If you would like to stay up to date on the "Meet the expert" series or generally about news from GESIS, sign up for our monthly newsletter gesis report.

Slides & further information:

Slides will be made availabe for download after the respective session. Information on many aspects to be taken into account when planning and conducting surveys can also be found in our GESIS Survey Guidelines. For individual consultation on scientific research projects, you can contact us individually. Click here for more information.

*** "Meet the Experts" now on YouTube ***

The first videos of our "Meet the Experts" series are now available on our GESIS YouTube playlist.

YouTube-Playlist

 

 

Die Folien des Vortrags erhalten Sie hier (1.00 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Häufig wird in (wissenschaftlichen) Publikationen darauf verwiesen, dass die Ergebnisse einer Erhebung auf einer „repräsentativen“ Stichprobe basieren. Problematisch an dieser Aussage ist jedoch, dass es „Repräsentativität“ als Gütekriterium im mathematisch/statistischen Sinn nicht gibt. Die Beurteilung einer Erhebung erfolgt hier vielmehr über die verwendete Stichprobenstrategie sowie die Erwartungstreue und Effizienz eines Schätzers.  

Ziel dieses Vortrags ist es daher, ein besseres Verständnis für die Verwendung gängiger Stichprobenstrategien zu vermitteln. Dafür werden sowohl einfache als auch komplexe (mehrstufige) Ziehungsverfahren erläutert. Ein weiterer Fokus liegt gerade bei komplexen Stichprobenziehungen mit ungleichen Auswahlwahrscheinlichkeiten in der korrekten Berücksichtigung des Sample Designs im Zuge der Schätzung. Dies geschieht durch die Verwendung von Designgewichten. Sowohl Stichprobenstrategien als auch die Anwendung von Designgewichten werden anhand einfacher Beispiele erläutert. 

Vortragende:

Dr. Matthias Sand ist Senior Researcher bei GESIS – Leibniz-Instituts für Sozialwissenschaften, im Team Survey Statistics. In seiner Forschung und Beratung widmet er sich Fragestellungen aus dem Bereich der komplexen Stichprobenziehung, der Gewichtung von Erhebungsdaten sowie der Imputation fehlender Werte. Er promovierte an der TU Dresden zum Thema der Gewichtung von Erhebungsdaten, basierend auf mehreren Auswahlgrundlagen am Beispiel telefonischer Befragungen. 

Dr. Christian Bruch ist Senior Researcher bei GESIS – Leibniz-Institut für Sozialwissenschaften, im Team Survey Statistics. Seine Forschung bezieht sich auf Gewichtungsverfahren, Varianzschätzung und Imputation. Er hat seine Dissertation zum Thema Varianzschätzung unter Imputation und bei komplexen Stichprobendesigns geschrieben. 

 

Die Folien des Vortrags erhalten Sie hier (1.04 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Der Vortrag behandelt den Umgang mit Schätzungen, die auf Daten mit fehlenden Werten basieren, und deckt sowohl den Umgang mit Unit als auch Item Nonresponse ab. In diesem Zusammenhang wird ein Überblick über Gewichtungsverfahren gegeben, die in der Praxis häufig zur Kompensation fehlender Werte eingesetzt werden. Im Einzelnen werden die Gewichtungsmethoden Raking, Poststratifizierung und lineare Verfahren, wie der General Regression Estimator, vorgestellt. Des Weiteren wird der Vortrag eine kurze Einführung zu Verfahren der Imputation geben. Auch diese Verfahren werden zur Kompensation fehlender Werte eingesetzt, bilden zusätzlich aber auch die Grundlage zur Durchführung der Gewichtungsmethoden. Der Vortrag wird daher Verfahren der einfachen und multiplen Imputation beinhalten. 

Vortragende:

Dr. Christian Bruch ist Senior Researcher bei GESIS – Leibniz-Institut für Sozialwissenschaften, im Team Survey Statistics. Seine Forschung bezieht sich auf Gewichtungsverfahren, Varianzschätzung und Imputation. Er hat seine Dissertation zum Thema Varianzschätzung unter Imputation und bei komplexen Stichprobendesigns geschrieben. 

Dr. Matthias Sand ist Senior Researcher bei GESIS – Leibniz-Instituts für Sozialwissenschaften, im Team Survey Statistics. In seiner Forschung und Beratung widmet er sich Fragestellungen aus dem Bereich der komplexen Stichprobenziehung, der Gewichtung von Erhebungsdaten sowie der Imputation fehlender Werte. Er promovierte an der TU Dresden zum Thema der Gewichtung von Erhebungsdaten, basierend auf mehreren Auswahlgrundlagen am Beispiel telefonischer Befragungen. 

Die Folien des Vortrags erhalten Sie hier (572 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Eine gute Fragebogenübersetzung ist unabdingbar für ein gelingendes internationales oder interkulturelles Forschungsprojekt. Es reicht jedoch nicht, das Übersetzungsthema erst nach der Entwicklung eines Ausgangsinstruments in den Fokus zu nehmen. Vielmehr sollte Übersetzung bereits bei der Entwicklung eines Fragebogens eine Rolle spielen. Im ersten Teil dieses Vortrags geht es somit darum, wie Übersetzbarkeit und kulturelle Relevanz bereits während der eigentlichen Fragebogenentwicklung berücksichtigt werden können (z.B. durch interkulturelle Teams, Verfahren zur Überprüfung der Übersetzbarkeit oder fragespezifische Übersetzungsrichtlinien). Im zweiten Teil des Vortrags werden Best-Practice-Methoden vorgestellt, insbesondere der Team-Ansatz bzw. die TRAPD-Übersetzungsmethodik. Im dritten Teil werden Management-Aspekte beleuchtet, die als Auftraggeber bzw. Projektleiter zu berücksichtigen sind. Hierzu zählen z.B. zeitliche Planung oder Briefing der Übersetzer. 

Vortragende:

Dr. Dorothée Behr ist Teamleiterin des Teams Cross-Cultural Survey Methods in der Abteilung Survey Design and Methodology (SDM). Ihre Forschung und Beratung fokussiert auf verschiedenen Aspekten der Fragebogenübersetzung sowie auf interkulturellem Web-Probing zur Überprüfung von Vergleichbarkeit in Umfragedaten. Sie entwickelte u.a. federführend die Übersetzungsrichtlinien für den Hintergrundfragebogen in PIAAC in Zyklus 1 und 2, war in die Entwicklung des Übersetzungstools im EVS 2017 eingebunden und ist Mitglied des Translation Expert Panels im ESS. 2009 promovierte sie an der Universität Mainz zur Methodik in der Fragebogenübersetzung.   

Die Folien des Vortrags erhalten Sie hier (0.96 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Um zu gewährleisten, dass die mittels eines Fragebogens erhobenen Informationen eine hohe Datenqualität aufweisen, muss sichergestellt werden, dass alle Befragten die enthaltenen Fragen verstehen, nur solche Informationen abgefragt werden, die Befragte tatsächlich haben und auch abrufen können, und dass die Fragen im intendierten Sinn des Forschers verstanden werden. Die Ermittlung und Behebung solcher Probleme sind die zentralen Ziele von kognitiven Interviews. Dieser Vortrag vermittelt die grundsätzliche Bedeutung und Relevanz von kognitiven Interviews im Rahmen von Umfrageprojekten. Der Sinn und Zweck kognitiver Interviews wird anhand von Beispielen ungetesteter Fragen und auf Basis von Pretests überarbeiteter Fragen verdeutlicht. Des Weiteren werden die wichtigsten kognitiven Techniken kurz vorgestellt (z.B. Think Aloud, Probing) und Ratschläge zur praktischen Durchführung von Pretests gegeben. Abschließend werden die Angebote vorgestellt, die GESIS im Bereich kognitiver Pretests zur Verfügung stellt. 

Vortragender:

Dr. Timo Lenzner ist Senior Researcher im Bereich Kognitives Pretesting bei GESIS – Leibniz-Institut für Sozialwissenschaften. Seine Schwerpunkte liegen in der Beratung und Durchführung von kognitiven Pretests und in der Forschung zum Design und der Evaluation von Fragebögen.

Die Folien des Vortrags erhalten Sie hier (807 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Angesichts einer nahezu flächendeckenden Verfügbarkeit eines Internetzugangs und geringer Erhebungskosten stellen Online-Befragungen eine sehr attraktive Möglichkeit der Datenerhebung dar. Jedoch mangelt es an einem geeigneten Ziehungsrahmen für bevölkerungsrepräsentative Online-Umfragen – und längst nicht jede Zielperson ist willens oder in der Lage, an einer Online-Befragung teilzunehmen. Daher bietet sich eine Kombination der beiden selbstadministrierten Modi online und schriftlich/postalisch an. Auf diese Weise können die Zielpersonen auf der Basis von Registerstichproben postalisch rekrutiert und zur Teilnahme an der Umfrage eingeladen werden. An dieser können sie sich dann entweder online oder mit einem Papierfragebogen beteiligen. Die Kombination der beiden selbstadministrierten Erhebungsmodi erscheint zudem vor dem Hintergrund des gegenwärtigen Gebots der sozialen Distanzierung besonders attraktiv.  

Im Rahmen des Vortrags werden die vielfältigen Potenziale selbstadministrierter Mixed-Mode-Befragungen diskutiert und anhand von empirischer Evidenz bewertet. Dabei wird insbesondere auf den Rücklauf, die Zusammensetzung der realisierten Stichprobe und die Erhebungskosten eingegangen. Auf der Grundlage einer kürzlich von GESIS durchgeführten Studie wird zudem dargelegt, wie sich unkonditionale Incentives und die Reihenfolge des Modusangebots auf den Rücklauf, die Stichprobenzusammensetzung und die Erhebungskosten auswirken. Auf diese Weise können Empfehlungen für die Durchführung selbstadministrierter Mixed-Mode-Befragungen vorgeschlagen und diskutiert werden. 

Vortragende:

Dr. Sven Stadtmüller arbeitet seit 2015 bei GESIS – Leibniz-Institut für Sozialwissenschaften in der Abteilung Survey Design and Methodolody im Team Survey Operations. Seine Forschungsschwerpunkte sind die Rekrutierung von Zielpersonen für wissenschaftliche Umfragen sowie Mixed-Mode-Befragungen, insbesondere Befragungen mit der Kombination der beiden Modi online und schriftlich/postalisch. 

Dr. Henning Silber ist Leiter des Teams Survey Operations und arbeitet seit 2015 bei GESIS – Leibniz-Institut für Sozialwissenschaften in der Abteilung für Survey Design and Methodology. Seine Forschungsschwerpunkte umfassen die Bereiche Online- und Panelbefragungen, Umfrageimplementierung, experimentelle Untersuchungsdesigns und politische Soziologie.

Die Folien des Vortrags erhalten Sie hier (1.23 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Verschiedene Umfragen wenden zur Messung der gleichen Konzepte oft unterschiedliche Fragen und Antwortformate an. Wenn Daten aus verschiedenen Umfragen verglichen oder kombiniert werden sollen, führt das zu Vergleichbarkeitsproblemen. Instrumente, die latente Konstrukte (wie Einstellungen, Werte oder Persönlichkeit) messen, sind hier besonders herausfordernd. Je nach Frageformulierung und Antwortskala können die gleichen Zahlenwerte eine völlig unterschiedliche Intensität des Konstrukts bedeuten. Eine effiziente und valide Möglichkeit dieses Problem zu beheben ist das sogenannte Test Equating aus der Psychometrie. Das vorgestellte Equating-Verfahren lässt sich sowohl auf Einzelfragen wie auch Mehr-Item-Skalen anwenden. Zudem lässt es sich größtenteils automatisieren, was gerade bei größeren Projekten und Variablenmengen wichtig ist. Vorgestellt werden die Grundidee, ein empirisches Beispiel und ein Beispiel effizienter Automatisierung. 

Vortragender:

Dr. Ranjit K. Singh ist ein Postdoc in der Abteilung Survey Design and Methodology bei GESIS. Er praktiziert, erforscht und berät zur ex-post Harmonisierung von Umfrageinstrumenten und -daten. Weitere Forschungsinteressen sind die Qualität von Umfrageinstrumenten sowie Selbstkontrolle.

Die Folien des Vortrags erhalten Sie hier (396 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt: 

Die Qualität der Erhebungsinstrumente eines Surveys hat einen maßgeblichen Einfluss auf die Belastbarkeit der empirischen Schlüsse, die auf Basis der erhobenen Daten gezogen werden. Da Fehler bei der Fragebogenkonstruktion nach Erhebung der Daten in der Regel nicht mehr behoben werden können, sollte die Entwicklung des Fragebogens mit großer Sorgfalt und ausreichend Zeit erfolgen. In diesem Vortrag erhalten die Teilnehmer*innen einen kurzen Überblick über die wichtigsten Aspekte, die bei der Konstruktion des Fragebogens und der Entwicklung von Fragen beachtet werden sollten, die aber typischerweise immer wieder übersehen werden. Dies beginnt bereits bei der Umsetzung der Forschungsfragen in einem Erhebungsinstrument. Häufig ist letzteres viel zu umfangreich und es ist bereits abzusehen, dass man viele Fragen überhaupt nicht auswerten wird. Dann sollte man aber unbedingt Kürzungen vornehmen, die die Befragten deutlich entlasten können und somit zur Motivation beitragen. Weiterhin wird anhand von ausgewählten Beispielen erläutert, wie man Fehler bei der Formulierung der Fragen und Antwortkategorien vermeiden kann. Darüber hinaus bietet dieser Vortrag einen kurzen Überblick über die GESIS-Angebote zur Unterstützung von Wissenschaftlerinnen und Wissenschaftlern bei der Fragebogenentwicklung.  

Vortragende:

Prof. Dr. Michael Braun ist Projektberater bei GESIS – Leibniz Institut für Sozialwissenschaften. Vor seiner Tätigkeit bei GESIS arbeitete er als wissenschaftlicher Mitarbeiter am Institut für Soziologie der Universität München. 1988-1989 hatte er eine Gastprofessur am Department of Sociology der University of Chicago inne. Er hat im Jahr 1985 an der Universität München im Fach Soziologie promoviert und im Jahre 2004 an der Universität Mannheim im Fach Empirische Sozialforschung habilitiert. Seit 2007 ist er apl. Professor an der Universität Mannheim. 

Dr. Jette Schröder ist Projektberaterin bei GESIS – Leibniz Institut für Sozialwissenschaften. Seit November 2015 ist sie außerdem Geschäftsführerin der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e. V. (ASI) und seit Juni 2016 stellvertretende Vorsitzende des Rats der Deutschen Markt- und Sozialforschung e. V.. Vor ihrer Tätigkeit bei GESIS arbeitete sie als methodische Koordinatorin im Beziehungs- und Familienpanel pairfam und war Mitarbeiterin am Lehrstuhl für Statistik und sozialwissenschaftliche Methodenlehre an der Universität Mannheim. Sie hat im Jahr 2009 an der Universität Mannheim im Fach Sozialwissenschaften promoviert. 

Die Folien des Vortrags erhalten Sie hier (1.26 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Das GESIS Panel (https://www.gesis.org/gesis-panel) richtet sich an Forschende aus den Verhaltens- und Sozialwissenschaften, die kostenfrei eine eigene Umfrage („Studie“) auf Grundlage einer Zufallsstichprobe von etwa 5.000 Befragten durchführen möchten. Die Befragungen werden in einem dreimonatigen Rhythmus durchgeführt. Im Rahmen eines zweistufigen Einreichungsverfahrens können sich interessierte Forscher*innen ganzjährig um freie Umfrageplätze sowohl für quer- als auch längsschnittliche Studien bewerben, wobei pro Umfragewelle maximal 5 Minuten Befragungszeit zu Verfügung stehen. Die Durchführung der eigenen Befragung setzt eine erfolgreiche Begutachtung durch externe Gutachter*innen voraus.

Das GESIS Panel ist aber auch eine reichhaltige Datenquelle für Sekundäranalysen, da wir viele verschiedene Interessen durch die Studieneinreichungen aus unterschiedlichen Disziplinen bedienen. Hervorheben möchte wir, dass im GESIS Panel bereits seit März 2020, und dann auch im weiteren Jahresverlauf, Umfragedaten zum Ausbruch des Coronavirus SARS-CoV-2 erhoben wurden, die für Sekundäranalysen verfügbar sind (für weitere Informationen: https://www.gesis.org/gesis-panel/coronavirus-outbreak). Ergänzt werden diese Inhalte durch unsere jährlichen Kernstudien zu relevanten Themen aus Demografie, Politikwissenschaften, Psychologie, Umweltforschung etc. Mittlerweise liegen 40 Wellen vor, die Längsschnittdaten aus sechs Jahren umfassen.

Nach einer allgemeinen Vorstellung des GESIS Panel gehen wir in dem Vortrag zum einen auf den Prozess der Studieneinreichung ein und erläutern insbesondere, was zu einer erfolgreichen Einreichung gehört. Anschließend führen wir in das GESIS Panel als Datenquelle ein und illustrieren, wie Sie sich mit den Daten vertraut machen und worauf Sie bei der Analyse achten sollten.

Vortragende:

Dr. Bernd Weiß ist seit 2017 Leiter des GESIS Panel und stellvertretender Abteilungsleiter der Abteilung Survey Design and Methodology bei GESIS - Leibniz-Institut für Sozialwissenschaften. Er hat Soziologie, Philosophie und Geografie studiert und an der Universität zu Köln promoviert. Seine Forschung umfasst Themen wie Umfragemethodik, Forschungssynthesen, Jugenddelinquenz sowie Familien- und Partnerschaftssoziologie.

Dr. Ines Schaurer ist PostDoc bei GESIS - Leibniz-Institut für Sozialwissenschaften und stellvertretende Teamleiterin im Team GESIS Panel. Sie hat Sozialwissenschaften an der Universität Mannheim studiert und 2017 mit einer umfragemethodischen Arbeit promoviert. Ihre Forschungsinteressen liegen im Bereich der Umfragemethodik mit Schwerpunkt auf Online- und Mixed-Mode-Umfragen der allgemeinen Bevölkerung sowie Umfragedurchführung und Datenqualität.

Mirjan Schulz ist Doktorandin beim GESIS Panel und ist dort in der Studienbetreuung und Erstellung der Befragungswellen tätig. Ihre Forschungsinteressen umfassen mobile Befragungen und Layouteffekte bei verschiedenen Teilnahmemodi.

 

 

Die Folien des Vortrags finden Sie hier (527 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Kognitive Pretests werden in der Umfrageforschung eingesetzt, um die Verständlichkeit eines Fragebogens oder einzelner Items zu überprüfen. Neben klassischen face-to-face Interviews ermöglicht die Methode des Web Probings die Durchführung eines Pretests im Rahmen einer Online-Befragung. Dazu werden klassische kognitive Nachfragetechniken in eine Online-Befragung implementiert. Ziel dieses Vortrags ist es, die Methode des Web Probings in Abgrenzung zu kognitiven Interviews vorzustellen und die Vorzüge und Schwächen der jeweiligen Methode darzulegen. Daneben fokussiert der Vortrag auf praktische Aspekte zur Durchführung von Online-Pretests, die sich aus der Übertragung in den Online-Modus ergeben.   

Vortragende:

Dr. Cornelia Neuert ist Leiterin des Teams Questionnaire Design & Evaluation in der Abteilung Survey Design & Methodology (SDM). Ihre Forschungsinteressen liegen im Bereich Questionnaire Design, Response Behavior und in der Bewertung und Weiterentwicklung kognitiver Pretestverfahren. 

Die Folien des Vortrags erhalten Sie hier (2.25 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Die stetig wachsende Menge an empirischen Studien in vielen sozialwissenschaftlichen Disziplinen erschwert es Forschenden, den aktuellen Forschungsstand im Blick zu haben und neue Erkenntnisse im Kontext der bisherigen Forschung einzuordnen. Systematische Übersichtsarbeiten und Meta- Analysen sind nützliche Tools für die Erstellung von Forschungssynthesen und können die Grundlage für evidenzbasierte Entscheidungen in Politik und Wissenschaft sein. Dieser Impulsvortrag wird eine grundsätzliche Einführung in verschiedene Verfahren der (quantitativen) Forschungssynthese geben. Behandelt werden Themen wie Meta-Analyse, systematische Übersichtsarbeiten und Evidenz-Gap-Maps. Darüber hinaus werden den Teilnehmenden Bewertungskriterien an die Hand gegeben und exemplarisch Anwendungsbeispiele aufgezeigt.

Vortragende:

Dr. Jessica Daikeler ist PostDoc bei GESIS - Leibniz-Institut für Sozialwissenschaften und arbeitet im Team Survey Operations.  Jessica hat ihre Doktorarbeit zur Anwendung evidenzbasierter Methoden in der Umfrageforschung an der Universität Mannheim abgeschlossen und ist bei GESIS in die Erstellung von Evidenz-Gap-Maps, systematischen Übersichtsarbeiten und Meta-Analysen involviert. Jessica ist im Bereich Umfrageforschung aktiv und forscht hier zu Datenqualitätsunterschieden verschiedener Umfragemodi und Endgeräten und zu offenen Antworten.

Dr. Bernd Weiß ist seit 2017 Leiter des GESIS Panel und stellvertretender Abteilungsleiter der Abteilung Survey Design and Methodology bei GESIS - Leibniz-Institut für Sozialwissenschaften. Er hat Soziologie, Philosophie und Geografie studiert und an der Universität zu Köln promoviert. Seine Forschung umfasst Themen wie Umfragemethodik, Forschungssynthesen, Jugenddelinquenz sowie Familien- und Partnerschaftssoziologie.

 

Slides (in German) can be found here (620 kB).

The recording (in German) can be found here: Zur YouTube-Playlist

Inhalt:

Nonresponse Bias kann immer dann entstehen, wenn sich Teilnehmer einer Befragung systematisch von den Nicht-Teilnehmern unterscheiden. Das kann beispielsweise der Fall sein, wenn bestimmte gesellschaftliche Gruppen häufiger die Einladung zur Teilnahme nicht erhalten/nicht kontaktiert werden können, sich häufiger gegen eine Teilnahme entscheiden oder nicht in der Lage sind teilzunehmen (bspw. weil ihnen die zur Teilnahme nötige technische Ausstattung fehlt).  

In diesem Vortrag wird zunächst die Frage behandelt, wie Nonresponse Bias entsteht und warum die Teilnahmerate kein guter Indikator für Nonresponse Bias darstellt. Im Anschluss werden Methoden vorgestellt, mit denen Nonresponse Bias quantifiziert werden kann. Diese Methoden beinhalten unter anderem Vergleiche der Stichprobenzusammensetzung mit der Gesamtbevölkerung und die Berechnung von R-Indikatoren.

Vortragende:

Dr. Barbara Felderer ist Teamleiterin des Teams Umfragestatistik in der Abteilung Survey Design and Methodolgy (SDM). Ihre Forschung und Beratung fokussiert auf der Qualität von Umfragedaten, insbesondere Nonresponse und Nonresponse Bias und der damit verwandten Erstellung von Anpassungsgewichten. Sie promovierte 2015 an der LMU München zur Analyse der Qualität von Befragungsdaten mithilfe administrativer Daten.

Slides (in German) can be found here (2.18 MB).

The recording (in German) can be found here: YouTube-Playlist

Inhalt

Mit der Erhebung von sozialen Netzwerken lässt sich das Verhalten von Personen innerhalb sozialer Gruppen untersuchen. Dabei spielt sowohl die Frage nach der Zusammensetzung der Netzwerke (Wer ist im Netzwerk?) als auch nach der Struktur (Wie sind die Netzwerkmitglieder miteinander verbunden?) eine Rolle. Die Erhebung und Analyse von Netzwerkdaten birgt zwar ein großes Forschungspotential, ist aber auch sehr ressourcenintensiv.

Der Vortrag gibt im ersten Teil einen Einblick in die Grundidee und Logik von Netzwerken und Netzwerkdaten. Der zweite Teil des Vortrags versteht sich als ein „How to Manual“ dafür, wie typischerweise egozentrierte Netzwerkstudien im Rahmen von Umfragen designt werden. Damit soll der Vortrag zum einen eine Entscheidungshilfe für all diejenigen bieten, die noch abwägen, ob die Erhebung von Netzwerkdaten für sie sinnvoll ist, und zum anderen eine Orientierungshilfe für all diejenigen sein, die bereits eine egozentrierte Netzwerkstudie planen.

 

Vortragende

Dr. Lydia Repke ist Postdoktorandin in der Abteilung Survey Design and Methodology bei GESIS und seit 2020 Mitglied der Jungen Akademie der Akademie der Wissenschaften und der Literatur | Mainz. Ausgezeichnet mit dem Special Doctorate Award promovierte sie zum Thema multikultureller Identifikationen und sozialer Netzwerke im Bereich der kulturellen Psychologie (2017) an der Universität Pompeu Fabra in Barcelona, wo sie außerdem für das Research and Expertise Centre for Survey Methodology arbeitete. Gemeinsam mit Sophie Zervos moderiert sie aktuell den GESIS Podcast "Die Fakten dicke!", zu dem sie begleitend auch Lehr- und Lernfolien zur Verfügung stellt.

Slides (in German) can be downloaded here (2.11 MB).

Content

This talk will provide an introductory overview of the emergence of computational social science (CSS) as a new research area combining multidisciplinary methods and new types of data that promise to be valuable complements to surveys. The term digital behavioral data summarizes a broad variety of data captured by web-based platforms (most prominently platforms for online communication, but also e.g. shopping portals or dating sites) and other digital technologies like smartphones, fitness devices, or RFID sensors. Digital behavioral data result from traces that humans are leaving when using these platforms, i.e. the data is typically not a direct product of a scientifically predesigned research setup.

The talk showcases examples of digital behavioral data and how they have been used in past CSS research to learn about or predict behavior, characteristics, or opinions of platform users. It provides the basis for a series of talks from the area of CSS that will take a closer look at individual strategies for collecting digital behavioral data, different methods data analysis and different use cases for social science research.

Presenter

 Dr. Katrin Weller  leads the team Social Analytics and Services and is deputy head of the Computational Social Science department at GESIS. She holds a PhD in information science and is interested in understanding scientific communication structures in online environments. Her work also questions data archiving and sharing surrounding social media data. She was Digital Studies Fellow at the US Library of Congress.

ics-Kalendereintrag (47 kB)

Content

Peoples’ activities and opinions recorded as digital traces online, especially on social media and other web-based platforms, offer increasingly informative pictures of the public. They promise to allow inferences about populations beyond the users of the platforms on which the traces are recorded, representing real potential for the Social Sciences and a complement to survey-based research. But the use of digital traces brings its own complexities and new error sources to the research enterprise. Recently, researchers have begun to discuss the errors that can occur when digital traces are used to learn about humans and social phenomena.

This talk discusses various strategies for critical reflection on the limitations, implications, and consequences of using digital traces for measuring social constructs. Inspired by the Total Survey Error (TSE) Framework developed for survey methodology, we introduce a conceptual framework to diagnose, understand, and document errors that may occur in studies based on such digital traces. While there are clear parallels to the well-known error sources in the TSE framework, the new “Total Error Framework for Digital Traces of Human Behavior on Online Platforms” (TED-On) identifies several types of error that are specific to the use of digital traces. By providing a standard vocabulary to describe these errors, the proposed framework and this talk advances communication and research concerning the use of digital traces in scientific social research.

Presenters

Dr. Fabian Flöck leads the Data Science team at the Computational Social Science Department at GESIS. He is interested in the validity and transparency of automated measurement in social science contexts, but also researches interactive data analysis services, collaborative content creation and digital communication processes. He studied communication sciences and sociology, and subsequently acquired a PhD in computer science.

Indira Sen is a doctoral candidate at GESIS, working at the intersection of Computational Social Science and Natural Language Processing. She has a bachelor’s and master's degree in Computer Science, and currently works on measuring social constructs like political attitudes and hate speech from social media data and understanding the limitations inherent to this task.

ics-Kalendereintrag (46 kB)

Content

The use of digital behavioral data (DBD) is one of the key features of computational social science. These data have several advantages compared to other types of data, such as survey data. For example, DBD are generally less costly to collect and less prone to being influenced by social desirability than survey data, and they allow for capturing behavior immediately when it occurs instead of ex-post, thus, reducing problems related to recall. At the same time, however, DBD also have specific limitations. These include a lack of information about the individuals (e.g., regarding their demographics, personality traits, or attitudes) or the fact that they provide only limited information about offline activities. Yet the measurement of individual attributes and attitudes as well as self-reported behaviors across domains is what surveys are well-suited for. Combining survey data and DBD therefore leverages the unique strengths of these two data types, while also addressing some of their respective limitations.

This talk discusses the benefits of combining survey data with DBD and the challenges associated with this approach. We will present different ways of linking surveys and DBD and address key challenges regarding linking procedures, informed consent, and data privacy.

Presenters

Dr. Johannes Breuer is as a senior researcher in the team Data Linking & Data Security at GESIS where his work focuses on data linking and the use of digital trace data. He holds a Ph.D. in psychology and his research interests include the use and effects of digital media, computational methods, data management, and open science.

Dr. Sebastian Stier is a senior researcher in the Computational Social Science department at GESIS. He holds a PhD in political science and conducts research in the fields of political communication, comparative politics, and computational social science.

ics-Kalendereintrag (45 kB)

Inhalt

In Umfragen in den Sozial- und Verhaltenswissenschaften werden häufig psychologische Merkmale, oftmals Konstrukte wie z.B. Persönlichkeit, Einstellungen, Werte, Absichten oder Verhalten, erhoben, die nicht direkt beobachtbar sind, sondern für die Messinstrumente (d.h. Items, Skalen, Fragebogen oder Tests) entwickelt werden müssen. Die Qualität eines Messinstrumentes fängt dabei bei dessen Entwicklung an und endet mit dessen Dokumentation. Die Qualität der Dokumentation eines solchen Messinstrumentes hat somit einen maßgeblichen Einfluss auf die Beurteilbarkeit der Qualität des Instrumentes selbst. Eine hochwertige und auffindbare Dokumentation ist der Schlüssel zu einer erfolgreichen Nachnutzung eines entwickelten Instrumentes durch andere Forschende. Durch eine Nachnutzung des Instrumentes kann die Erkenntnis über dessen Validität steigen. Gleichzeitig können Anwendungsbereiche erweitert werden.

In diesem Vortrag erhalten die Teilnehmer*innen einen detaillierten Überblick über die Aspekte, die bei der Dokumentation eines Instrumentes und bei der Qualitätsprüfung vorhandener Dokumentation zu beachten ist. Dies beginnt bei der Entwicklung eines Instrumentes selbst und endet mit der Dokumentation. Anhand von Beispielen wird erläutert, wie eine gelungene Dokumentation aussieht. Darüber hinaus bietet dieser Vortrag eine kurze Darstellung des GESIS-Angebotes ZIS, mit welchem GESIS Wissenschaftlerinnen und Wissenschaftlern bei der Dokumentation und Auffindbarkeit von Erhebungsinstrumenten unterstützt.  

 

Vortragende

Dr. Isabelle Schmidt ist seit 2019 bei GESIS als Senior Researcher in der Abteilung SDM beschäftigt. Sie ist verantwortlich für das Serviceangebot ZIS, dem Open-Access Repositorium für sozial- und verhaltenswissenschaftliche Messinstrumente, von GESIS – Leibniz Institut für Sozialwissenschaften. Vor ihrer Tätigkeit bei GESIS arbeitete sie als wissenschaftlicher Mitarbeiterin an der Universität Trier. Dort promovierte sie 2018 im Fach Psychologie. Sie lehrte und bot Beratung im Bereich der psychologischen Diagnostik und Methodik fachbereichsübergreifend an.

ics-Kalendereintrag (51 kB)

Content

Surveying specific (small) sub-populations is one of survey research’s long-standing methodological challenges. The recruitment of hard-to-reach populations through social networking sites (SNS), and particularly through Facebook’s and Instagram’s targeted advertising capabilities, is a promising approach that allows scholars to tackle this issue. During the last years, SNS recruitment received growing attention and has, for example, been successfully used to survey migrants, LGBTQ populations, supporters of conspiracy myths, and employees in specific economic sectors. Furthermore, this approach allows realizing large-scale surveys on topics of high societal importance, such as the current COVID-19 pandemic, within a concise timeframe.  

Starting with a brief overview and discussion of this method’s potentials and limitations, the presentation will focus on the practicalities of targeting specific populations through Facebook and Instagram. More specifically, we will detail on issues important to consider when planning a sampling strategy using Facebook/Instagram, the design of advertisements and advertisement campaigns, and briefly introduce the web interface used to set-up and control advertisement campaigns on these SNS.

Results and experiences from GESIS research projects targeting Polish migrants (https://doi.org/10.1177/0894439316666262), German emigrants (https://doi.org/10.34879/gesisblog.2020.25), and health care industry workers (in progress) will be used to provide practical examples throughout the presentation.

 

Presenters

Dr. Steffen Pötzschke is a postdoctoral researcher in the GESIS Panel team at GESIS – Leibniz-Institute for the Social Sciences in Mannheim. He joined GESIS in 2011 and received his doctoral degree (Dr. phil.) from the University of Osnabrück in 2018. His research interests include online survey methodology, survey design, SNS sampling, and methods of migration research.

Christoph Beuthner studied Sociology at the Technical University of Dresden and graduated in 2015. Since 2017 he is a doctoral researcher in the Team Survey Operations at GESIS - Leibniz-Institute for the Social Sciences in Mannheim. His dissertation focuses on optimizing online surveys.