Meet the Experts

GESIS online talks on Social Science Methods and Research Data

With our series we offer brief insights into state-of-the-art methods from social science research for all interested.
Current contributions focus on new approaches to digital behavioral data and methods from computational social science. Previous talks have presented best practices in survey methodology. Please find details on topics and speakers below. 

Set up & registration: Each session consists of a talk and a moderated Q & A part. All talks will take place online as Zoom meetings on Thursdays, 13-14 (CET). Please register for the session(s) you are interested in. Your registration will be confirmed via e-mail. You will be sent login information one day in advance of the talk. 

Data protection: Your contact information will be deleted at GESIS after the talks you registered for have been completed. More information on data protection at GESIS can be found here.

Slides and a recording of the talk will be made publicly available after each session. Please check the descriptions of past talks for respective links. For the recordings you might also go directly to the "meet the experts" playlists on the GESIS YouTube channel.
Side note: only the talk will be recorded, not the Q & A.

If you wish to keep up with events and other GESIS activities please subscribe to the monthly bilingual GESIS newsletter

Computational Social Science and Digital Behavioral Data (Autumn/ Winter 2021/22)

ONGOING – Autumn/ Winter 2021/22

This season of "meet the experts" is dedicated to carving out the benefits of computational methods and digital behavioral data (DBD) for the social sciences. All talks are in English. If you are interested in the field you might also check GESIS' new focus area Digital Behavioral Data, curated DBD datasets for scientific re-use, tools for analyzing​​​​​​ digital behavioral data, or materials for CSS capacity building

 Slides (2.55 MB)   |   This talk on YouTube   |   MTE playlist


A Short Introduction to Computational Social Science and Digital Behavioral Data

This talk will provide an introductory overview of the emergence of computational social science (CSS) as a new research area combining multidisciplinary methods and new types of data that promise to be valuable complements to surveys. The term digital behavioral data summarizes a broad variety of data captured by web-based platforms (most prominently platforms for online communication, but also e.g. shopping portals or dating sites) and other digital technologies like smartphones, fitness devices, or RFID sensors. Digital behavioral data result from traces that humans are leaving when using these platforms, i.e. the data is typically not a direct product of a scientifically predesigned research setup.

The talk showcases examples of digital behavioral data and how they have been used in past CSS research to learn about or predict behavior, characteristics, or opinions of platform users. It provides the basis for a series of talks from the area of CSS that will take a closer look at individual strategies for collecting digital behavioral data, different methods data analysis and different use cases for social science research.

Speaker

Dr. Katrin Weller leads the team Social Analytics and Services and is deputy head of the Computational Social Science department at GESIS. She holds a PhD in information science and is interested in understanding scientific communication structures in online environments. Her work also questions data archiving and sharing surrounding social media data. She was Digital Studies Fellow at the US Library of Congress.

Slides (4.16 MB)   |   This talk on YouTube   |   MTE playlist


Digital Traces of Human Behavior from Online Platforms – Research Designs and Error Sources

Peoples’ activities and opinions recorded as digital traces online, especially on social media and other web-based platforms, offer increasingly informative pictures of the public. They promise to allow inferences about populations beyond the users of the platforms on which the traces are recorded, representing real potential for the Social Sciences and a complement to survey-based research. But the use of digital traces brings its own complexities and new error sources to the research enterprise. Recently, researchers have begun to discuss the errors that can occur when digital traces are used to learn about humans and social phenomena.

This talk discusses various strategies for critical reflection on the limitations, implications, and consequences of using digital traces for measuring social constructs. Inspired by the Total Survey Error (TSE) Framework developed for survey methodology, we introduce a conceptual framework to diagnose, understand, and document errors that may occur in studies based on such digital traces. While there are clear parallels to the well-known error sources in the TSE framework, the new “Total Error Framework for Digital Traces of Human Behavior on Online Platforms” (TED-On) identifies several types of error that are specific to the use of digital traces. By providing a standard vocabulary to describe these errors, the proposed framework and this talk advances communication and research concerning the use of digital traces in scientific social research.

Speakers

Dr. Fabian Flöck leads the Data Science team at the Computational Social Science Department at GESIS. He is interested in the validity and transparency of automated measurement in social science contexts, but also researches interactive data analysis services, collaborative content creation and digital communication processes. He studied communication sciences and sociology, and subsequently acquired a PhD in computer science.

Indira Sen is a doctoral candidate at GESIS, working at the intersection of Computational Social Science and Natural Language Processing. She has a bachelor’s and master's degree in Computer Science, and currently works on measuring social constructs like political attitudes and hate speech from social media data and understanding the limitations inherent to this task.

Slides (3.39 MB)   l   This talk on YouTube   |   MTE playlist


Combining Survey Data and Digital Behavioral Data

The use of digital behavioral data (DBD) is one of the key features of computational social science. These data have several advantages compared to other types of data, such as survey data. For example, DBD are generally less costly to collect and less prone to being influenced by social desirability than survey data, and they allow for capturing behavior immediately when it occurs instead of ex-post, thus, reducing problems related to recall. At the same time, however, DBD also have specific limitations. These include a lack of information about the individuals (e.g., regarding their demographics, personality traits, or attitudes) or the fact that they provide only limited information about offline activities. Yet the measurement of individual attributes and attitudes as well as self-reported behaviors across domains is what surveys are well-suited for. Combining survey data and DBD therefore leverages the unique strengths of these two data types, while also addressing some of their respective limitations.

This talk discusses the benefits of combining survey data with DBD and the challenges associated with this approach. We will present different ways of linking surveys and DBD and address key challenges regarding linking procedures, informed consent, and data privacy.

Speakers

Dr. Johannes Breuer is a senior researcher in the team Data Linking & Data Security at GESIS where his work focuses on data linking and the use of digital trace data. He holds a Ph.D. in psychology and his research interests include the use and effects of digital media, computational methods, data management, and open science.

Dr. Sebastian Stier is a senior researcher in the Computational Social Science department at GESIS. He holds a PhD in political science and conducts research in the fields of political communication, comparative politics, and computational social science.

Slides (3.31 MB)   |   This talk on YouTube   |   MTE playlist


Research Ethics and Data Protection in Social Media Research

Information from social media and other web platforms are collected and used as a new type of research data across academic disciplines. Examples are the study of online communication or learning about users’ behaviors and opinions. While this promises numerous research opportunities, it not only leads to novel methodological challenges, but also raises various questions about research ethics and data protection. By now some guidance exists for researchers who study social media communication, e.g., material offered by professional research associations. But there is still a lot of work in progress and standards or best practices may not exist for every case. With this presentation we give a starting point to reflect upon critical questions when working with this new type of research data and point out useful resources as references.

The presentation will shed light on how researchers, social media platforms and users are entangled in complex relations that contribute to the challenges of research ethics. A specific focus will be placed on data protection as a core concept. Exemplary research scenarios will be used to illustrate critical questions along different phases in a prototypical research process.

Speakers

Dr. Katrin Weller leads the team Social Analytics and Services and is deputy head of the Computational Social Science department at GESIS. She holds a PhD in information science and is interested in understanding scientific communication structures in online environments. Her work also questions data archiving and sharing surrounding social media data. She was Digital Studies Fellow at the US Library of Congress.

Oliver Watteler is a senior researcher at GESIS – Leibniz Institute for the Social Sciences, where he works in the department Data Services for the Social Sciences (DSS). He holds a master's degree in history and political science and is responsible for data acquisition. Together with colleagues he advises and trains on topics of research data management. His focus is on legal conditions of RDM, especially data protection, on which he also publishes. He is a member of the Leibniz Association's Data Protection Working Group and vice member of the GESIS Ethics Committee.

Introduction to Online Data Acquisition

Scientists from various disciplines increasingly want to include web data in their work. The acquisition of such online data is an essential step in most computational social science research projects. There are multiple ways to collect data from online platforms, such as using web application programming interfaces (web APIs), web scraping, and data donations. Some methods and online platforms are better suited to explore different research questions, and the data that can be obtained vary according to policies and the structure of the platform forcing researchers to balance the alternatives. Therefore, it is important to understand the ecosystem to decide the best way to proceed, also considering the implicit policies that each API imposes in the process. Online data acquisition offers multiple opportunities to address societal questions that would otherwise be impossible to answer, and researchers should be able to easily evaluate the different alternatives taking into consideration their scope and limitations.

This talk presents methods of collecting online data, illustrates how access varies across different platforms such as Twitter and Crowdtangle, and shows the opportunities that the methods and platforms offer. First, the talk will introduce general web concepts including terminology related to data collection. Then, it will showcase some of the possibilities to access data from online platforms, including direct API (e.g. Twitter), third-party sources (e.g. CrowdTangle) and annotation services (e.g. Amazon Rekognition), as well as examples of how this data has been used to answer different research questions.

Speaker

Dr. Roberto Ulloa is a postdoctoral researcher at the Computational Social Science department of GESIS. He researches the role of institutions in shaping societies, and online platforms as forms of digital institutions.

Auditing Algorithms: How Platform Technologies Shape our Digital Environment

In digital environments algorithms play a major and often a decisive role. Algorithm auditing is an important research method for identifying problematic behavior in online platforms (such as social networks, search engines, job matching sales platforms). As these platforms gain influence in society, questions regarding their fairness have been raised. For example, how do algorithms reinforce discrimination against different societal groups? Do recommendation systems lead to polarization and help spread extremists views? Are certain sources favoured by search engines? Multiple auditing approaches have been applied to investigate these questions. Although most of the methods can be applied to relevant social science cases, the use of automated browsing (virtual agents) stands out as a promising venue for a permanent monitoring of algorithmic systems that can be leveraged to keep the companies behind them accountable.

This talk compares different methods for algorithm auditing, and showcases different results from past investigations. It will focus on a family of methods using virtual agents to systematically scrape online platforms at a large scale, allowing for experimental designs that can control factors that affect algorithms such as different levels of personalization.

Speaker

Dr. Roberto Ulloa is a postdoctoral researcher at the Computational Social Science department of GESIS. He researches the role of institutions in shaping societies, and online platforms as forms of digital institutions.

The German Federal Election: Social Media Data for Scientific (Re-)use

Social media have developed into important arenas for political debate and strategic communication by political actors. For social scientists, observing political communication over party competition and social media behavior of elites and regular citizens alike allows for drawing inferences about new political phenomena and longstanding research questions. In particular, a systematic monitoring of political campaigns and elections provides a high number of observations with a fine-grained granularity at a limited cost, when compared to population surveys.

However, research on social media comes with its own set of challenges, from collecting to storing, filtering, coding and interpreting the resulting large data sets. In this session, we elaborate on five best practices: the identification and validation of the target population, the most efficient and legal collection of data using APIs and open source tools, the design of databases to store these types of data, efficient ways to put humans in the loop for coding and validation, and finally, the management and maintenance of these processes.

Speakers

Dr. Marius Sältzer is a Postdoctoral researcher at GESIS CSS in the Project “Negative Campaigning in German Elections in Social Media”. He received his PhD from University of Mannheim on how political elites use social media to signal their positions and priorities to the electorate and other political actors. His research revolves around the dimensions of political conflict in political communication; methodologically Marius focuses on Text-as-Data.

Dr. Sebastian Stier is a senior researcher in the Computational Social Science department at GESIS. He holds a PhD in political science and conducts research in the fields of political communication, comparative politics, and computational social science.

Introduction to Text Mining

Language is the essence of our social life, and its use is at the center of many phenomena, studied by computational social scientists and political communication researchers alike. Examples include opinion dynamics, political polarization, or the biased representation and discrimination of social groups. The statistical analysis of large text corpora from traditional news and social media platforms greatly extends our methodological toolkit to study these phenomena. 

In this talk, Arnim Bleier gives an overview of the use of text as data and corpus statistics in the social sciences. The session will provide an introduction to areas of natural language processing such as feature extraction and supervised as well as unsupervised modeling of text. 

Speaker

Dr. Arnim Bleier is a postdoctoral researcher in the Department Computational Social Science at GESIS. His research interests are in the field of Computational Social Science, with an emphasis on natural language processing and reproducible research. In collaboration with social scientists, he develops models for the content, structure, and dynamics of social phenomena.

Social Network Analysis with Digital Behavioral Data

Our uses of digital technologies like social media platforms, email, or cell phones leave massive amounts of behavioral traces that are most interesting for social research. Such Digital Behavioral Data (DBD) consists of genuinely relational records. It requires a shift of perspective from persons to micro events as units of observation and brings established techniques like Social Network Analysis to center stage. In this session, I will propose a definition of DBD, characterize it as records of transactions, and discuss its properties in contrast to survey data. Next, I will draw upon empirical examples to describe how Social Network Analysis with DBD can address social dynamics that have traditionally been studied on either the micro or macro level. Social Network Analysis with DBD allows studying identities and social formations as processes. The key for doing so is that transactions are traces of individual behavior that are highly resolved and allow the reconstruction of emerging patterns. I will close with thoughts about methodological challenges and the significance of relational theories for the consolidation of Computational Social Science.

Speaker

Dr. Haiko Lietz is a sociologist with an engineering background. His dissertation at the University of Duisburg Essen is about network theory and analysis of scientific practice (2016). He is a post-doc researcher at the Computational Social Science department at GESIS. His research interests are in analytical and relational sociology and complex systems approaches.

Altmetrics – Analyzing Academic Communications from Social Media Data

Citation indexes have been used during the last years as an instrument to measure the scientific success of researchers. Although, they have been criticized for not showing immediate impact and for not being suited to assess the impact of non-traditional contents, like survey and research data or computer software and tools. Therefore, alternative metrics (altmetrics) to measure scientific impact and success are being explored. These new measures are often based on online news media, reference managers, and social media networks, including social bookmarking systems.

The presentation will shed light on existing aggregators of altmetrics from social media data and how these indicators can be used. Additionally, we will showcase some of the possibilities of indicators collected from Wikipedia and YouTube, as well as the challenges that occur with the data collection and interpretation.

Speakers

Olga Zagovora is a doctoral candidate at the Computational Social Science department at GESIS. Prior to joining GESIS, she studied computer science, web and data science. Her research focuses on the evaluation of alternative metrics for measuring scholarly communication and scientific impact. She has experience working with big data for social science research.

Dr. Katrin Weller leads the team Social Analytics and Services and is deputy head of the Computational Social Science department at GESIS. She holds a PhD in information science and is interested in understanding scientific communication structures in online environments. Her work also questions data archiving and sharing surrounding social media data. She was Digital Studies Fellow at the US Library of Congress.

Online Dating: Data Types and Analytical Approaches

In this lecture Andreas Schmitz presents the methodological dimension of online dating: digital process data and their statistical modeling, qualitative interviews, web surveys, the method integration of these data types, and the data quality of these data. On this basis, central findings on couple formation on the Internet will be presented.

Speaker

PD Dr. Andreas Schmitz is head of the project of the DFG-funded project "Networks, Paradigms and Careers in the Academic Field" with Richard Münch. Prior to that, he was Interim Professor of Sociology at the RWTH Aachen University, Germany. His main research interests are relational social theory, relational methodology, applied statistics, and generalized field theory. He is currently working in the field of data quality of digital process data, geometric data analysis, and mixed methods.

Political Behavior and Influence Dynamics in Online Network

This talk will present two recent projects studying political behavior and influence dynamics in online networks. The first project studies anger contagion in protest networks on Twitter. Large political protests in the real-world are often reflected in numerous discussions on social media platforms. The stated research questions are what makes the anger persist (or not) during protests and what is the role of updating strategies and network positions of different users. This project examines the influence dynamics in online social networks and the distribution of anger during protests in Charlotte, North Carolina (2016) and Charlottesville, Virginia (2017) by extracting mention and retweet networks of users tweeting during these protests, and conducting emotion analysis on tweets to determine the anger level of the users. Although these two protests differ in their triggering points, they have similarities in their macro behaviors during the peak protest times. Anger tends to peak early on and then taper off. The angriest users have fewer followers than less angry users. The project further studies the dynamics of anger using computational models implemented on the extracted user networks. This research has the potential to help understand influence dynamics in protest-related discussions and provide insights for public policy implications.

The second project studies the dynamics of commenters’ networks across time and political spectrum. Millions of people comment daily on current events on a variety of platforms ranging from diverse social media to the news sites themselves. Reading others’ comments can shape one’s own opinions about the story, its author, and the media outlet and help spread opinions and claims which counter the mainstream narrative. Here the social network of commenters on four well-known U.S. news sites that span the political spectrum from left to right is investigated. The focus is on two factors that could affect the dynamics of influence in commenters’ social networks: political orientation and threat experienced by one's group. The results suggest that commenters on political sites on the extremes of the political spectrum tend to have a higher inequality of influence than commenters on more moderate sites. Furthermore, the findings show the tendency for higher inequality of influence at times when supporters of a particular site feel threatened. This research can reveal whether discussions are influenced by relatively few commenters, or whether they are shaped by many different commenters and thus more in line with Habermasian ideal of public discourse.

 

Speaker

N. Gizem Bacaksizlar Turbic is a postdoctoral researcher at the Computational Social Science department at GESIS. She earned her Ph.D. in Software and Information Systems with a specialization in complex systems from the College of Computing and Informatics at the University of North Carolina at Charlotte. Her research interests are network science, natural language processing, system dynamics, and agent-based modeling.

SocioHub – A Collaboration Platform for the Social Sciences

SocioHub is a web portal for Sociology that (1) allows users to search for literature, research data, researchers, and research groups, and (2) improves communication between researchers and within research groups through a collaborative network. Users can create profiles that include their scholarly accomplishments. Research groups (and projects) can use various tools for internal collaboration and also use their group page as their website.

This talk will demonstrate the possibilities for researchers and research groups through a live tour. Researchers who want to use SocioHub for themselves or for their research groups and projects are invited to participate interactively with feedback and questions. Furthermore, our team will be available for further consultation appointments for participants.

SocioHub is a joint project of the University and City Library of Cologne (USB) and GESIS - Leibniz Institute for the Social Sciences and has been funded by the German Research Foundation (DFG) since July 2016.

 

Speaker

David Brodesser is a product manager at the „Knowledge Technologies for the Social Sciences“ department at GESIS. His focus is on agile and user centered development processes for software services.

Umfrageforschung

Diese Staffel der "meet the experts"-Reihe widmet sich der Umfragemethodik. Des Weiteren informieren die GESIS Survey Guidelines über viele Aspekte, die bei der Organisation und Durchführung von Umfragen zu berücksichtigen sind und die auch hier im Rahmen der Reihe vorgetragen werden. Für individuelle Beratungen zu wissenschaftlichen Forschungsprojekten können Sie uns auch individuell kontaktieren. Hier kommen Sie zu weiteren Informationen.

Die Folien des Vortrags erhalten Sie hier (1.00 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Häufig wird in (wissenschaftlichen) Publikationen darauf verwiesen, dass die Ergebnisse einer Erhebung auf einer „repräsentativen“ Stichprobe basieren. Problematisch an dieser Aussage ist jedoch, dass es „Repräsentativität“ als Gütekriterium im mathematisch/statistischen Sinn nicht gibt. Die Beurteilung einer Erhebung erfolgt hier vielmehr über die verwendete Stichprobenstrategie sowie die Erwartungstreue und Effizienz eines Schätzers.  

Ziel dieses Vortrags ist es daher, ein besseres Verständnis für die Verwendung gängiger Stichprobenstrategien zu vermitteln. Dafür werden sowohl einfache als auch komplexe (mehrstufige) Ziehungsverfahren erläutert. Ein weiterer Fokus liegt gerade bei komplexen Stichprobenziehungen mit ungleichen Auswahlwahrscheinlichkeiten in der korrekten Berücksichtigung des Sample Designs im Zuge der Schätzung. Dies geschieht durch die Verwendung von Designgewichten. Sowohl Stichprobenstrategien als auch die Anwendung von Designgewichten werden anhand einfacher Beispiele erläutert. 

Vortragende:

Dr. Matthias Sand ist Senior Researcher bei GESIS – Leibniz-Instituts für Sozialwissenschaften, im Team Survey Statistics. In seiner Forschung und Beratung widmet er sich Fragestellungen aus dem Bereich der komplexen Stichprobenziehung, der Gewichtung von Erhebungsdaten sowie der Imputation fehlender Werte. Er promovierte an der TU Dresden zum Thema der Gewichtung von Erhebungsdaten, basierend auf mehreren Auswahlgrundlagen am Beispiel telefonischer Befragungen. 

Dr. Christian Bruch ist Senior Researcher bei GESIS – Leibniz-Institut für Sozialwissenschaften, im Team Survey Statistics. Seine Forschung bezieht sich auf Gewichtungsverfahren, Varianzschätzung und Imputation. Er hat seine Dissertation zum Thema Varianzschätzung unter Imputation und bei komplexen Stichprobendesigns geschrieben. 

 

Die Folien des Vortrags erhalten Sie hier (1.04 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Der Vortrag behandelt den Umgang mit Schätzungen, die auf Daten mit fehlenden Werten basieren, und deckt sowohl den Umgang mit Unit als auch Item Nonresponse ab. In diesem Zusammenhang wird ein Überblick über Gewichtungsverfahren gegeben, die in der Praxis häufig zur Kompensation fehlender Werte eingesetzt werden. Im Einzelnen werden die Gewichtungsmethoden Raking, Poststratifizierung und lineare Verfahren, wie der General Regression Estimator, vorgestellt. Des Weiteren wird der Vortrag eine kurze Einführung zu Verfahren der Imputation geben. Auch diese Verfahren werden zur Kompensation fehlender Werte eingesetzt, bilden zusätzlich aber auch die Grundlage zur Durchführung der Gewichtungsmethoden. Der Vortrag wird daher Verfahren der einfachen und multiplen Imputation beinhalten. 

Vortragende:

Dr. Christian Bruch ist Senior Researcher bei GESIS – Leibniz-Institut für Sozialwissenschaften, im Team Survey Statistics. Seine Forschung bezieht sich auf Gewichtungsverfahren, Varianzschätzung und Imputation. Er hat seine Dissertation zum Thema Varianzschätzung unter Imputation und bei komplexen Stichprobendesigns geschrieben. 

Dr. Matthias Sand ist Senior Researcher bei GESIS – Leibniz-Instituts für Sozialwissenschaften, im Team Survey Statistics. In seiner Forschung und Beratung widmet er sich Fragestellungen aus dem Bereich der komplexen Stichprobenziehung, der Gewichtung von Erhebungsdaten sowie der Imputation fehlender Werte. Er promovierte an der TU Dresden zum Thema der Gewichtung von Erhebungsdaten, basierend auf mehreren Auswahlgrundlagen am Beispiel telefonischer Befragungen. 

Die Folien des Vortrags erhalten Sie hier (572 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Eine gute Fragebogenübersetzung ist unabdingbar für ein gelingendes internationales oder interkulturelles Forschungsprojekt. Es reicht jedoch nicht, das Übersetzungsthema erst nach der Entwicklung eines Ausgangsinstruments in den Fokus zu nehmen. Vielmehr sollte Übersetzung bereits bei der Entwicklung eines Fragebogens eine Rolle spielen. Im ersten Teil dieses Vortrags geht es somit darum, wie Übersetzbarkeit und kulturelle Relevanz bereits während der eigentlichen Fragebogenentwicklung berücksichtigt werden können (z.B. durch interkulturelle Teams, Verfahren zur Überprüfung der Übersetzbarkeit oder fragespezifische Übersetzungsrichtlinien). Im zweiten Teil des Vortrags werden Best-Practice-Methoden vorgestellt, insbesondere der Team-Ansatz bzw. die TRAPD-Übersetzungsmethodik. Im dritten Teil werden Management-Aspekte beleuchtet, die als Auftraggeber bzw. Projektleiter zu berücksichtigen sind. Hierzu zählen z.B. zeitliche Planung oder Briefing der Übersetzer. 

Vortragende:

Dr. Dorothée Behr ist Teamleiterin des Teams Cross-Cultural Survey Methods in der Abteilung Survey Design and Methodology (SDM). Ihre Forschung und Beratung fokussiert auf verschiedenen Aspekten der Fragebogenübersetzung sowie auf interkulturellem Web-Probing zur Überprüfung von Vergleichbarkeit in Umfragedaten. Sie entwickelte u.a. federführend die Übersetzungsrichtlinien für den Hintergrundfragebogen in PIAAC in Zyklus 1 und 2, war in die Entwicklung des Übersetzungstools im EVS 2017 eingebunden und ist Mitglied des Translation Expert Panels im ESS. 2009 promovierte sie an der Universität Mainz zur Methodik in der Fragebogenübersetzung.   

Die Folien des Vortrags erhalten Sie hier (0.96 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Um zu gewährleisten, dass die mittels eines Fragebogens erhobenen Informationen eine hohe Datenqualität aufweisen, muss sichergestellt werden, dass alle Befragten die enthaltenen Fragen verstehen, nur solche Informationen abgefragt werden, die Befragte tatsächlich haben und auch abrufen können, und dass die Fragen im intendierten Sinn des Forschers verstanden werden. Die Ermittlung und Behebung solcher Probleme sind die zentralen Ziele von kognitiven Interviews. Dieser Vortrag vermittelt die grundsätzliche Bedeutung und Relevanz von kognitiven Interviews im Rahmen von Umfrageprojekten. Der Sinn und Zweck kognitiver Interviews wird anhand von Beispielen ungetesteter Fragen und auf Basis von Pretests überarbeiteter Fragen verdeutlicht. Des Weiteren werden die wichtigsten kognitiven Techniken kurz vorgestellt (z.B. Think Aloud, Probing) und Ratschläge zur praktischen Durchführung von Pretests gegeben. Abschließend werden die Angebote vorgestellt, die GESIS im Bereich kognitiver Pretests zur Verfügung stellt. 

Vortragender:

Dr. Timo Lenzner ist Senior Researcher im Bereich Kognitives Pretesting bei GESIS – Leibniz-Institut für Sozialwissenschaften. Seine Schwerpunkte liegen in der Beratung und Durchführung von kognitiven Pretests und in der Forschung zum Design und der Evaluation von Fragebögen.

Die Folien des Vortrags erhalten Sie hier (807 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Angesichts einer nahezu flächendeckenden Verfügbarkeit eines Internetzugangs und geringer Erhebungskosten stellen Online-Befragungen eine sehr attraktive Möglichkeit der Datenerhebung dar. Jedoch mangelt es an einem geeigneten Ziehungsrahmen für bevölkerungsrepräsentative Online-Umfragen – und längst nicht jede Zielperson ist willens oder in der Lage, an einer Online-Befragung teilzunehmen. Daher bietet sich eine Kombination der beiden selbstadministrierten Modi online und schriftlich/postalisch an. Auf diese Weise können die Zielpersonen auf der Basis von Registerstichproben postalisch rekrutiert und zur Teilnahme an der Umfrage eingeladen werden. An dieser können sie sich dann entweder online oder mit einem Papierfragebogen beteiligen. Die Kombination der beiden selbstadministrierten Erhebungsmodi erscheint zudem vor dem Hintergrund des gegenwärtigen Gebots der sozialen Distanzierung besonders attraktiv.  

Im Rahmen des Vortrags werden die vielfältigen Potenziale selbstadministrierter Mixed-Mode-Befragungen diskutiert und anhand von empirischer Evidenz bewertet. Dabei wird insbesondere auf den Rücklauf, die Zusammensetzung der realisierten Stichprobe und die Erhebungskosten eingegangen. Auf der Grundlage einer kürzlich von GESIS durchgeführten Studie wird zudem dargelegt, wie sich unkonditionale Incentives und die Reihenfolge des Modusangebots auf den Rücklauf, die Stichprobenzusammensetzung und die Erhebungskosten auswirken. Auf diese Weise können Empfehlungen für die Durchführung selbstadministrierter Mixed-Mode-Befragungen vorgeschlagen und diskutiert werden. 

Vortragende:

Dr. Sven Stadtmüller arbeitet seit 2015 bei GESIS – Leibniz-Institut für Sozialwissenschaften in der Abteilung Survey Design and Methodolody im Team Survey Operations. Seine Forschungsschwerpunkte sind die Rekrutierung von Zielpersonen für wissenschaftliche Umfragen sowie Mixed-Mode-Befragungen, insbesondere Befragungen mit der Kombination der beiden Modi online und schriftlich/postalisch. 

Dr. Henning Silber ist Leiter des Teams Survey Operations und arbeitet seit 2015 bei GESIS – Leibniz-Institut für Sozialwissenschaften in der Abteilung für Survey Design and Methodology. Seine Forschungsschwerpunkte umfassen die Bereiche Online- und Panelbefragungen, Umfrageimplementierung, experimentelle Untersuchungsdesigns und politische Soziologie.

Die Folien des Vortrags erhalten Sie hier (1.23 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Verschiedene Umfragen wenden zur Messung der gleichen Konzepte oft unterschiedliche Fragen und Antwortformate an. Wenn Daten aus verschiedenen Umfragen verglichen oder kombiniert werden sollen, führt das zu Vergleichbarkeitsproblemen. Instrumente, die latente Konstrukte (wie Einstellungen, Werte oder Persönlichkeit) messen, sind hier besonders herausfordernd. Je nach Frageformulierung und Antwortskala können die gleichen Zahlenwerte eine völlig unterschiedliche Intensität des Konstrukts bedeuten. Eine effiziente und valide Möglichkeit dieses Problem zu beheben ist das sogenannte Test Equating aus der Psychometrie. Das vorgestellte Equating-Verfahren lässt sich sowohl auf Einzelfragen wie auch Mehr-Item-Skalen anwenden. Zudem lässt es sich größtenteils automatisieren, was gerade bei größeren Projekten und Variablenmengen wichtig ist. Vorgestellt werden die Grundidee, ein empirisches Beispiel und ein Beispiel effizienter Automatisierung. 

Vortragender:

Dr. Ranjit K. Singh ist ein Postdoc in der Abteilung Survey Design and Methodology bei GESIS. Er praktiziert, erforscht und berät zur ex-post Harmonisierung von Umfrageinstrumenten und -daten. Weitere Forschungsinteressen sind die Qualität von Umfrageinstrumenten sowie Selbstkontrolle.

Die Folien des Vortrags erhalten Sie hier (396 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt: 

Die Qualität der Erhebungsinstrumente eines Surveys hat einen maßgeblichen Einfluss auf die Belastbarkeit der empirischen Schlüsse, die auf Basis der erhobenen Daten gezogen werden. Da Fehler bei der Fragebogenkonstruktion nach Erhebung der Daten in der Regel nicht mehr behoben werden können, sollte die Entwicklung des Fragebogens mit großer Sorgfalt und ausreichend Zeit erfolgen. In diesem Vortrag erhalten die Teilnehmer*innen einen kurzen Überblick über die wichtigsten Aspekte, die bei der Konstruktion des Fragebogens und der Entwicklung von Fragen beachtet werden sollten, die aber typischerweise immer wieder übersehen werden. Dies beginnt bereits bei der Umsetzung der Forschungsfragen in einem Erhebungsinstrument. Häufig ist letzteres viel zu umfangreich und es ist bereits abzusehen, dass man viele Fragen überhaupt nicht auswerten wird. Dann sollte man aber unbedingt Kürzungen vornehmen, die die Befragten deutlich entlasten können und somit zur Motivation beitragen. Weiterhin wird anhand von ausgewählten Beispielen erläutert, wie man Fehler bei der Formulierung der Fragen und Antwortkategorien vermeiden kann. Darüber hinaus bietet dieser Vortrag einen kurzen Überblick über die GESIS-Angebote zur Unterstützung von Wissenschaftlerinnen und Wissenschaftlern bei der Fragebogenentwicklung.  

Vortragende:

Prof. Dr. Michael Braun ist Projektberater bei GESIS – Leibniz Institut für Sozialwissenschaften. Vor seiner Tätigkeit bei GESIS arbeitete er als wissenschaftlicher Mitarbeiter am Institut für Soziologie der Universität München. 1988-1989 hatte er eine Gastprofessur am Department of Sociology der University of Chicago inne. Er hat im Jahr 1985 an der Universität München im Fach Soziologie promoviert und im Jahre 2004 an der Universität Mannheim im Fach Empirische Sozialforschung habilitiert. Seit 2007 ist er apl. Professor an der Universität Mannheim. 

Dr. Jette Schröder ist Projektberaterin bei GESIS – Leibniz Institut für Sozialwissenschaften. Seit November 2015 ist sie außerdem Geschäftsführerin der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute e. V. (ASI) und seit Juni 2016 stellvertretende Vorsitzende des Rats der Deutschen Markt- und Sozialforschung e. V.. Vor ihrer Tätigkeit bei GESIS arbeitete sie als methodische Koordinatorin im Beziehungs- und Familienpanel pairfam und war Mitarbeiterin am Lehrstuhl für Statistik und sozialwissenschaftliche Methodenlehre an der Universität Mannheim. Sie hat im Jahr 2009 an der Universität Mannheim im Fach Sozialwissenschaften promoviert. 

Die Folien des Vortrags erhalten Sie hier (1.26 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Das GESIS Panel (https://www.gesis.org/gesis-panel) richtet sich an Forschende aus den Verhaltens- und Sozialwissenschaften, die kostenfrei eine eigene Umfrage („Studie“) auf Grundlage einer Zufallsstichprobe von etwa 5.000 Befragten durchführen möchten. Die Befragungen werden in einem dreimonatigen Rhythmus durchgeführt. Im Rahmen eines zweistufigen Einreichungsverfahrens können sich interessierte Forscher*innen ganzjährig um freie Umfrageplätze sowohl für quer- als auch längsschnittliche Studien bewerben, wobei pro Umfragewelle maximal 5 Minuten Befragungszeit zu Verfügung stehen. Die Durchführung der eigenen Befragung setzt eine erfolgreiche Begutachtung durch externe Gutachter*innen voraus.

Das GESIS Panel ist aber auch eine reichhaltige Datenquelle für Sekundäranalysen, da wir viele verschiedene Interessen durch die Studieneinreichungen aus unterschiedlichen Disziplinen bedienen. Hervorheben möchte wir, dass im GESIS Panel bereits seit März 2020, und dann auch im weiteren Jahresverlauf, Umfragedaten zum Ausbruch des Coronavirus SARS-CoV-2 erhoben wurden, die für Sekundäranalysen verfügbar sind (für weitere Informationen: https://www.gesis.org/gesis-panel/coronavirus-outbreak). Ergänzt werden diese Inhalte durch unsere jährlichen Kernstudien zu relevanten Themen aus Demografie, Politikwissenschaften, Psychologie, Umweltforschung etc. Mittlerweise liegen 40 Wellen vor, die Längsschnittdaten aus sechs Jahren umfassen.

Nach einer allgemeinen Vorstellung des GESIS Panel gehen wir in dem Vortrag zum einen auf den Prozess der Studieneinreichung ein und erläutern insbesondere, was zu einer erfolgreichen Einreichung gehört. Anschließend führen wir in das GESIS Panel als Datenquelle ein und illustrieren, wie Sie sich mit den Daten vertraut machen und worauf Sie bei der Analyse achten sollten.

Vortragende:

Dr. Bernd Weiß ist seit 2017 Leiter des GESIS Panel und stellvertretender Abteilungsleiter der Abteilung Survey Design and Methodology bei GESIS - Leibniz-Institut für Sozialwissenschaften. Er hat Soziologie, Philosophie und Geografie studiert und an der Universität zu Köln promoviert. Seine Forschung umfasst Themen wie Umfragemethodik, Forschungssynthesen, Jugenddelinquenz sowie Familien- und Partnerschaftssoziologie.

Dr. Ines Schaurer ist PostDoc bei GESIS - Leibniz-Institut für Sozialwissenschaften und stellvertretende Teamleiterin im Team GESIS Panel. Sie hat Sozialwissenschaften an der Universität Mannheim studiert und 2017 mit einer umfragemethodischen Arbeit promoviert. Ihre Forschungsinteressen liegen im Bereich der Umfragemethodik mit Schwerpunkt auf Online- und Mixed-Mode-Umfragen der allgemeinen Bevölkerung sowie Umfragedurchführung und Datenqualität.

Mirjan Schulz ist Doktorandin beim GESIS Panel und ist dort in der Studienbetreuung und Erstellung der Befragungswellen tätig. Ihre Forschungsinteressen umfassen mobile Befragungen und Layouteffekte bei verschiedenen Teilnahmemodi.

 

 

Die Folien des Vortrags finden Sie hier (527 kB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Kognitive Pretests werden in der Umfrageforschung eingesetzt, um die Verständlichkeit eines Fragebogens oder einzelner Items zu überprüfen. Neben klassischen face-to-face Interviews ermöglicht die Methode des Web Probings die Durchführung eines Pretests im Rahmen einer Online-Befragung. Dazu werden klassische kognitive Nachfragetechniken in eine Online-Befragung implementiert. Ziel dieses Vortrags ist es, die Methode des Web Probings in Abgrenzung zu kognitiven Interviews vorzustellen und die Vorzüge und Schwächen der jeweiligen Methode darzulegen. Daneben fokussiert der Vortrag auf praktische Aspekte zur Durchführung von Online-Pretests, die sich aus der Übertragung in den Online-Modus ergeben.   

Vortragende:

Dr. Cornelia Neuert ist Leiterin des Teams Questionnaire Design & Evaluation in der Abteilung Survey Design & Methodology (SDM). Ihre Forschungsinteressen liegen im Bereich Questionnaire Design, Response Behavior und in der Bewertung und Weiterentwicklung kognitiver Pretestverfahren. 

Die Folien des Vortrags erhalten Sie hier (2.25 MB).

Die Aufzeichnung des Vortrags finden Sie hier: Zur YouTube-Playlist

Inhalt:

Die stetig wachsende Menge an empirischen Studien in vielen sozialwissenschaftlichen Disziplinen erschwert es Forschenden, den aktuellen Forschungsstand im Blick zu haben und neue Erkenntnisse im Kontext der bisherigen Forschung einzuordnen. Systematische Übersichtsarbeiten und Meta- Analysen sind nützliche Tools für die Erstellung von Forschungssynthesen und können die Grundlage für evidenzbasierte Entscheidungen in Politik und Wissenschaft sein. Dieser Impulsvortrag wird eine grundsätzliche Einführung in verschiedene Verfahren der (quantitativen) Forschungssynthese geben. Behandelt werden Themen wie Meta-Analyse, systematische Übersichtsarbeiten und Evidenz-Gap-Maps. Darüber hinaus werden den Teilnehmenden Bewertungskriterien an die Hand gegeben und exemplarisch Anwendungsbeispiele aufgezeigt.

Vortragende:

Dr. Jessica Daikeler ist PostDoc bei GESIS - Leibniz-Institut für Sozialwissenschaften und arbeitet im Team Survey Operations.  Jessica hat ihre Doktorarbeit zur Anwendung evidenzbasierter Methoden in der Umfrageforschung an der Universität Mannheim abgeschlossen und ist bei GESIS in die Erstellung von Evidenz-Gap-Maps, systematischen Übersichtsarbeiten und Meta-Analysen involviert. Jessica ist im Bereich Umfrageforschung aktiv und forscht hier zu Datenqualitätsunterschieden verschiedener Umfragemodi und Endgeräten und zu offenen Antworten.

Dr. Bernd Weiß ist seit 2017 Leiter des GESIS Panel und stellvertretender Abteilungsleiter der Abteilung Survey Design and Methodology bei GESIS - Leibniz-Institut für Sozialwissenschaften. Er hat Soziologie, Philosophie und Geografie studiert und an der Universität zu Köln promoviert. Seine Forschung umfasst Themen wie Umfragemethodik, Forschungssynthesen, Jugenddelinquenz sowie Familien- und Partnerschaftssoziologie.

 

Slides (in German) can be found here (620 kB).

The recording (in German) can be found here: Zur YouTube-Playlist

Inhalt:

Nonresponse Bias kann immer dann entstehen, wenn sich Teilnehmer einer Befragung systematisch von den Nicht-Teilnehmern unterscheiden. Das kann beispielsweise der Fall sein, wenn bestimmte gesellschaftliche Gruppen häufiger die Einladung zur Teilnahme nicht erhalten/nicht kontaktiert werden können, sich häufiger gegen eine Teilnahme entscheiden oder nicht in der Lage sind teilzunehmen (bspw. weil ihnen die zur Teilnahme nötige technische Ausstattung fehlt).  

In diesem Vortrag wird zunächst die Frage behandelt, wie Nonresponse Bias entsteht und warum die Teilnahmerate kein guter Indikator für Nonresponse Bias darstellt. Im Anschluss werden Methoden vorgestellt, mit denen Nonresponse Bias quantifiziert werden kann. Diese Methoden beinhalten unter anderem Vergleiche der Stichprobenzusammensetzung mit der Gesamtbevölkerung und die Berechnung von R-Indikatoren.

Vortragende:

Dr. Barbara Felderer ist Teamleiterin des Teams Umfragestatistik in der Abteilung Survey Design and Methodolgy (SDM). Ihre Forschung und Beratung fokussiert auf der Qualität von Umfragedaten, insbesondere Nonresponse und Nonresponse Bias und der damit verwandten Erstellung von Anpassungsgewichten. Sie promovierte 2015 an der LMU München zur Analyse der Qualität von Befragungsdaten mithilfe administrativer Daten.

Slides (in German) can be found here (2.18 MB).

The recording (in German) can be found here: YouTube-Playlist

Inhalt

Mit der Erhebung von sozialen Netzwerken lässt sich das Verhalten von Personen innerhalb sozialer Gruppen untersuchen. Dabei spielt sowohl die Frage nach der Zusammensetzung der Netzwerke (Wer ist im Netzwerk?) als auch nach der Struktur (Wie sind die Netzwerkmitglieder miteinander verbunden?) eine Rolle. Die Erhebung und Analyse von Netzwerkdaten birgt zwar ein großes Forschungspotential, ist aber auch sehr ressourcenintensiv.

Der Vortrag gibt im ersten Teil einen Einblick in die Grundidee und Logik von Netzwerken und Netzwerkdaten. Der zweite Teil des Vortrags versteht sich als ein „How to Manual“ dafür, wie typischerweise egozentrierte Netzwerkstudien im Rahmen von Umfragen designt werden. Damit soll der Vortrag zum einen eine Entscheidungshilfe für all diejenigen bieten, die noch abwägen, ob die Erhebung von Netzwerkdaten für sie sinnvoll ist, und zum anderen eine Orientierungshilfe für all diejenigen sein, die bereits eine egozentrierte Netzwerkstudie planen.

 

Vortragende

Dr. Lydia Repke ist Postdoktorandin in der Abteilung Survey Design and Methodology bei GESIS und seit 2020 Mitglied der Jungen Akademie der Akademie der Wissenschaften und der Literatur | Mainz. Ausgezeichnet mit dem Special Doctorate Award promovierte sie zum Thema multikultureller Identifikationen und sozialer Netzwerke im Bereich der kulturellen Psychologie (2017) an der Universität Pompeu Fabra in Barcelona, wo sie außerdem für das Research and Expertise Centre for Survey Methodology arbeitete. Gemeinsam mit Sophie Zervos moderiert sie aktuell den GESIS Podcast "Die Fakten dicke!", zu dem sie begleitend auch Lehr- und Lernfolien zur Verfügung stellt.

Slides can de downloaded here (3.12 MB).

The recording can be found here: Zur YouTube-Playlist

Content

Surveying specific (small) sub-populations is one of survey research’s long-standing methodological challenges. The recruitment of hard-to-reach populations through social networking sites (SNS), and particularly through Facebook’s and Instagram’s targeted advertising capabilities, is a promising approach that allows scholars to tackle this issue. During the last years, SNS recruitment received growing attention and has, for example, been successfully used to survey migrants, LGBTQ populations, supporters of conspiracy myths, and employees in specific economic sectors. Furthermore, this approach allows realizing large-scale surveys on topics of high societal importance, such as the current COVID-19 pandemic, within a concise timeframe.  

Starting with a brief overview and discussion of this method’s potentials and limitations, the presentation will focus on the practicalities of targeting specific populations through Facebook and Instagram. More specifically, we will detail on issues important to consider when planning a sampling strategy using Facebook/Instagram, the design of advertisements and advertisement campaigns, and briefly introduce the web interface used to set-up and control advertisement campaigns on these SNS.

Results and experiences from GESIS research projects targeting Polish migrants (https://doi.org/10.1177/0894439316666262), German emigrants (https://doi.org/10.34879/gesisblog.2020.25), and health care industry workers (in progress) will be used to provide practical examples throughout the presentation.

 

Presenters

Dr. Steffen Pötzschke is a postdoctoral researcher in the GESIS Panel team at GESIS – Leibniz-Institute for the Social Sciences in Mannheim. He joined GESIS in 2011 and received his doctoral degree (Dr. phil.) from the University of Osnabrück in 2018. His research interests include online survey methodology, survey design, SNS sampling, and methods of migration research.

Christoph Beuthner studied Sociology at the Technical University of Dresden and graduated in 2015. Since 2017 he is a doctoral researcher in the Team Survey Operations at GESIS - Leibniz-Institute for the Social Sciences in Mannheim. His dissertation focuses on optimizing online surveys.