Mitarbeiterinnen und Mitarbeiter am Institut für Soziologie

Wissenschaftlicher Werdegang

• seit 04/2019 Wissenschaftliche Mitarbeiterin (PostDoc), Empirische Sozialforschung, Institut für Soziologie, Technische Universität Darmstadt

• 01/2019 Dr. phil., Magna Cum Laude, Technische Universität Darmstadt, Dissertationsschrift: „The Effect of Assigning Sample Members to their preferred Device on Nonresponse and Measurement Error in Web Surveys"

• 01/2014-03/2019 Wissenschaftliche Mitarbeiterin (Doktorandin), Empirische Sozialforschung, Institut für Soziologie, Technische Universität Darmstadt

• 03/2013 Dipl.-Soz., Sehr Gut, Technische Universität Darmstadt, Diplomarbeit: „Die Wirkung von Bildern auf den Frage-Antwort-Prozess bei Online Befragungen: Eine Eye-Tracking Untersuchung“

• 02/2010-09/2010 Sozialwissenschaften und Betriebswirtschaftslehre an der University of New South Wales, Sydney, Australien (Auslandsaufenthalt)

• 10/2006-03/2013 Dipl.-Soz., Sehr Gut, Technische Universität Darmstadt, Diplomarbeit: „Die Wirkung von Bildern auf den Frage-Antwort-Prozess bei Online Befragungen: Eine Eye-Tracking Untersuchung“

Drittmitteleinwerbungen, Fördermittel & (Ideelle) Stipendien

• 07/2023 „Wenn Alexa die Fragen stellt. Umfragen mit digitalen Sprachassistenten“. Mitantragstellerin, Landesprogramm LOEWE, Laufzeit 2023-2025, Fördersumme 251.000 Euro

• 02/2018 Finanzielle Unterstützung aus Frauenfördermitteln der Technischen Universität Darmstadt für mein Dissertationsprojekt zu dem Thema „Device preference in Web surveys“ und die daraus geplante Publikation, Fördersumme 2.438 Euro

• 11/2015-10/2017 Ausgewählte Teilnehmerin des durch das Land Hessen geförderten Mentoring-Programms “SciMento-hessenweit” der fünf hessischen Universitäten

Metzler, A. (2020). The effect of assigning sample members to their preferred device on nonresponse and measurement in Web surveys. Darmstadt, Technische Universität Darmstadt, DOI: 10.25534/tuprints-00008788, [Dissertation] (opens in new tab)

Metzler, A., Kunz, T. & Fuchs, M. (2015). The Use and Positioning of Clarification Features in Web Surveys. Psihologija, 48(4), 379-408. (opens in new tab)

Metzler, A. & Fuchs, M. (2018). Predicting survey breakoff in Web surveys. Vortrag auf der 73. Konferenz der American Association for Public Opinion Research (AAPOR), Session K10 “Don’t close that window! Understanding why Web survey respondents break off”, Denver/ Colorado/ USA

Metzler, A. & Fuchs, M. (2018). Clarification features in Web surveys. A meta-analysis. Vortrag auf der General Online Research Conference 2018 (GOR18), Session A9 „Survey scales and survey questions“, Technische Hochschule Köln

Metzler, A. & Fuchs, M. (2017). The mobile Web only population: Socio-demographic characteristics and potential bias. Vortrag auf der 7. Konferenz der European Survey Research Association (ESRA), Session „Mixed-device surveys and device preference“, Lissabon/ Portugal

Metzler, A. & Fuchs, M. (2016). The length and content of clarification features in Web surveys. Vortrag auf der General Online Research Conference 2016 (GOR16), Session A11 „Special topics in Web surveys“, Hochschule für Technik und Wirtschaft Dresden

Metzler, A. & Fuchs, M. (2015). Nonresponse bias and measurement error in Web surveys. Vortrag auf der International Total Survey Error Conference 2015 (TSE15), Session IV “Error sources in Web surveys”, Baltimore/ Maryland/ USA

Metzler, A. & Fuchs, M. (2014). Coverage error in mobile Web surveys across European countries. Vortrag auf dem 7. Internet Survey Methodology Workshop (ISM), Session 6 “Online mobile surveys”, Freie Universität Bozen/ Italien

Lehre (Auswahl)

SoSe 2023

• Lehrforschungsprojekt I: Interaktivität in Online-Umfragen, MA
• Methodenvertiefung: Computergestützte Datenanalyse mit SPSS, BA

WiSe 2022/23

• Interdisziplinäre Projektwoche mit dem FB Biologie: Biodiversität in Darmstadt, BA
• Methodenvertiefung: Computergestützte Datenanalyse mit R Studio, BA

SoSe 2022

• Methodenvertiefung: CATI: Befragungen mit Telefon und Computer, BA

WiSe 2020/21

• Online-Umfragen, BA

SoSe 2020

• Computergestützte Datenanalyse mit STATA, BA

Workshops

August 2018

• Questionnaire Design, 7th GESIS Summer School in Survey Methodology, Köln

April 2018

• SPSS Softwarekurs, CEDAR Graduiertenschule, Frankfurt University of Applied Science

August 2017

• Questionnaire Design, 6th GESIS Summer School in Survey Methodology, Köln

September 2015

• Questionnaire Design, International Research Workshop, Akademie Sankelmark

August 2015

• Questionnaire Design, 4th GESIS Summer School in Survey Methodology, Köln

Umfragen mit digitalen Sprachassistenten

Politik und Wirtschaft sowie Wissenschaft sind auf Informationen über die Einstellungen und Verhaltensweisen, über die Präferenzen und Werteorientierungen der Bevölkerung angewiesen. Seit Beginn des 21. Jahrhunderts werden solche Daten hauptsächlich mit Hilfe standardisierter Online-Befragungen erhoben, die jedoch im Vergleich zu klassischen Umfragemethoden häufig eine geringere Datenqualität aufweisen. Die geringere Teilnahmebereitschaft in Online-Befragungen sowie angewandte Antwortstrategien der Befragten zur Reduzierung des kognitiven Aufwands (Satisficing) erhöhen die Gefahr für eine Verzerrung der Daten.

Erste innovative Studien zur Erhöhung der Teilnahmebereitschaft und Verringerung von Messfehlern in Online-Befragungen durch den Einsatz von Avataren oder Embodied Conversational Agents zeigen, dass die Unterstützung durch den visuellen Kanal weniger wichtig für die Datenqualität zu sein scheint als eine naturalistische sprachliche Kommunikation.

Dieser Befund stellt den Ausgangspunkt für die in diesem Projekt geplante Exploration einer standardisierten, aber gleichwohl natürlich-sprachlichen Vermittlung der Fragen mit Hilfe eines digitalen Sprachassistenten dar. Aus pragmatischen Gründen beschränken wir uns dabei zunächst auf den Sprachassistenten Alexa (Amazon). Mit der Dialogfähigkeit der digitalen Sprachassistenten ist die Hoffnung verbunden, dass die natürlichere Gesprächssituation von den Befragten im Vergleich zu textbasierten Online-Befragungen angenehmer empfunden wird und damit die Belastung durch die Befragung verringert wird. Entsprechend sollten bekannte, durch Satisficing verursachte Messfehler abgemildert werden können.

Zusätzlich soll der digitale Sprachassistent die Befragung eigeninitiativ starten. Der höhere Aufforderungscharakter kann die Kooperationsbereitschaft potenzieller Befragter erhöhen, so dass auch durch Nonresponse verursachte Verzerrungen der Ergebnisse minimiert werden könnten. Allerdings sind die Reaktionen von Befragten auf die eigeninitiierte Anbahnung einer Befragung durch einen digitalen Sprachassistenten kaum vorhersehbar.

Interaktivität in Online Befragungen

Online-Befragungen haben sich in den letzten Jahren zu einer dominanten Datenerhebungsmethode entwickelt. Neben Kosteneinsparungen und dem asynchronen Charakter als Push-Faktoren ist dafür unter anderem auch die allgemeine Verfügbarkeit von Smartphones als Pull-Faktor verantwortlich.

Allerdings wird die Qualität der mit Online-Befragungen gewonnenen Daten durch verschiedene in der Literatur gut dokumentierte Messfehler beeinträchtigt. Als Beispiel kann auf zu schnelles Antworten (Speeding) oder das Auslassen von Fragen (Item-Nonresponse) verwiesen werden sowie auf Nondifferenzierung und Straightlining in Matrix-Fragen oder kurze Antworten bei offenen Fragen. Für einige dieser Messfehler liegen bereits erste Ideen für interaktive Interventionen vor, durch die diese Messfehler verringert oder vermieden werden sollen. Wir entwickeln diese vorliegenden Ansätze weiter und untersuchen neue Interventionen für bisher nicht berücksichtigte Fragetypen und Fehlerarten auf ihre Effektivität.

Messenger Design für Online Befragungen

Online-Befragungen haben sich in den letzten Jahren zu einer dominanten Datenerhebungsmethode entwickelt. Neben Kosteneinsparungen und dem asynchronen Charakter als Push-Faktoren ist dafür unter anderem auch die allgemeine Verfügbarkeit von Smartphones als Pull-Faktor verantwortlich.

Allerdings orientiert sich das Fragebogendesign von Online-Befragungen immer noch stark an dem Fragebogendesign von Papierfragebögen für schriftliche Befragungen. Zahlreiche Studien haben gezeigt, dass Online-Befragungen im klassischen Fragebogendesign anfällig für eine Reihe von Satisficing-Verhaltensweisen (z.B. Speeding, Item-Nonresponse, Nondifferentiation) sind, die die Datenqualität von Online-Befragungen beeinträchtigen.

Da mittlerweile nicht nur die Internet-affine, sondern auch die allgemeine Internetbevölkerung an die Kommunikation über Messeneger gewöhnt ist und Instant Messaging zunehmend das alltägliche Kommunikationsverhalten prägt, stellt sich die Frage, ob durch die Nutzung eines Messenger-Designs Online-Befragungen für Befragte attraktiver gestaltet werden können. Entsprechend untersuchen wir, ob die aufgeführten Fehlerquellen in Online-Befragungen mit einem Messenger-Design im Vergleich zu Online-Befragungen mit einem klassischen Fragebogendesign reduziert oder verhindert werden können.

Mobile Web (Only) Population

Zunehmend nutzen Befragte ihr Smartphone um im Internet zu surfen und an Online-Befragungen teilzunehmen. Deshalb steigt der Einsatz von mobilen Online-Befragungen. Mobile Online-Befragungen haben im Vergleich zu traditionellen Online-Befragungen und mixed-device Online-Befragungen einige Vorteile. Für mobile Online-Befragungen können Auswahlrahmen mit zufällig generierten Handynummern erzeugt werden, aus denen eine Zufallsstichprobe gezogen werden kann. Über die zufällig ausgewählten Handynummern wird die Stichprobe zu der mobilen Online-Befragung eingeladen. Bei traditionellen Online-Befragungen ist eine Zufallsstichprobe nur möglich, wenn eine Liste der Grundgesamtheit vorhanden ist, die die entsprechenden Emailadressen enthält, da Emailadressen nicht zufällig generierbar sind. Zusätzlich werden bei mobilen Online-Befragungen Verzerrungen vermieden, die durch den Einsatz unterschiedlicher Endgeräte für die Beantwortung von Online-Befragungen entstehen. Im Vergleich zu mixed-device Online-Befragungen werden bei mobilen Online-Befragungen differentielle Messfehler und Messfehler durch Selbstselektion, die durch die Nutzung unterschiedlicher Endgeräte entstehen, vermieden. Allerdings ist bei mobilen Online-Befragungen der Coverage-Fehler, der durch Personen hervorgerufen wird, die kein Smartphone besitzen bzw. dieses nicht nutzen, um im Internet zu surfen, noch sehr hoch. Wir untersuchen diesen Coverage-Fehler mit Hilfe von Eurobarometerdaten seit 2012 für verschiedene soziodemographische Variablen.

Zusätzlich haben wir auch eine weitere interessante Bevölkerungsgruppe identifiziert, die „Mobile Web Only Population“. Bei dieser Bevölkerungsgruppe handelt es sich um Personen, die ausschließlich ihr Smartphone benutzen, um im Internet zu surfen und an Online-Befragungen teilzunehmen. Diese Gruppe besteht aus Nachzüglern, die das Internet erst seit dem Besitz ihres Smartphones nutzen, und aus sogenannten Wechslern, die zuvor mittels eines anderen Endgeräts im Internet gesurft haben und jetzt zum Smartphone gewechselt haben, um im Internet zu surfen. Die Entwicklung dieser Gruppe betrachten wir ebenfalls seit 2012.

Nonresponse in Online Befragungen

Zunehmende Abbruchquoten gehören zu den zentralen Herausforderungen von Online-Befragungen. Geringe Teilnahmeraten aufgrund steigender Abbruchquoten erhöhen das Risiko systematischer Datenverzerrungen, wodurch die Datenqualität von Online-Befragungen stark beeinträchtigt werden kann. Der Einsatz von motivierenden Instruktionen oder Hinweisen zur Wichtigkeit der Teilnahme könnte helfen, Abbrüche in Online-Befragungen zu minimieren. Allerdings müssten hierfür Befragte, die vorhaben die Befragung abzubrechen, kurz vor dem Abbruch identifiziert werden.

Wir untersuchen das Antwortverhalten von Befragten in Online-Befragungen, um zu analysieren, ob Satisficing-Indikatoren wie z.B. relative Antwortgeschwindigkeit, Item Nonresponse, Antwortlänge in offenen Fragen und der Differenzierungsgrad in Matrixfragen verwendet werden können, um einen Abbruch auf Fragebogenseitenlevel vorherzusagen.

Die relative Antwortgeschwindigkeit, die Item Nonresponse Rate sowie die Antwortlänge in offenen Fragen scheinen angemessene Indikatoren zur Vorhersage von Abbrüchen in Online-Befragungen zu sein, aber der Anteil der Befragten, die aufgrund ihres Antwortverhaltens als zukünftige Abbrecher identifiziert werden, aber die Befragung beenden (Falsch Negative), ist immer noch sehr hoch. Mit weiteren Analysen versuchen wir diesen Anteil zu minimieren und unsere Vorhersage von Abbrüchen noch zuverlässiger zu gestalten.

Clarification Features

In selbst-administrierten Befragungen werden häufig zusätzliche Informationen eingesetzt, um die Qualität der gegebenen Antworten zu verbessern. Generell wird empfohlen, diese zusätzlichen Informationen nach dem Fragetext und vor den Antwortkategorien bzw. dem Antwortfeld zu positionieren. Allerdings haben Ergebnisse einer Eye-Tracking Studie gezeigt, dass die optimale Positionierung der zusätzlichen Information davon abhängt, welcher Phase des Frage-Antwort-Prozesses durch die zusätzliche Position unterstützt wird. Deshalb haben wir in verschieden Online-Befragungen die optimale Position zusätzlicher Informationen untersucht, die verschiedene Phasen des Frage-Antwort-Prozesses unterstützen.

In mehreren Online-Befragungen wurden in offenen Fragen drei verschiedene Positionen für zusätzliche Informationen getestet: Vor dem Fragetext, nach dem Fragetext und nach dem Textfeld. Entgegen unserer Annahmen hat sich gezeigt, dass die optimale Position nicht von der Phase des Frage-Antwort-Prozesses, die durch die zusätzliche Information angesprochen wird, abhängig ist. Die optimale Position für zusätzliche Informationen in offenen Fragen in Online-Befragungen ist laut unseren Ergebnissen und in Übereinstimmung mit anderen Studien nach dem Fragetext. Zusätzliche Informationen, die vor dem Fragetext positioniert waren, hatten den geringsten Effekt auf die Datenqualität der Antworten.