Tagungsbericht
Vom 15. bis 16. November 2019 fand bei GESIS in Köln die gemeinsame Tagung der Arbeitsgemeinschaft Sozialwissenschaftlicher Institute ASI e.V. und der Sektion „Methoden der empirischen Sozialforschung“ der Deutschen Gesellschaft für Soziologie und statt. Die knapp 90 Teilnehmenden erlebten 18 Vorträge (gehalten auf Deutsch, die Slides meist in Englisch) unter dem Tagungsmotto: „Die Empirische Sozialforschung in Zeiten der Digitalisierung – Methodische Konsequenzen neuer Technologien der Datenerhebung“. Ein typisches Thema, das in mehreren Vorträgen behandelt wurde, war, ob bei Online-Umfragen unterschiedliche Devices (Geräte) wie Smartphone oder PC zu beachten sind.
Nach der Begrüßung durch den ASI-Vorsitzenden Frank Faulbaum und den Sektionssprecher Tobias Wolbring zeigte das erste Referat, welche neuen Möglichkeiten die Digitalisierung der Umfrageforschung bietet. Florian Keusch stellte die neu angewendeten Methoden der IAB-Panelstudie PASS vor („Marienthal 2.0“). Die Befragten, die sich schon vorher im PASS befanden, laden sich eine App herunter, die eine passive Datenerhebung am Smartphone erlaubt. Jegliche Smartphone-Benutzung, z.B. Nutzungszeiten von Facebook etc., Anzahl der Kontakte oder die Bewegungen (tägliche Schritte etc.) ist danach auswertbar. Zum Marienthal-Vergleich zwischen Arbeitslosen und Arbeitenden gibt es objektive Daten, wann diese jeweils ihren Tag starten, wieviele Schritte sie bis zu welcher Uhrzeit gehen und zukünftig mit welcher Schrittgeschwindigkeit sie gehen.
Alexander Wenz berichtete von Experimenten, mobile Datenerhebungsinstrumente in die britische jährliche Haushaltsbefragung (UK Household Longitudinal Study) einzubeziehen. Hier beteiligten sich 18% der angeschriebenen Personen. Um Haushaltsausgaben besser erfassen zu können, wurden Online-Ausgaben-Tagebücher (3-6 € Bonus zum Runterladen, 70 Cent pro ausgefülltem Tag) wie auch das sogenannte Receipt Scanning (das Fotografieren der Kassenbons) angeboten, wobei letzteres höheren Anklang fand. Eine Teilnahmeerhöhung ist eher durch simultanes Feedback (z.B. Ausgaben-Aufstellung) als durch Geld-Anreize zu erzielen.
Bella Struminskaya wollte überprüfen, ob man die zusätzlichen Sensoren in Handys (von 6 auf 15 gestiegen) in Umfragen auswerten kann. Sie zeigte durch Auswertung von Bevölkerungsumfragen, dass der Non-consent-Bias (Zustimmung, ohne es tatsächlich zu tun) größer ist als der Non-response-Bias (Differenz administrative Daten und tatsächliche Teilnehmende). Nur 70% der Teilnehmenden, die vorher in der Befragung zustimmten, dass sie ihren Standort preisgeben würden, klickten im Tool kurz danach auf den Ja-Button, als man sie zur Bestätigung ihres jetzigen Standortes aufforderte. Wie sich auch in späteren Referaten zeigte, erklären sich viel mehr Teilnehmende zur Nutzung sensibler Daten des Smartphones bereit, als sie danach tatsächlich real zulassen.
Carina Cornesse thematisierte, was die Einbeziehung von Daten von Offline-Personen in Online-Panels bezogen auf die Repräsentativität bedeute. 21% (2013) bzw. 12% (2019) der Bevölkerung (eher älter und schlechter gebildet) nutzen kein Internet. Diese würden bei Online-Befragungen herausfallen. Das German Internet Panel und das GESIS Panel gehen unterschiedlich damit um, diese Offliner einzubeziehen. Beim German Internet Panel bekommen diese einen Internetanschluss und ein sehr einfaches Mitmach-Gerät gestellt. Beim GESIS Panel werden diese per Post einbezogen. Beim GESIS Panel sind 2/3 dieser postalisch Befragten aber auch Personen, die sich aufgrund eines bestehenden Internetzugangs an einer Online-Befragung beteiligen könnten, aber lieber auf Papier ausfüllen. Es zeigte sich, dass Offliner eher bei Benutzung der postalischen Methode herausfallen, weil diese anders als Onliner keine Erinnerungsschreiben (Reminder) bekamen.
Katharina Meitingers Referat war das erste, dass Smartphone versus PC-Bildschirm bei Online-Befragungen thematisierte. Während früher das Ausfüllen am PC dominierte und die Fragebögen dafür konzipiert wurden (z.B. horizontales Design), füllen heute immer mehr Personen die Fragebögen per Smartphone aus, welches ein vertikales Fragebogendesign bedinge. Es ist insofern ein Unterschied, ob man seinen Fragebogen als Screenversion oder als mobile Version konzipiere. Meitinger stellt jedoch fest, dass auch bei Smartphone-Nutzenden der Skala-Mittelwert bei einzelnen Skalenfragen ähnlich sei, d.h. auch mobile User scrollen die gesamte Antwort-Skala herunter. Insofern wären Smartphone- und PC-Antwort vergleichbar. Smartphone bedinge aber längere Ausfüllzeiten und führe deshalb zu etwas höheren Abbruchraten.
In der Mittagspause gab es von GESIS gestellte schmackhafte Speisen und man kam an den (Steh-)Tischen ins Gespräch.
Die Keynote danach hielt Christoph Stadtfeld (ETH Zürich). Er erklärte neue Techniken, um die Dynamik sozialer Netzwerke besser nachvollziehen zu können. Datengrundlage ist das Swiss Student Life Survey. Die Schweizer Erstsemester unternehmen oft zu Beginn des Studiums eine gemeinsame Wochenend-Freizeit. Das Haus dafür war technisch präpariert. Alle Teilnehmenden erhielten einen RFID-Chip. Wenn sich zwei Teilnehmende in diesem Haus 1 ½ Meter gegenüberstanden, wurde ein sozialer Kontakt codiert. Durch zusätzliche Beobachtung konnte validiert werden, dass diese RFID-Chips funktionieren. In Abständen erhielten die Teilnehmenden Short Surveys direkt auf ihr Smartphone. Gerade für Netzwerkforschung wäre eine mobile Befragung besser als mittels Papier. Inhaltlich ergab die Betrachtung, dass sich Studiumsbeziehungen (z.B. Lerngruppen) aus Freundschaftsbeziehungen entwickeln (und weniger umgekehrt).
Der nächste Tagungsschwerpunkt bezog sich auf die Nutzung georeferenzierter Daten (Daten mit direktem räumlichem Bezug). Zu Beginn erklärte Stefan Jünger allgemein den möglichen Nutzen georeferentieller Daten in der sozialwissenschaftlichen Umfrageforschung.
Corinna Krämer referierte im ersten Teil ihres Vortrags über die inhaltliche Fragestellung des Projekts „Schulwege und ihre Bedeutung für Schulleistungen (SBS)“ am Leibniz-Institut für Bildungsverläufe e.V. Auf Basis der NEPS-Daten kann gezeigt werden, dass die Distanz (in km) von Wohn- zur Schuladresse (im Schnitt 5,4 km) kein bedeutender Einflussfaktor für die Schulnoten (Deutsch und Mathematik) bei Schülerinnen und Schüler der Sekundarstufe I darstellt. Im zweiten Teil des Vortrags wurde das Potenzial georeferenzierter Daten im Nationalen Bildungspanel skizziert. Ziel des Projekts SBS ist neben Beantwortung der inhaltlichen Forschungsfrage, die Anreicherung der bestehenden NEPS-Daten mit relevanten Distanzmaßen.
Stephan Schlosser zeigte auf, dass die im Browser installierte Software „SurveyMaps“, die die Bewegung des Handys misst, die Bewegungsprofile von Umfrage-Teilnehmenden präziser (auf wenige Meter genau) anzeigt als GPS. Allerdings muss der Startpunkt per GPS eingegeben werden.
Danach wurde der mit 500 Euro dotierte Nachwuchspreis der ASI überreicht. Der nicht anwesende Sebastian Kohl bekam ihn zur Erklärung der Eigenheim-Bewegung durch die Auswertung von Parteiprogrammen. Simon Kühne als zweiter Gewinner erklärte seine Arbeit. Beim SOEP wird nach Möglichkeit immer der gleiche Interviewende eingesetzt (im Schnitt 5 Jahre). Man erhofft sich dadurch positive Effekte auf die Teilnahme. In seinem prämierten Beitrag zeigt Kühne, dass die Personen beim gleichen Interviewenden mit der Zeit auch ehrlicher antworten. Wenn hingegen der Interviewende wechselt, geben die Befragten am Anfang sozial erwünschtere Antworten.
Andreas Schmitz befasste sich mit der Frage der Datenqualität digitaler Interaktionsdaten und diskutierte Möglichkeiten der Übertragung klassischer soziologischer Qualitätskonventionen auf neue Datenformen. Am Beispiel des Online-Datings zeigte er auf, dass Bots (Antwort-Roboter) digitale Interaktionsdaten erheblich verzerren können. Basierend auf deren Interaktionsmustern und unter Rückgriff auf finite Mischmodelle wurde eine Strategie zur Identifikation der Bots vorgestellt.
Simon Kühne erklärte, dass Twitter-Daten aufgrund einer API-Schnittstelle (im Gegensatz zu Facebook, WhatsApp oder anderen Social Media Datenquellen) relativ günstig und einfach auszuwerten seien. Twitter-Daten sollten für sozialwissenschaftliche Projekte in Betracht gezogen werden und bieten Potenzial für spezielle Fragestellungen und dienen als Quelle für Proxy-Informationen. Die Auswertung von Tweets Pro/Contra Clinton/Trump hätte bei der letzten amerikanischen Präsidentenwahl z.B. einen hohen Zusammenhang mit dem tatsächlichen Wahlergebnis gezeigt.
Hermann Heike beschäftigte sich mit der interdisziplinären Vergleichbarkeit von Forschungsergebnissen bzw. genauer mit Experimentaldaten in Datenbanken und legte politische Implikationen im verwendeten Wording offen.
Ranjit Singh sensibilisierte für die Herausforderungen, die entstehen, wenn man mit verschiedenen Skalen gemessene Umfragedaten für gemeinsame Analysen harmonisieren möchte. Zudem skizzierte er erste Lösungsansätze.
Nach den Mitgliederversammlungen der Methodensektion und ASI trafen sich die Konferenzteilnehmenden im Restaurant „12. Apostel“ am Heumarkt zum Abendessen.
Am Samstag war das Teilnehmendenfeld der Tagung zwar nur noch halb so groß (42 Zuschauende), aber die Nachfragen und Anmerkungen waren erheblich kritischer als am ersten Konferenztag.
Silke Schneider zeigte anhand eines neuen Instruments zur Messung und Harmonisierung von Bildung in computergestützten Umfragen die Schwierigkeiten auf, die durch die Geschlossenheit der Befragungssoftware bei der Entwicklung neuartiger Fragebogeninstrumente für CAPI-Umfragen entstehen. Im Rahmen des Europäischen Umfrageoptimierungsprojektes SERISS wurde ein Instrument entwickelt, in dem der/die Befragte nach der schriftlichen Eingabe des Bildungsabschlusses in CAPI Vorschläge zur Klassifikation bekommt. Dieses wurde bereits in den SOEP Migrations- und Geflüchtetensamples pilotiert, ist aber nicht ganz trivial in die Praxis zu implementieren.
Sebastian Lang beschäftigte sich mit der Wirkung verschiedener Endgeräte – mobil (Nutzung von 40% der Befragten), wozu Smartphone und Tablet gehören, versus PC - beim Sammeln von biographischen Daten in selbst administrierten Online Surveys, hier dem Student Life Cycle Panel. Die Forschenden betrachteten die Unterschiede zwischen einem zwei- oder fünfjährigen Referenzzeitraum. Bei mobilen Antwortgeräten ist der Referenzzeitraum bemerkbar.
Christoph Beuthner untersuchte, inwieweit Befragte bereit sind Daten aus anderen digitalen Quellen zu teilen. Sie benutzten dabei einen Open Access Panel und einen langen Fragebogen (> 20 Minuten), welche über Smartphone oder PC ausgefüllt werden sollten. Die Abbruchquote beim Computer betrug 10%, beim Smartphone 17%. Im Ergebnis sind Befragte eher nicht bereit, andere Datenquellen zu teilen. Hinzu kommt wie schon im Referat von Bella Struminskaya angeklungen, dass zwischen der Zustimmung zum Teilen von Daten (Consent Rate) und tatsächlicher Teilung ziemliche Unterschiede bestehen. So haben nur 14,8% eine Verlinkung zu Facebook hergestellt, obwohl vorher viel mehr einer solchen Datenteilung zustimmten. Die erste Consent Frage erhält immer die höchste Zustimmung; folglich sollte die wichtigste Consent Frage an den Anfang gestellt werden.
Malte Schierholz und Antje Rosebrock stellten eine neue Methode zur Berufskodierung vor, die es ermöglicht, eine Kodierung beruflicher Angaben in die internationale und in die deutsche Berufsklassifikation bereits während des Interviews zu erreichen. Angestrebt wird eine stärkere Automatisierung zur Verringerung des Aufwands manueller Kodierung und eine validere Messung des Berufs. Während ersteres erreichbar ist, müssen Qualitätsaspekte noch detaillierter untersucht werden, wie auch in der intensiven Diskussion angemerkt wurde. Ergebnisse der Usability-Studie stimmen aber hoffnungsvoll, denn Telefoninterviewer und Befragte kommen mit dem neuen Instrument gut zurecht.
Das letzte Referat der Tagung von Alexander Brand befasste sich anhand eines Datensatzes von 4.261 Wohnungen mit der Nutzung von AirBnB in mehreren deutschen Städten. Es bestätigen sich die Hypothesen, dass männliche Anbieter höhere Preise und Anbietende mit nicht-deutsch klingenden Namen niedrigere Preise erzielen. Besonders die Klassifizierung nicht deutscher Namen und die Ursache-Wirkung-Reihenfolge führte zu viel Diskussionsbedarf.
Was ist die Essenz der Tagung? Smartphone ist das neue Antwort-Device bei Online-Befragungen. Online-Befragungs-Bögen sollten deshalb zukünftig eher mobil (senkrecht) konfiguriert werden. Es gibt bei der Beantwortung inhaltlich kaum Unterschiede zu PC-Antworten, aber die Abbruchquote ist bei Smartphone-Antwortenden höher.
Europäische Umfrageinstrumente werden immer mehr standardisiert (gleichartige Klassifikation von Berufen und Bildungsabschlüssen). Die Zukunft digitaler Umfragen gehört neben den selbstadministrierten Befragungen den Mobil-Befragungen mit Apps, die automatisch Daten des Smartphones erheben und weitergeben. Befragte äußern viel häufiger die Zustimmung zum Teilen von Daten als sie hinterher tatsächlich zulassen. Im Vergleich dazu erscheinen die response rates von Umfragen dann fast schon wieder ziemlich hoch.
Es ist ein Tagungsband angekündigt.
Birger Antholz, Universität Hamburg, birger.antholz@public.uni-hamburg.de,
unter Mitarbeit von Silke Schneider, Corinna Krämer und vier weiteren ReferentInnen.