1

Schriftliche und telefonische Befragungen im direkten Vergleich: Das Voto-Experiment

|

Michael Hermann, David Krähenbühl
27th März 2020

Sinkende Ausschöpfungsquoten sowie eine Untervertretung junger Erwachsener in der Stichprobe sind Herausforderungen, mit denen Befragungen immer mehr konfrontiert sind. Wie sich dies bei den Nachbefragungen zu den eidgenössischen Volksabstimmungen auswirken, hat sotomo untersucht.  

Im Auftrag der Bundeskanzlei hat die Forschungsstelle sotomo an zwei Abstimmungsterminen parallel zur telefonisch geführten VOTO-Nachabstimmungsbefragung eine schriftliche Erhebung via Print- und Onlinefragebogen durchgeführt[1].

Hintergrund der Untersuchung
Die Bundeskanzlei, als Auftraggeberin von VOTO, wollte im Hinblick auf die künftige Methodenwahl die Vor- und Nachteile dieser Erhebungsmethoden untersuchen. Sie schaffte damit die Voraussetzungen für eine ideale experimentelle Versuchsanordnung. Dies dank nahezu identischer Erhebungsbedingungen, aber auch dank der Tatsache, dass das Experiment statt im Kontext einer synthetischen Laborsituation auf Basis einer relevanten, praxiserprobten Befragungsreihe stattfinden konnte. Durch diese Ausgangslage lassen sich sowohl die Ausschöpfungsquote als auch die Repräsentativität unmittelbar vergleichen und es werden Aussagen zur Antwortqualität möglich.

Ausschöpfung

Die telefonische und die schriftliche Befragung erfolgten beide auf Grundlage einer strukturell übereinstimmenden Strichprobe von jeweils 5'000 Stimmberechtigten aus dem Stichprobenrahmen des Bundesamts für Statistik (BFS).

Abbildung 1: Ausschöpfung der Bruttostichprobe bei telefonischen und schriftlichen Befragungen

Abbildung 1 zeigt die Ausschöpfung bzw. die Rücklaufquote im Vergleich. Gemittelt über beide untersuchten Abstimmungstermine erreichte die schriftliche Befragung eine Ausschöpfung von rund 45 Prozent der (Brutto-)Stichprobe, während bei der telefonischen Befragung die minimal angestrebte Zahl von 1'500 Interviews (d.h. dreissig Prozent Ausschöpfung) nur in einem der beiden Fälle erreicht wurde.

Beim zweiten Termin im Mai 2019 musste, wie in diesem Fall üblich, die Bruttostichprobe für die telefonische Befragung aufgestockt werden, so dass diese insgesamt 5'650 Stimmberechtigte umfasste.

Die bemerkenswerte Diskrepanz in der Ausschöpfungsquote ist nicht Ausdruck einer vermehrten Antwortverweigerung bei der telefonischen Befragung. Der Unterschied kommt einzig durch technische Nicht-Erreichbarkeit zustande: Für alle Zielpersonen ist eine Postadresse bekannt, auch bei der telefonischen Erhebung werden alle Zielpersonen angeschrieben. Doch es können für fast zwei von fünf Personen der Ausgangsstichprobe keine telefonischen Verbindungsdaten eruiert werden. Entscheidend für die Ausschöpfungsquote ist somit die direkte Erreichbarkeit des erhebungsrelevanten Kanals. Im Falle des Stichproberahmens des BFS ist dies eindeutig die Postadresse.

Repräsentativität

Ein wichtiges Qualitätsmerkmal der Erhebungsmethode ist die Repräsentativität der realisierten Stichprobe. Weil bei einer Erhebung auf Basis des BFS-Stichproberahmens einzelne Attribute aller Personen der Ausgangsstichprobe (bzw. Bruttostichprobe) bekannt sind, lässt sich deren Verteilung in den realisierten Interviews (Nettostichprobe) direkt vergleichen.

Dieser Vergleich zeigt beispielsweise, dass die Geschlechteranteile der Nettostichprobe sowohl bei der schriftlichen als auch der telefonischen Befragung sehr genau mit den Anteilen in der Bruttostichprobe übereinstimmen.

Wie Abbildung 2 zu entnehmen ist, bestehen allerdings bei der telefonischen Befragung markante Abweichungen in der Alterszusammensetzung zwischen Brutto- und Nettostichprobe. Die jüngere Generation ist stark unter-, die ältere stark übervertreten. Auch bei der schriftlichen Print- und Online-Befragung sind die Jüngeren untervertreten, jedoch in weit geringerem Ausmass. Leicht übervertreten sind dagegen die 40- bis 70-Jährigen. 

Abbildung 2: Alter - Vergleich der Netto- und Bruttostichprobe der beiden Befragungsmodi

Abstimmung Februar

Abstimmung Mai

In Bezug auf die anderen untersuchten soziodemographischen Variablen ist die Repräsentativität beider Methoden ähnlich gut.

Beide Methoden zeigen aber eine erhebliche Verzerrung zugunsten von Stimmberechtigten, die an der jeweiligen Abstimmung auch wirklich teilgenommen haben. Insgesamt gilt es zu bedenken, dass die Zusammensetzung der realisierten Interviews nur bei der telefonischen Befragung mittels Quotenvorgaben gesteuert wird.

Die Untervertretung junger Erwachsener kommt darum zustande, weil sich mit dieser Gruppe offensichtlich in der vorgegebenen Zeit grundsätzlich nicht genügend Interviews realisieren lassen. Bei der schriftlichen Befragung werden dagegen alle Personen der Bruttostichprobe gleich oft kontaktiert. Umso auffälliger ist hier die grosse strukturelle Übereinstimmung zwischen der Brutto- und der Nettostrichprobe.

Antwortqualität

Während die Faktoren Ausschöpfung und Repräsentativität im Fall von VOTO klar zugunsten einer schriftlichen Befragung sprechen, zeigen sich in Bezug auf die Antwortqualität gemischte Ergebnisse.

So ist bei der schriftlichen Befragung der Anteil der nicht beantworteten Fragen (Item-Nonresponse) signifikant höher als bei der telefonischen. Gemessen an der tieferen Ausschöpfung der telefonischen Befragung fällt dies jedoch kaum ins Gewicht. Bedeutsamer ist der grössere Anteil an Nicht-Antworten bei den offenen Fragen zum Grund für den Stimmentscheid (bis zu zwanzig Prozent Nicht-Antworten beim ersten Pro- oder Kontra-Grund).

Insgesamt hat bei einer schriftlichen Befragung die Länge des Fragebogens einen grösseren Effekt auf den Rücklauf und wohl auch auf den Anteil der tatsächlich beantworten Fragen als bei der telefonischen.

Eher für die schriftliche Befragung spricht jedoch der Aspekt der sozialen Erwünschtheit. Dies zeigt sich beim Antwortverhalten zur Frage betreffend der allfälligen finanziellen Engpässen. Bei der schriftlichen Befragung geben rund 48 Prozent der Befragten an, dass sie am Ende des Monats nach Abzug der Fixkosten gut durchkommen. Bei der telefonischen Befragung sind es mit 72 Prozent deutlich mehr. Grundsätzlich ist es denkbar, dass diese Unterschiede aufgrund von Unterschieden in der Stichprobe zustande kommen, etwa der unterschiedlichen Altersverteilung der Teilnehmenden. Die Überprüfung der Einflussfaktoren mittels Logit-Regressionsmodell macht jedoch deutlich, dass es sich hier tatsächlich um einen Methodeneffekt handelt (vgl. Abb. 3). Das Modell zeigt, dass die telefonisch Befragten unter ansonsten gleichbleibenden Bedingungen mit einer ca. 25 Prozent höheren Wahrscheinlichkeit angeben, mit dem eigenen Einkommen gut auszukommen als die schriftlich Befragten.

Abbildung 3: Einflussfaktoren auf die Angabe, dass das eigene Einkommen gut ausreicht im Vergleich zur Referenzgruppe

 

Offensichtlich besteht eine gewisse Zurückhaltung, einer anderen, unbekannten Person gegenüber zuzugestehen, dass man finanziell nicht immer gut über die Runden kommt. Ähnliche Effekte zeigen sich auch beim politischen Interesse und bei der Angabe zur Teilnahmehäufigkeit an Abstimmungen.

Unter der Berücksichtigung aller untersuchter Dimensionen lässt sich abschliessend festhalten, dass eine schriftliche Print- und Online-Befragung eine Alternative zur heutigen telefonischen VOTO-Befragung darstellt. Die schriftliche Erhebungsmethode ist allerdings sensitiver bezüglich Fragebogenlänge, was insbesondere in Bezug auf die Qualität offener Fragen berücksichtigt werden muss.

[1] 1. Termin: 10. Februar 2019 (Zersiedelungsinitiative); 2. Termin: 19. Mai 2019 (STAF und EU-Waffenrichtlinie)

Referenz:

Bild: Pixabay