Schriftliche und telefonische Befragungen im direkten Vergleich: Das Voto-Experiment

Sin­ken­de Aus­schöp­fungs­quo­ten sowie eine Unter­ver­tre­tung jun­ger Erwach­se­ner in der Stich­pro­be sind Her­aus­for­de­run­gen, mit denen Befra­gun­gen immer mehr kon­fron­tiert sind. Wie sich dies bei den Nach­be­fra­gun­gen zu den eid­ge­nös­si­schen Volks­ab­stim­mun­gen aus­wir­ken, hat soto­mo untersucht. 

Im Auf­trag der Bun­des­kanz­lei hat die For­schungs­stel­le soto­mo an zwei Abstim­mungs­ter­mi­nen par­al­lel zur tele­fo­nisch geführ­ten VOTO-Nach­ab­stim­mungs­be­fra­gung eine schrift­li­che Erhe­bung via Print- und Online­fra­ge­bo­gen durch­ge­führt[1].

Hin­ter­grund der Untersuchung
Die Bun­des­kanz­lei, als Auf­trag­ge­be­rin von VOTO, woll­te im Hin­blick auf die künf­ti­ge Metho­den­wahl die Vor- und Nach­tei­le die­ser Erhe­bungs­me­tho­den unter­su­chen. Sie schaff­te damit die Vor­aus­set­zun­gen für eine idea­le expe­ri­men­tel­le Ver­suchs­an­ord­nung. Dies dank nahe­zu iden­ti­scher Erhe­bungs­be­din­gun­gen, aber auch dank der Tat­sa­che, dass das Expe­ri­ment statt im Kon­text einer syn­the­ti­schen Labor­si­tua­ti­on auf Basis einer rele­van­ten, pra­xis­er­prob­ten Befra­gungs­rei­he statt­fin­den konn­te. Durch die­se Aus­gangs­la­ge las­sen sich sowohl die Aus­schöp­fungs­quo­te als auch die Reprä­sen­ta­ti­vi­tät unmit­tel­bar ver­glei­chen und es wer­den Aus­sa­gen zur Ant­wort­qua­li­tät möglich.
Ausschöpfung

Die tele­fo­ni­sche und die schrift­li­che Befra­gung erfolg­ten bei­de auf Grund­la­ge einer struk­tu­rell über­ein­stim­men­den Strich­pro­be von jeweils 5’000 Stimm­be­rech­tig­ten aus dem Stich­pro­ben­rah­men des Bun­des­amts für Sta­tis­tik (BFS).

Abbildung 1: Ausschöpfung der Bruttostichprobe bei telefonischen und schriftlichen Befragungen

Abbil­dung 1 zeigt die Aus­schöp­fung bzw. die Rück­lauf­quo­te im Ver­gleich. Gemit­telt über bei­de unter­such­ten Abstim­mungs­ter­mi­ne erreich­te die schrift­li­che Befra­gung eine Aus­schöp­fung von rund 45 Pro­zent der (Brutto-)Stichprobe, wäh­rend bei der tele­fo­ni­schen Befra­gung die mini­mal ange­streb­te Zahl von 1’500 Inter­views (d.h. dreis­sig Pro­zent Aus­schöp­fung) nur in einem der bei­den Fäl­le erreicht wurde.

Beim zwei­ten Ter­min im Mai 2019 muss­te, wie in die­sem Fall üblich, die Brut­to­stich­pro­be für die tele­fo­ni­sche Befra­gung auf­ge­stockt wer­den, so dass die­se ins­ge­samt 5’650 Stimm­be­rech­tig­te umfasste.

Die bemer­kens­wer­te Dis­kre­panz in der Aus­schöp­fungs­quo­te ist nicht Aus­druck einer ver­mehr­ten Ant­wort­ver­wei­ge­rung bei der tele­fo­ni­schen Befra­gung. Der Unter­schied kommt ein­zig durch tech­ni­sche Nicht-Erreich­bar­keit zustan­de: Für alle Ziel­per­so­nen ist eine Post­adres­se bekannt, auch bei der tele­fo­ni­schen Erhe­bung wer­den alle Ziel­per­so­nen ange­schrie­ben. Doch es kön­nen für fast zwei von fünf Per­so­nen der Aus­gangs­stich­pro­be kei­ne tele­fo­ni­schen Ver­bin­dungs­da­ten eru­iert wer­den. Ent­schei­dend für die Aus­schöp­fungs­quo­te ist somit die direk­te Erreich­bar­keit des erhe­bungs­re­le­van­ten Kanals. Im Fal­le des Stich­pro­be­rah­mens des BFS ist dies ein­deu­tig die Postadresse.

Repräsentativität

Ein wich­ti­ges Qua­li­täts­merk­mal der Erhe­bungs­me­tho­de ist die Reprä­sen­ta­ti­vi­tät der rea­li­sier­ten Stich­pro­be. Weil bei einer Erhe­bung auf Basis des BFS-Stich­pro­be­rah­mens ein­zel­ne Attri­bu­te aller Per­so­nen der Aus­gangs­stich­pro­be (bzw. Brut­to­stich­pro­be) bekannt sind, lässt sich deren Ver­tei­lung in den rea­li­sier­ten Inter­views (Net­to­stich­pro­be) direkt vergleichen.

Die­ser Ver­gleich zeigt bei­spiels­wei­se, dass die Geschlech­ter­an­tei­le der Net­to­stich­pro­be sowohl bei der schrift­li­chen als auch der tele­fo­ni­schen Befra­gung sehr genau mit den Antei­len in der Brut­to­stich­pro­be übereinstimmen.

Wie Abbil­dung 2 zu ent­neh­men ist, bestehen aller­dings bei der tele­fo­ni­schen Befra­gung mar­kan­te Abwei­chun­gen in der Alters­zu­sam­men­set­zung zwi­schen Brut­to- und Net­to­stich­pro­be. Die jün­ge­re Genera­ti­on ist stark unter‑, die älte­re stark über­ver­tre­ten. Auch bei der schrift­li­chen Print- und Online-Befra­gung sind die Jün­ge­ren unter­ver­tre­ten, jedoch in weit gerin­ge­rem Aus­mass. Leicht über­ver­tre­ten sind dage­gen die 40- bis 70-Jährigen. 

Abbildung 2: Alter — Vergleich der Netto- und Bruttostichprobe der beiden Befragungsmodi

Abstim­mung Febru­ar


Abstim­mung Mai

In Bezug auf die ande­ren unter­such­ten sozio­de­mo­gra­phi­schen Varia­blen ist die Reprä­sen­ta­ti­vi­tät bei­der Metho­den ähn­lich gut.

Bei­de Metho­den zei­gen aber eine erheb­li­che Ver­zer­rung zuguns­ten von Stimm­be­rech­tig­ten, die an der jewei­li­gen Abstim­mung auch wirk­lich teil­ge­nom­men haben. Ins­ge­samt gilt es zu beden­ken, dass die Zusam­men­set­zung der rea­li­sier­ten Inter­views nur bei der tele­fo­ni­schen Befra­gung mit­tels Quo­ten­vor­ga­ben gesteu­ert wird.

Die Unter­ver­tre­tung jun­ger Erwach­se­ner kommt dar­um zustan­de, weil sich mit die­ser Grup­pe offen­sicht­lich in der vor­ge­ge­be­nen Zeit grund­sätz­lich nicht genü­gend Inter­views rea­li­sie­ren las­sen. Bei der schrift­li­chen Befra­gung wer­den dage­gen alle Per­so­nen der Brut­to­stich­pro­be gleich oft kon­tak­tiert. Umso auf­fäl­li­ger ist hier die gros­se struk­tu­rel­le Über­ein­stim­mung zwi­schen der Brut­to- und der Nettostrichprobe.

Antwortqualität

Wäh­rend die Fak­to­ren Aus­schöp­fung und Reprä­sen­ta­ti­vi­tät im Fall von VOTO klar zuguns­ten einer schrift­li­chen Befra­gung spre­chen, zei­gen sich in Bezug auf die Ant­wort­qua­li­tät gemisch­te Ergebnisse.

So ist bei der schrift­li­chen Befra­gung der Anteil der nicht beant­wor­te­ten Fra­gen (Item-Non­re­spon­se) signi­fi­kant höher als bei der tele­fo­ni­schen. Gemes­sen an der tie­fe­ren Aus­schöp­fung der tele­fo­ni­schen Befra­gung fällt dies jedoch kaum ins Gewicht. Bedeut­sa­mer ist der grös­se­re Anteil an Nicht-Ant­wor­ten bei den offe­nen Fra­gen zum Grund für den Stimm­ent­scheid (bis zu zwan­zig Pro­zent Nicht-Ant­wor­ten beim ers­ten Pro- oder Kontra-Grund).

Ins­ge­samt hat bei einer schrift­li­chen Befra­gung die Län­ge des Fra­ge­bo­gens einen grös­se­ren Effekt auf den Rück­lauf und wohl auch auf den Anteil der tat­säch­lich beant­wor­ten Fra­gen als bei der telefonischen.

Eher für die schrift­li­che Befra­gung spricht jedoch der Aspekt der sozia­len Erwünschtheit. Dies zeigt sich beim Ant­wort­ver­hal­ten zur Fra­ge betref­fend der all­fäl­li­gen finan­zi­el­len Eng­päs­sen. Bei der schrift­li­chen Befra­gung geben rund 48 Pro­zent der Befrag­ten an, dass sie am Ende des Monats nach Abzug der Fix­kos­ten gut durch­kom­men. Bei der tele­fo­ni­schen Befra­gung sind es mit 72 Pro­zent deut­lich mehr. Grund­sätz­lich ist es denk­bar, dass die­se Unter­schie­de auf­grund von Unter­schie­den in der Stich­pro­be zustan­de kom­men, etwa der unter­schied­li­chen Alters­ver­tei­lung der Teil­neh­men­den. Die Über­prü­fung der Ein­fluss­fak­to­ren mit­tels Logit-Regres­si­ons­mo­dell macht jedoch deut­lich, dass es sich hier tat­säch­lich um einen Metho­den­ef­fekt han­delt (vgl. Abb. 3). Das Modell zeigt, dass die tele­fo­nisch Befrag­ten unter ansons­ten gleich­blei­ben­den Bedin­gun­gen mit einer ca. 25 Pro­zent höhe­ren Wahr­schein­lich­keit ange­ben, mit dem eige­nen Ein­kom­men gut aus­zu­kom­men als die schrift­lich Befragten.

Abbildung 3: Einflussfaktoren auf die Angabe, dass das eigene Einkommen gut ausreicht im Vergleich zur Referenzgruppe

 

Offen­sicht­lich besteht eine gewis­se Zurück­hal­tung, einer ande­ren, unbe­kann­ten Per­son gegen­über zuzu­ge­ste­hen, dass man finan­zi­ell nicht immer gut über die Run­den kommt. Ähn­li­che Effek­te zei­gen sich auch beim poli­ti­schen Inter­es­se und bei der Anga­be zur Teil­nah­me­häu­fig­keit an Abstimmungen.

Unter der Berück­sich­ti­gung aller unter­such­ter Dimen­sio­nen lässt sich abschlies­send fest­hal­ten, dass eine schrift­li­che Print- und Online-Befra­gung eine Alter­na­ti­ve zur heu­ti­gen tele­fo­ni­schen VOTO-Befra­gung dar­stellt. Die schrift­li­che Erhe­bungs­me­tho­de ist aller­dings sen­si­ti­ver bezüg­lich Fra­ge­bo­gen­län­ge, was ins­be­son­de­re in Bezug auf die Qua­li­tät offe­ner Fra­gen berück­sich­tigt wer­den muss.

[1] 1. Termin: 10. Februar 2019 (Zersiedelungsinitiative); 2. Termin: 19. Mai 2019 (STAF und EU-Waffenrichtlinie)

Refe­renz:

Bild: Pixabay

 

Print Friendly, PDF & Email