Falsche Prognosen, unnötige Analysen? — Zur Zukunft der Schweizer Umfrageforschung

Poli­tis­che Umfra­gen sind in Ver­ruf gekom­men: Prog­nosen seien unge­nau, klas­sis­che Tele­fon­be­fra­gun­gen wür­den nicht mehr funk­tion­ieren und die Dat­en erst noch unter Ver­schluss gehal­ten. Anlässlich der Schweiz­er Jahreskon­ferenz für Poli­tik­wis­senschaft trafen sich in Basel führende Experten der Schweiz­er Umfrage­forschung zur (selbst)kritischen Diskus­sion.

Nach der Pub­lika­tion der VOX-Analyse zur Annahme der Massenein­wan­derungsini­tia­tive im April 2014 disku­tierte die Schweiz­er Öffentlichkeit wochen­lang über deren Erken­nt­nisse, falsche Schlüsse und über­holte Befra­gungsmeth­o­d­en.

Mit der zunehmenden Beliebtheit von Umfra­gen bei Medi­en und Pub­likum in den let­zten Jahren nahm auch die Kri­tik an ihnen zu. Doch nicht alle Sozial­wis­senschaftler arbeit­en in der gle­ichen Weise mit Umfrage­dat­en: Die einen möcht­en mit Umfra­gen vor Wahlen und Abstim­mungen möglichst richtige Schlüsse im Hin­blick auf das zu erwartende Ergeb­nis ziehen, während die anderen Dat­en von hoher Qual­ität für die Analy­sen nach Wahlen und Abstim­mungen benöti­gen. 

Prognostiker suchen nach neuen Methoden, um möglichst genaue Vorhersagen tätigen zu können

Claude Longchamp und das Forschungsin­sti­tut gfs.bern sind in erster Lin­ie im Auf­trag von Kun­den tätig. Die Tren­d­analy­sen im Vor­feld von Wahlen und Abstim­mungen wer­den für das Schweiz­er Radio und Fernse­hen SRF durchge­führt. Diese Analy­sen find­en in Medi­en und Öffentlichkeit grosse Beach­tung. 

Dass eine einzelne Umfrage Unschär­fen haben kann, ist all­ge­mein bekan­nt. In Basel stellte Claude Longchamp die von ihm für die Schweiz angepasste Meth­ode des soge­nan­nten Com­bin­ings vor. Com­bin­ing ist, wie es der Name sagt, die Kom­bi­na­tion von Mess­re­sul­tat­en, die durch unter­schiedliche Meth­o­d­en ermit­telt wur­den. Zum Beispiel klas­sis­che Befra­gun­gen der Wäh­len­den, Ein­schätzun­gen von Experten, kom­plexe ökonometrische Mod­elle und Ergeb­nisse von Wahlbörsen. In den USA, wo vor wichti­gen Wahlen tausende unter­schiedliche Unter­suchun­gen von ver­schieden­sten Anbi­etern zur Ver­fü­gung ste­hen, lässt dieser kom­binierte Ansatz sehr genaue Vorher­sagen zu. 

In der Schweiz wurde Com­bin­ing bish­er noch nicht offiziell einge­set­zt. Erste Tests sind aber vielver­sprechend. Claude Longchamp ist zuver­sichtlich, dass der Com­bin­ing-Ansatz in Zukun­ft auch in der Schweiz erfol­gre­ich zur Anwen­dung kommt.

Trial and error auf dem Vormarsch

Lucas Lee­mann führt seit knapp zwei Jahren zusam­men mit Fabio Wasser­fall­en im Auf­trag von 20min.ch Online-Befra­gun­gen zwecks Tren­d­analy­sen vor Abstim­mungen durch. Die Resul­tate aus den Online-Befra­gun­gen von 20min.ch lagen gemäss ihrer eige­nen Berech­nung in vie­len Fällen näher am tat­säch­lichen späteren Ergeb­nis als Umfra­gen, die auf Dat­en aus Befra­gun­gen mit Zufall­sauswahl basiert waren.

Lucas Lee­mann zeigte in seinen Aus­führun­gen auf, wie im Umfrage­bere­ich zwecks Prog­nosen immer mehr neue Wege began­gen wer­den und erwäh­nte das Beispiel, wie in den USA eine Befra­gung von Xbox-Spiel­ern Oba­mas zweit­en Wahlsieg genauer voraus­sagte als der Durch­schnitt aller anderen Umfra­gen.

Bei Online-Befra­gun­gen auf Medi­en­plat­tfor­men wer­den Befragte nicht wie in den klas­sis­chen Tele­fon­be­fra­gun­gen zufäl­lig aus­gewählt. Die Teil­nehmenden machen aus eigen­er Moti­va­tion mit. An den Online-Befra­gun­gen von 20min.ch nehmen in der Regel mehrere Zehn­tausend Leserin­nen und Leser teil und hin­ter­lassen so eine riesige Daten­menge. Wie gut diese Teil­nehmer die Stimm­bürg­er abbilden, weiss man nicht genau. Diesem Prob­lem treten die Forsch­er mit­tels aus­gek­lügel­ter method­is­ch­er Gewich­tungsver­fahren ent­ge­gen. Lucas Lee­mann ist daher überzeugt, dass die Prob­leme im Bere­ich der Tren­dum­fra­gen sta­tis­tis­ch­er Natur sind.

Weil die Dat­en immer schlechter wer­den, müssen die Sta­tis­tik­er dafür immer bess­er wer­den.

Lucas Lee­mann

 

Infobox 1 : Umfra­gen und Prog­nosen
Wer vor Wahlen und Abstim­mungen für Medi­en Umfra­gen durch­führt, hat das Ziel, möglichst genaue Vorher­sagen abzuliefern. Dies wird vom Pub­likum erwartet, auch wenn es mit den Meth­o­d­en der Sozial­wis­senschaften nicht möglich ist, exak­te Prog­nosen von poli­tis­chen Ereignis­sen abzugeben und die beteiligten Forsch­er darum auch nicht von Prog­nosen reden. 

Mit­tler­weile sind auf dem Schweiz­er Markt mehrere Anbi­eter von Umfra­gen inkl. Inter­pre­ta­tio­nen tätig. Wenn sich die Resul­tate solch­er im Vor­feld gemachter Umfra­gen von den tat­säch­lichen Ergeb­nis­sen stark unter­schei­den, kriegen dies die Mach­er nicht nur in den Online-Kom­mentaren, son­dern auch im redak­tionellen Teil der Medi­en zu spüren.

Irrtümliches Gütesiegel Repräsentativität

Viele in den Medi­en ver­bre­it­ete Umfra­gen wer­den als repräsen­ta­tive Befra­gung verkauft. Thomas Mil­ic, der am Zen­trum für Demokratie Aarau und bei soto­mo Wahl- und Abstim­mungs­forschung betreibt, führt aus, wie Repräsen­ta­tiv­ität im Dun­stkreis des Halb­wis­sens in den Medi­en zu einem ver­meintlichen Güte­siegel für qual­i­ta­tiv hochste­hende Umfra­gen wurde. Doch das ist ein Trugschluss. 

Repräsen­ta­tiv­ität ist ein the­o­retis­ches Ide­al. In der Prax­is ver­ste­hen alle etwas anderes darunter.

Thomas Mil­ic

Man ist im Zusam­men­hang mit dem Begriff der Repräsen­ta­tiv­ität mit zwei Prob­le­men kon­fron­tiert: Zum einen ver­ste­hen alle etwas anderes unter Repräsen­ta­tiv­ität. Zum anderen ist Repräsen­ta­tiv­ität selb­st dann, wenn man sie so definiert, dass die Stich­probe ein verklein­ertes Spiegel­bild der Gesamtheit sein soll, nur noch ein Ide­al, das kein Umfrage­in­sti­tut voll­ständig erfüllen kann. 

Ganz all­ge­mein ist die Ver­mit­tlung von Begrif­f­en aus der Methodik und Sta­tis­tik an die Öffentlichkeit beina­he ein Ding der Unmöglichkeit. Das Pub­likum inter­essiere sich ohne­hin nicht für Hin­ter­gründe ein­er Befra­gung, son­dern möchte etwas neues und inter­es­santes erfahren. Thomas Mil­ic plädiert deshalb dafür, den Begriff der Repräsen­ta­tiv­ität gar nicht mehr zu ver­wen­den.

Diskussion zur Umfrageforschung

Foto: Diskus­sion zur Umfrage­forschung am Jahreskongress der Schweiz­erischen Vere­ini­gung für Poli­tis­che Wis­senschaft. Basel, 21. Jan­u­ar 2016.

Sozialwissenschafter sind um Datenqualität besorgt

Georg Lutz, Leit­er der Schweiz­er Wahlstudie Selects, ist um die Qual­ität der Befra­gun­gen bemüht, die für wis­senschaftliche Analy­sen ver­langt wer­den. Die guten alten Zeit­en, als man jeden Schweiz­er Stimm­bürg­er prob­lem­los aufs Fes­t­netz anrufen kon­nte und sich dieser gerne eine halbe Stunde lang aus­fra­gen liess, sind defin­i­tiv vor­bei. Immer mehr Leute haben nur noch ein Mobil­tele­fon und viele verzicht­en auf einen Ein­trag im Tele­fon­buch. Zudem sank die Teil­nah­me­bere­itschaft an den frei­willi­gen Befra­gun­gen in den let­zten Jahren stark. Dadurch kommt es zu Verz­er­run­gen der Roh­dat­en, die man mit Gewich­tun­gen aus­gle­ichen und bei der Inter­pre­ta­tion der Ergeb­nisse berück­sichti­gen muss.

Manche der Prob­leme der Analy­sen, beispiel­sweise die riesi­gen Diskrepanzen zwis­chen der von Befragten geäusserten Teil­nah­me­ab­sicht­en an Wahlen und der tat­säch­lichen Teil­nahme, sind darauf zurück­zuführen. Bish­er übliche Gewich­tun­gen kön­nen diese Verz­er­run­gen nicht mehr auf­fan­gen, wie der Gen­fer Poli­tik­wis­senschaftler Pas­cal Scia­ri­ni in seinen Aus­führun­gen auf der Basis von Dat­en aus dem Kan­ton Genf dar­legte. Dort wer­den die Per­so­n­en, die an Wahlen und Abstim­mungen teil­nehmen, von Amtes wegen erfasst. Diese Dat­en ste­hen den Forschen­den anschliessend zur Ver­fü­gung und kön­nten für Analy­sen genutzt wer­den. 

Infobox 2 : Befra­gung ist nicht gle­ich Befra­gung
Nicht jede Befra­gung hat den gle­ichen Zweck. Es gibt eine klare Tren­nung zwis­chen ein­er Befra­gung zwecks Prog­nose im Vor­feld von Wahlen und Abstim­mungen und Nach­be­fra­gun­gen von Stimm­bürg­ern zur Erforschung von poli­tis­chen Posi­tio­nen und Werthal­tun­gen. Für die an der Diskus­sion anwe­senden Wis­senschaftler ist diese Unter­schei­dung von zen­traler Bedeu­tung, allerd­ings ist sie schwierig ver­mit­tel­bar.
Diskussion kann nicht in der Öffentlichkeit geführt werden

Soll man die Pub­lika­tion von kom­merziellen Umfra­gen in den Medi­en ver­bi­eten?” wur­den die Diskus­sion­steil­nehmer gefragt. Das sei eine der­massen unre­al­is­tis­che Forderung, darüber brauche man gar nicht erst zu disku­tieren, meinte Georg Lutz. Zudem sei die Forderung auch prob­lema­tisch, denn sie bedinge einen staatlichen Ein­griff in die Mei­n­ungs­frei­heit. Er sieht für wis­senschaftlich tätige Forsch­er die Prob­leme in anderen Bere­ichen. Zen­tral neben der Sicherung ein­er hohen Daten­qual­ität sei die Trans­parenz der einge­set­zten Meth­o­d­en und der freie Daten­zu­gang.

Qual­ität kostet und wir müssen neue Wege beschre­it­en, um eine hohe Qual­ität zu sich­ern. Bei Umfra­gen gilt: man bekommt jene Qual­ität, die man bere­it ist zu bezahlen.

Georg Lutz

Weit­ere Möglichkeit­en zur Verbesserung der Sit­u­a­tion wur­den kon­tro­vers disku­tiert. In anderen Län­dern wer­den beispiel­sweise Resul­tate von Befra­gun­gen nicht von den gle­ichen Per­so­n­en oder Insti­tu­tio­nen inter­pretiert, die die Dat­en erhoben und die Analy­sen durchge­führt haben. Zudem kom­men in der Schweiz bish­er meist nur die Unter­suchun­gen, die mit öffentlichen Geldern finanziert wer­den, dem Wun­sch nach der all­ge­meinen Freiga­be von erhobe­nen Dat­en sowie Analysemeth­o­d­en nach. 

An der Ver­anstal­tung zeigte sich, dass die Prob­leme und Inter­essen der Forschen­den unter­schiedlich gelagert sind. Unbe­strit­ten ist aber, dass die Diskus­sion um opti­male Befra­gung­stech­niken und Analysemeth­o­d­en Per­so­n­en mit hoher Exper­tise vor­be­hal­ten ist. Medi­en­schaf­fende, PR-Fach­leute sowie Poli­tik­erin­nen und Poli­tik­er inter­essieren sich in der Regel weniger dafür. 

Infobox 3 : Prog­nosen, Befra­gun­gen und VOX/S­e­lects-Analy­sen sind nicht das gle­iche
Eine Prog­nose ist die Vorher­sage eines Ereigniss­es. Aus sozial­wis­senschaftlich­er Sicht ist die Zuver­läs­sigkeit der Prog­nose­mod­elle umstrit­ten. Prog­nosen im Hin­blick auf Wahlen oder Abstim­mungen zu erstellen, ist auch nicht das primäre Ziel von poli­tik­wis­senschaftlich­er Forschung. 

Umfra­gen oder Befra­gun­gen sind in der Sozial­wis­senschaft ver­bre­it­ete Erhe­bungsin­stru­mente. Mit­tels eines Frage­bo­gens wer­den bes­timmte Per­so­n­en­grup­pen zu aus­gewählten The­men befragt. Befra­gun­gen enthal­ten in der Regel auch Angaben über soziode­mografis­che Merk­male der Befragten wie z.B. Alter, Geschlecht, Aus­bil­dung, sozialer Sta­tus, etc. Wis­senschaftliche Befra­gun­gen wer­den nicht zur Vorher­sage bes­timmter Ereignisse durchge­führt, son­dern um Ver­gle­iche zwis­chen klar definierten Grup­pen von Men­schen sowie Ver­gle­iche über die Zeit machen zu kön­nen.

Die VOX-Analy­sen wur­den von 1977 bis 2016 nach jed­er Abstim­mung durchge­führt, um das Abstim­mungsver­hal­ten der Schweiz­er Stimm­bürg­erin­nen und Stimm­bürg­er zu erk­lären. Seit 1995 gibt es die Schweiz­er Wahlstudie Selects, die u.a. unter­sucht, wer auf Grund von welchen Merk­malen welche Partei gewählt hat. Diese bei­den Langzeit­pro­jek­te sind wis­senschaftliche Stu­di­en, die mit öffentlichen Geldern finanziert wer­den. Bei­de Stu­di­en basieren auf Befra­gungs­dat­en.


Titel­bild: DeFac­to

Foto: DeFac­to

Print Friendly, PDF & Email