Falsche Prognosen, unnötige Analysen? — Zur Zukunft der Schweizer Umfrageforschung

Sarah Bütikofer
1st Februar 2016

Politische Umfragen sind in Verruf gekommen: Prognosen seien ungenau, klassische Telefonbefragungen würden nicht mehr funktionieren und die Daten erst noch unter Verschluss gehalten. Anlässlich der Schweizer Jahreskonferenz für Politikwissenschaft trafen sich in Basel führende Experten der Schweizer Umfrageforschung zur (selbst)kritischen Diskussion.

Nach der Publikation der VOX-Analyse zur Annahme der Masseneinwanderungsinitiative im April 2014 diskutierte die Schweizer Öffentlichkeit wochenlang über deren Erkenntnisse, falsche Schlüsse und überholte Befragungsmethoden.

Mit der zunehmenden Beliebtheit von Umfragen bei Medien und Publikum in den letzten Jahren nahm auch die Kritik an ihnen zu. Doch nicht alle Sozialwissenschaftler arbeiten in der gleichen Weise mit Umfragedaten: Die einen möchten mit Umfragen vor Wahlen und Abstimmungen möglichst richtige Schlüsse im Hinblick auf das zu erwartende Ergebnis ziehen, während die anderen Daten von hoher Qualität für die Analysen nach Wahlen und Abstimmungen benötigen. 

Prognostiker suchen nach neuen Methoden, um möglichst genaue Vorhersagen tätigen zu können

Claude Longchamp und das Forschungsinstitut gfs.bern sind in erster Linie im Auftrag von Kunden tätig. Die Trendanalysen im Vorfeld von Wahlen und Abstimmungen werden für das Schweizer Radio und Fernsehen SRF durchgeführt. Diese Analysen finden in Medien und Öffentlichkeit grosse Beachtung. 

Dass eine einzelne Umfrage Unschärfen haben kann, ist allgemein bekannt. In Basel stellte Claude Longchamp die von ihm für die Schweiz angepasste Methode des sogenannten Combinings vor. Combining ist, wie es der Name sagt, die Kombination von Messresultaten, die durch unterschiedliche Methoden ermittelt wurden. Zum Beispiel klassische Befragungen der Wählenden, Einschätzungen von Experten, komplexe ökonometrische Modelle und Ergebnisse von Wahlbörsen. In den USA, wo vor wichtigen Wahlen tausende unterschiedliche Untersuchungen von verschiedensten Anbietern zur Verfügung stehen, lässt dieser kombinierte Ansatz sehr genaue Vorhersagen zu. 

In der Schweiz wurde Combining bisher noch nicht offiziell eingesetzt. Erste Tests sind aber vielversprechend. Claude Longchamp ist zuversichtlich, dass der Combining-Ansatz in Zukunft auch in der Schweiz erfolgreich zur Anwendung kommt.

Trial and error auf dem Vormarsch

Lucas Leemann führt seit knapp zwei Jahren zusammen mit Fabio Wasserfallen im Auftrag von 20min.ch Online-Befragungen zwecks Trendanalysen vor Abstimmungen durch. Die Resultate aus den Online-Befragungen von 20min.ch lagen gemäss ihrer eigenen Berechnung in vielen Fällen näher am tatsächlichen späteren Ergebnis als Umfragen, die auf Daten aus Befragungen mit Zufallsauswahl basiert waren.

Lucas Leemann zeigte in seinen Ausführungen auf, wie im Umfragebereich zwecks Prognosen immer mehr neue Wege begangen werden und erwähnte das Beispiel, wie in den USA eine Befragung von Xbox-Spielern Obamas zweiten Wahlsieg genauer voraussagte als der Durchschnitt aller anderen Umfragen.

Bei Online-Befragungen auf Medienplattformen werden Befragte nicht wie in den klassischen Telefonbefragungen zufällig ausgewählt. Die Teilnehmenden machen aus eigener Motivation mit. An den Online-Befragungen von 20min.ch nehmen in der Regel mehrere Zehntausend Leserinnen und Leser teil und hinterlassen so eine riesige Datenmenge. Wie gut diese Teilnehmer die Stimmbürger abbilden, weiss man nicht genau. Diesem Problem treten die Forscher mittels ausgeklügelter methodischer Gewichtungsverfahren entgegen. Lucas Leemann ist daher überzeugt, dass die Probleme im Bereich der Trendumfragen statistischer Natur sind.

Weil die Daten immer schlechter werden, müssen die Statistiker dafür immer besser werden.

Lucas Leemann

Irrtümliches Gütesiegel Repräsentativität

Viele in den Medien verbreitete Umfragen werden als repräsentative Befragung verkauft. Thomas Milic, der am Zentrum für Demokratie Aarau und bei sotomo Wahl- und Abstimmungsforschung betreibt, führt aus, wie Repräsentativität im Dunstkreis des Halbwissens in den Medien zu einem vermeintlichen Gütesiegel für qualitativ hochstehende Umfragen wurde. Doch das ist ein Trugschluss. 

Repräsentativität ist ein theoretisches Ideal. In der Praxis verstehen alle etwas anderes darunter.

Thomas Milic

Man ist im Zusammenhang mit dem Begriff der Repräsentativität mit zwei Problemen konfrontiert: Zum einen verstehen alle etwas anderes unter Repräsentativität. Zum anderen ist Repräsentativität selbst dann, wenn man sie so definiert, dass die Stichprobe ein verkleinertes Spiegelbild der Gesamtheit sein soll, nur noch ein Ideal, das kein Umfrageinstitut vollständig erfüllen kann. 

Ganz allgemein ist die Vermittlung von Begriffen aus der Methodik und Statistik an die Öffentlichkeit beinahe ein Ding der Unmöglichkeit. Das Publikum interessiere sich ohnehin nicht für Hintergründe einer Befragung, sondern möchte etwas neues und interessantes erfahren. Thomas Milic plädiert deshalb dafür, den Begriff der Repräsentativität gar nicht mehr zu verwenden.

Foto: Diskussion zur Umfrageforschung am Jahreskongress der Schweizerischen Vereinigung für Politische Wissenschaft. Basel, 21. Januar 2016.

Sozialwissenschafter sind um Datenqualität besorgt

Georg Lutz, Leiter der Schweizer Wahlstudie Selects, ist um die Qualität der Befragungen bemüht, die für wissenschaftliche Analysen verlangt werden. Die guten alten Zeiten, als man jeden Schweizer Stimmbürger problemlos aufs Festnetz anrufen konnte und sich dieser gerne eine halbe Stunde lang ausfragen liess, sind definitiv vorbei. Immer mehr Leute haben nur noch ein Mobiltelefon und viele verzichten auf einen Eintrag im Telefonbuch. Zudem sank die Teilnahmebereitschaft an den freiwilligen Befragungen in den letzten Jahren stark. Dadurch kommt es zu Verzerrungen der Rohdaten, die man mit Gewichtungen ausgleichen und bei der Interpretation der Ergebnisse berücksichtigen muss.

Manche der Probleme der Analysen, beispielsweise die riesigen Diskrepanzen zwischen der von Befragten geäusserten Teilnahmeabsichten an Wahlen und der tatsächlichen Teilnahme, sind darauf zurückzuführen. Bisher übliche Gewichtungen können diese Verzerrungen nicht mehr auffangen, wie der Genfer Politikwissenschaftler Pascal Sciarini in seinen Ausführungen auf der Basis von Daten aus dem Kanton Genf darlegte. Dort werden die Personen, die an Wahlen und Abstimmungen teilnehmen, von Amtes wegen erfasst. Diese Daten stehen den Forschenden anschliessend zur Verfügung und könnten für Analysen genutzt werden. 

Diskussion kann nicht in der Öffentlichkeit geführt werden

"Soll man die Publikation von kommerziellen Umfragen in den Medien verbieten?" wurden die Diskussionsteilnehmer gefragt. Das sei eine dermassen unrealistische Forderung, darüber brauche man gar nicht erst zu diskutieren, meinte Georg Lutz. Zudem sei die Forderung auch problematisch, denn sie bedinge einen staatlichen Eingriff in die Meinungsfreiheit. Er sieht für wissenschaftlich tätige Forscher die Probleme in anderen Bereichen. Zentral neben der Sicherung einer hohen Datenqualität sei die Transparenz der eingesetzten Methoden und der freie Datenzugang.

Qualität kostet und wir müssen neue Wege beschreiten, um eine hohe Qualität zu sichern. Bei Umfragen gilt: man bekommt jene Qualität, die man bereit ist zu bezahlen.

Georg Lutz

Weitere Möglichkeiten zur Verbesserung der Situation wurden kontrovers diskutiert. In anderen Ländern werden beispielsweise Resultate von Befragungen nicht von den gleichen Personen oder Institutionen interpretiert, die die Daten erhoben und die Analysen durchgeführt haben. Zudem kommen in der Schweiz bisher meist nur die Untersuchungen, die mit öffentlichen Geldern finanziert werden, dem Wunsch nach der allgemeinen Freigabe von erhobenen Daten sowie Analysemethoden nach. 

An der Veranstaltung zeigte sich, dass die Probleme und Interessen der Forschenden unterschiedlich gelagert sind. Unbestritten ist aber, dass die Diskussion um optimale Befragungstechniken und Analysemethoden Personen mit hoher Expertise vorbehalten ist. Medienschaffende, PR-Fachleute sowie Politikerinnen und Politiker interessieren sich in der Regel weniger dafür. 

Titelbild: DeFacto

Foto: DeFacto