Falsche Prognosen, unnötige Analysen? — Zur Zukunft der Schweizer Umfrageforschung

Poli­ti­sche Umfra­gen sind in Ver­ruf gekom­men: Pro­gno­sen sei­en unge­nau, klas­si­sche Tele­fon­be­fra­gun­gen wür­den nicht mehr funk­tio­nie­ren und die Daten erst noch unter Ver­schluss gehal­ten. Anläss­lich der Schwei­zer Jah­res­kon­fe­renz für Poli­tik­wis­sen­schaft tra­fen sich in Basel füh­ren­de Exper­ten der Schwei­zer Umfra­ge­for­schung zur (selbst)kritischen Dis­kus­si­on.

Nach der Publi­ka­ti­on der VOX-Ana­ly­se zur Annah­me der Mas­sen­ein­wan­de­rungs­in­itia­ti­ve im April 2014 dis­ku­tier­te die Schwei­zer Öffent­lich­keit wochen­lang über deren Erkennt­nis­se, fal­sche Schlüs­se und über­hol­te Befra­gungs­me­tho­den.

Mit der zuneh­men­den Beliebt­heit von Umfra­gen bei Medi­en und Publi­kum in den letz­ten Jah­ren nahm auch die Kri­tik an ihnen zu. Doch nicht alle Sozi­al­wis­sen­schaft­ler arbei­ten in der glei­chen Wei­se mit Umfra­ge­da­ten: Die einen möch­ten mit Umfra­gen vor Wah­len und Abstim­mun­gen mög­lichst rich­ti­ge Schlüs­se im Hin­blick auf das zu erwar­ten­de Ergeb­nis zie­hen, wäh­rend die ande­ren Daten von hoher Qua­li­tät für die Ana­ly­sen nach Wah­len und Abstim­mun­gen benö­ti­gen. 

Prognostiker suchen nach neuen Methoden, um möglichst genaue Vorhersagen tätigen zu können

Clau­de Long­champ und das For­schungs­in­sti­tut gfs.bern sind in ers­ter Linie im Auf­trag von Kun­den tätig. Die Trend­ana­ly­sen im Vor­feld von Wah­len und Abstim­mun­gen wer­den für das Schwei­zer Radio und Fern­se­hen SRF durch­ge­führt. Die­se Ana­ly­sen fin­den in Medi­en und Öffent­lich­keit gros­se Beach­tung. 

Dass eine ein­zel­ne Umfra­ge Unschär­fen haben kann, ist all­ge­mein bekannt. In Basel stell­te Clau­de Long­champ die von ihm für die Schweiz ange­pass­te Metho­de des soge­nann­ten Com­bi­nings vor. Com­bi­ning ist, wie es der Name sagt, die Kom­bi­na­ti­on von Mess­re­sul­ta­ten, die durch unter­schied­li­che Metho­den ermit­telt wur­den. Zum Bei­spiel klas­si­sche Befra­gun­gen der Wäh­len­den, Ein­schät­zun­gen von Exper­ten, kom­ple­xe öko­no­me­tri­sche Model­le und Ergeb­nis­se von Wahl­bör­sen. In den USA, wo vor wich­ti­gen Wah­len tau­sen­de unter­schied­li­che Unter­su­chun­gen von ver­schie­dens­ten Anbie­tern zur Ver­fü­gung ste­hen, lässt die­ser kom­bi­nier­te Ansatz sehr genaue Vor­her­sa­gen zu. 

In der Schweiz wur­de Com­bi­ning bis­her noch nicht offi­zi­ell ein­ge­setzt. Ers­te Tests sind aber viel­ver­spre­chend. Clau­de Long­champ ist zuver­sicht­lich, dass der Com­bi­ning-Ansatz in Zukunft auch in der Schweiz erfolg­reich zur Anwen­dung kommt.

Trial and error auf dem Vormarsch

Lucas Lee­mann führt seit knapp zwei Jah­ren zusam­men mit Fabio Was­ser­fal­len im Auf­trag von 20min.ch Online-Befra­gun­gen zwecks Trend­ana­ly­sen vor Abstim­mun­gen durch. Die Resul­ta­te aus den Online-Befra­gun­gen von 20min.ch lagen gemäss ihrer eige­nen Berech­nung in vie­len Fäl­len näher am tat­säch­li­chen spä­te­ren Ergeb­nis als Umfra­gen, die auf Daten aus Befra­gun­gen mit Zufalls­aus­wahl basiert waren.

Lucas Lee­mann zeig­te in sei­nen Aus­füh­run­gen auf, wie im Umfra­ge­be­reich zwecks Pro­gno­sen immer mehr neue Wege began­gen wer­den und erwähn­te das Bei­spiel, wie in den USA eine Befra­gung von Xbox-Spie­lern Oba­mas zwei­ten Wahl­sieg genau­er vor­aus­sag­te als der Durch­schnitt aller ande­ren Umfra­gen.

Bei Online-Befra­gun­gen auf Medi­en­platt­for­men wer­den Befrag­te nicht wie in den klas­si­schen Tele­fon­be­fra­gun­gen zufäl­lig aus­ge­wählt. Die Teil­neh­men­den machen aus eige­ner Moti­va­ti­on mit. An den Online-Befra­gun­gen von 20min.ch neh­men in der Regel meh­re­re Zehn­tau­send Lese­rin­nen und Leser teil und hin­ter­las­sen so eine rie­si­ge Daten­men­ge. Wie gut die­se Teil­neh­mer die Stimm­bür­ger abbil­den, weiss man nicht genau. Die­sem Pro­blem tre­ten die For­scher mit­tels aus­ge­klü­gel­ter metho­di­scher Gewich­tungs­ver­fah­ren ent­ge­gen. Lucas Lee­mann ist daher über­zeugt, dass die Pro­ble­me im Bereich der Tren­dum­fra­gen sta­tis­ti­scher Natur sind.

Weil die Daten immer schlech­ter wer­den, müs­sen die Sta­tis­ti­ker dafür immer bes­ser wer­den.

Lucas Lee­mann

 

Info­box 1 : Umfra­gen und Pro­gno­sen
Wer vor Wah­len und Abstim­mun­gen für Medi­en Umfra­gen durch­führt, hat das Ziel, mög­lichst genaue Vor­her­sa­gen abzu­lie­fern. Dies wird vom Publi­kum erwar­tet, auch wenn es mit den Metho­den der Sozi­al­wis­sen­schaf­ten nicht mög­lich ist, exak­te Pro­gno­sen von poli­ti­schen Ereig­nis­sen abzu­ge­ben und die betei­lig­ten For­scher dar­um auch nicht von Pro­gno­sen reden. 

Mitt­ler­wei­le sind auf dem Schwei­zer Markt meh­re­re Anbie­ter von Umfra­gen inkl. Inter­pre­ta­tio­nen tätig. Wenn sich die Resul­ta­te sol­cher im Vor­feld gemach­ter Umfra­gen von den tat­säch­li­chen Ergeb­nis­sen stark unter­schei­den, krie­gen dies die Macher nicht nur in den Online-Kom­men­ta­ren, son­dern auch im redak­tio­nel­len Teil der Medi­en zu spü­ren.

Irrtümliches Gütesiegel Repräsentativität

Vie­le in den Medi­en ver­brei­te­te Umfra­gen wer­den als reprä­sen­ta­ti­ve Befra­gung ver­kauft. Tho­mas Milic, der am Zen­trum für Demo­kra­tie Aar­au und bei soto­mo Wahl- und Abstim­mungs­for­schung betreibt, führt aus, wie Reprä­sen­ta­ti­vi­tät im Dunst­kreis des Halb­wis­sens in den Medi­en zu einem ver­meint­li­chen Güte­sie­gel für qua­li­ta­tiv hoch­ste­hen­de Umfra­gen wur­de. Doch das ist ein Trug­schluss. 

Reprä­sen­ta­ti­vi­tät ist ein theo­re­ti­sches Ide­al. In der Pra­xis ver­ste­hen alle etwas ande­res dar­un­ter.

Tho­mas Milic

Man ist im Zusam­men­hang mit dem Begriff der Reprä­sen­ta­ti­vi­tät mit zwei Pro­ble­men kon­fron­tiert: Zum einen ver­ste­hen alle etwas ande­res unter Reprä­sen­ta­ti­vi­tät. Zum ande­ren ist Reprä­sen­ta­ti­vi­tät selbst dann, wenn man sie so defi­niert, dass die Stich­pro­be ein ver­klei­ner­tes Spie­gel­bild der Gesamt­heit sein soll, nur noch ein Ide­al, das kein Umfra­ge­insti­tut voll­stän­dig erfül­len kann. 

Ganz all­ge­mein ist die Ver­mitt­lung von Begrif­fen aus der Metho­dik und Sta­tis­tik an die Öffent­lich­keit bei­na­he ein Ding der Unmög­lich­keit. Das Publi­kum inter­es­sie­re sich ohne­hin nicht für Hin­ter­grün­de einer Befra­gung, son­dern möch­te etwas neu­es und inter­es­san­tes erfah­ren. Tho­mas Milic plä­diert des­halb dafür, den Begriff der Reprä­sen­ta­ti­vi­tät gar nicht mehr zu ver­wen­den.

Diskussion zur Umfrageforschung

Foto: Dis­kus­si­on zur Umfra­ge­for­schung am Jah­res­kon­gress der Schwei­ze­ri­schen Ver­ei­ni­gung für Poli­ti­sche Wis­sen­schaft. Basel, 21. Janu­ar 2016.

Sozialwissenschafter sind um Datenqualität besorgt

Georg Lutz, Lei­ter der Schwei­zer Wahl­stu­die Selec­ts, ist um die Qua­li­tät der Befra­gun­gen bemüht, die für wis­sen­schaft­li­che Ana­ly­sen ver­langt wer­den. Die guten alten Zei­ten, als man jeden Schwei­zer Stimm­bür­ger pro­blem­los aufs Fest­netz anru­fen konn­te und sich die­ser ger­ne eine hal­be Stun­de lang aus­fra­gen liess, sind defi­ni­tiv vor­bei. Immer mehr Leu­te haben nur noch ein Mobil­te­le­fon und vie­le ver­zich­ten auf einen Ein­trag im Tele­fon­buch. Zudem sank die Teil­nah­me­be­reit­schaft an den frei­wil­li­gen Befra­gun­gen in den letz­ten Jah­ren stark. Dadurch kommt es zu Ver­zer­run­gen der Roh­da­ten, die man mit Gewich­tun­gen aus­glei­chen und bei der Inter­pre­ta­ti­on der Ergeb­nis­se berück­sich­ti­gen muss.

Man­che der Pro­ble­me der Ana­ly­sen, bei­spiels­wei­se die rie­si­gen Dis­kre­pan­zen zwi­schen der von Befrag­ten geäus­ser­ten Teil­nah­me­ab­sich­ten an Wah­len und der tat­säch­li­chen Teil­nah­me, sind dar­auf zurück­zu­füh­ren. Bis­her übli­che Gewich­tun­gen kön­nen die­se Ver­zer­run­gen nicht mehr auf­fan­gen, wie der Gen­fer Poli­tik­wis­sen­schaft­ler Pas­cal Scia­ri­ni in sei­nen Aus­füh­run­gen auf der Basis von Daten aus dem Kan­ton Genf dar­leg­te. Dort wer­den die Per­so­nen, die an Wah­len und Abstim­mun­gen teil­neh­men, von Amtes wegen erfasst. Die­se Daten ste­hen den For­schen­den anschlies­send zur Ver­fü­gung und könn­ten für Ana­ly­sen genutzt wer­den. 

Info­box 2 : Befra­gung ist nicht gleich Befra­gung
Nicht jede Befra­gung hat den glei­chen Zweck. Es gibt eine kla­re Tren­nung zwi­schen einer Befra­gung zwecks Pro­gno­se im Vor­feld von Wah­len und Abstim­mun­gen und Nach­be­fra­gun­gen von Stimm­bür­gern zur Erfor­schung von poli­ti­schen Posi­tio­nen und Wert­hal­tun­gen. Für die an der Dis­kus­si­on anwe­sen­den Wis­sen­schaft­ler ist die­se Unter­schei­dung von zen­tra­ler Bedeu­tung, aller­dings ist sie schwie­rig ver­mit­tel­bar.
Diskussion kann nicht in der Öffentlichkeit geführt werden

Soll man die Publi­ka­ti­on von kom­mer­zi­el­len Umfra­gen in den Medi­en ver­bie­ten?” wur­den die Dis­kus­si­ons­teil­neh­mer gefragt. Das sei eine der­mas­sen unrea­lis­ti­sche For­de­rung, dar­über brau­che man gar nicht erst zu dis­ku­tie­ren, mein­te Georg Lutz. Zudem sei die For­de­rung auch pro­ble­ma­tisch, denn sie bedin­ge einen staat­li­chen Ein­griff in die Mei­nungs­frei­heit. Er sieht für wis­sen­schaft­lich täti­ge For­scher die Pro­ble­me in ande­ren Berei­chen. Zen­tral neben der Siche­rung einer hohen Daten­qua­li­tät sei die Trans­pa­renz der ein­ge­setz­ten Metho­den und der freie Daten­zu­gang.

Qua­li­tät kos­tet und wir müs­sen neue Wege beschrei­ten, um eine hohe Qua­li­tät zu sichern. Bei Umfra­gen gilt: man bekommt jene Qua­li­tät, die man bereit ist zu bezah­len.

Georg Lutz

Wei­te­re Mög­lich­kei­ten zur Ver­bes­se­rung der Situa­ti­on wur­den kon­tro­vers dis­ku­tiert. In ande­ren Län­dern wer­den bei­spiels­wei­se Resul­ta­te von Befra­gun­gen nicht von den glei­chen Per­so­nen oder Insti­tu­tio­nen inter­pre­tiert, die die Daten erho­ben und die Ana­ly­sen durch­ge­führt haben. Zudem kom­men in der Schweiz bis­her meist nur die Unter­su­chun­gen, die mit öffent­li­chen Gel­dern finan­ziert wer­den, dem Wunsch nach der all­ge­mei­nen Frei­ga­be von erho­be­nen Daten sowie Ana­ly­se­me­tho­den nach. 

An der Ver­an­stal­tung zeig­te sich, dass die Pro­ble­me und Inter­es­sen der For­schen­den unter­schied­lich gela­gert sind. Unbe­strit­ten ist aber, dass die Dis­kus­si­on um opti­ma­le Befra­gungs­tech­ni­ken und Ana­ly­se­me­tho­den Per­so­nen mit hoher Exper­ti­se vor­be­hal­ten ist. Medi­en­schaf­fen­de, PR-Fach­leu­te sowie Poli­ti­ke­rin­nen und Poli­ti­ker inter­es­sie­ren sich in der Regel weni­ger dafür. 

Info­box 3 : Pro­gno­sen, Befra­gun­gen und VOX/­Selec­ts-Ana­ly­sen sind nicht das glei­che
Eine Pro­gno­se ist die Vor­her­sa­ge eines Ereig­nis­ses. Aus sozi­al­wis­sen­schaft­li­cher Sicht ist die Zuver­läs­sig­keit der Pro­gno­se­mo­del­le umstrit­ten. Pro­gno­sen im Hin­blick auf Wah­len oder Abstim­mun­gen zu erstel­len, ist auch nicht das pri­mä­re Ziel von poli­tik­wis­sen­schaft­li­cher For­schung. 

Umfra­gen oder Befra­gun­gen sind in der Sozi­al­wis­sen­schaft ver­brei­te­te Erhe­bungs­in­stru­men­te. Mit­tels eines Fra­ge­bo­gens wer­den bestimm­te Per­so­nen­grup­pen zu aus­ge­wähl­ten The­men befragt. Befra­gun­gen ent­hal­ten in der Regel auch Anga­ben über sozio­de­mo­gra­fi­sche Merk­ma­le der Befrag­ten wie z.B. Alter, Geschlecht, Aus­bil­dung, sozia­ler Sta­tus, etc. Wis­sen­schaft­li­che Befra­gun­gen wer­den nicht zur Vor­her­sa­ge bestimm­ter Ereig­nis­se durch­ge­führt, son­dern um Ver­glei­che zwi­schen klar defi­nier­ten Grup­pen von Men­schen sowie Ver­glei­che über die Zeit machen zu kön­nen.

Die VOX-Ana­ly­sen wur­den von 1977 bis 2016 nach jeder Abstim­mung durch­ge­führt, um das Abstim­mungs­ver­hal­ten der Schwei­zer Stimm­bür­ge­rin­nen und Stimm­bür­ger zu erklä­ren. Seit 1995 gibt es die Schwei­zer Wahl­stu­die Selec­ts, die u.a. unter­sucht, wer auf Grund von wel­chen Merk­ma­len wel­che Par­tei gewählt hat. Die­se bei­den Lang­zeit­pro­jek­te sind wis­sen­schaft­li­che Stu­di­en, die mit öffent­li­chen Gel­dern finan­ziert wer­den. Bei­de Stu­di­en basie­ren auf Befra­gungs­da­ten.


Titel­bild: DeFac­to

Foto: DeFac­to

Print Friendly, PDF & Email