Logo

Welcher Umfrage kann man trauen?

Von DB, 19. Februar 2016 Kommentarfunktion geschlossen
«20 Minuten» und GFS haben diese Woche die Resultate der letzten Abstimmungsumfragen publiziert. Wir zeigen, wer bisher häufiger ins Schwarze traf.

Von Felix Schindler und Ruedi Lüthi

Es wird eng am 28. Februar. Claude Longchamp resümiert in der SRG-Trendbefragung vom Mittwochabend, der Ausgang der Durchsetzungsinitiative sei offen, wobei sich der Trend «eher» in Richtung Nein bewege. Die Zustimmung der Initiative sei von 51 auf 46 Prozent gefallen. Konkurrent «20 Minuten», der wie der Datenblog zu Tamedia gehört, ist etwas verbindlicher: «Die Durchsetzungsinitiative dürfte scheitern», berichtete die Onlineausgabe am Mittwochmorgen. Laut ihrer Umfrage ist die Zustimmung von 61 auf 43 Prozent erodiert.

Was heisst das nun für den Ausgang der Abstimmung? Wenig. Denn Umfragen sind keine Prognosen, wie Longchamp bei jeder Gelegenheit betont. Und trotzdem: Die Umfragen von GFS und «20 Minuten» führten in den letzten zwei Jahren kein einziges mal völlig in die Irre.

«20 Minuten» macht seit 2014 Onlineumfragen und lässt diese durch die Politologen Fabio Wasserfallen und Lucas Leemann gewichten. GFS führt die SRG-Trendumfrage seit Jahren durch und setzt auf Telefonbefragungen. Als Konkurrenten fertigten «20 Minuten» und GFS bisher zu 18 Vorlagen Umfragen an. Ein Vergleich aller Ergebnisse zeigt: Jene von «20 Minuten» treffen häufiger ins Schwarze als jene von GFS.

Natürlich: Aus wissenschaftlicher Sicht ist dieser Vergleich nicht ganz lupenrein. Umfragen messen die Stimmung vor dem Urnengang. Bis zum Termin können Ereignisse die Meinungsbildung beeinflussen, ausserdem weiss niemand, wie die Unentschlossenen stimmen werden, die beide Umfragen ausweisen. Für unseren Vergleich haben wir diese Wähler in den Verhältnissen der beiden Lager auf Ja und Nein verteilt. Daraus ergibt sich folgendes Bild: Die letzten SRG-Trendumfragen lagen in sieben Abstimmungen näher am Resultat, die letzte Welle von «20 Minuten» bei elf Vorlagen. Die durchschnittliche Abweichung vom Endresultat beträgt bei «20 Minuten» 6,5 Prozentpunkte, bei GFS 9,1 Prozentpunkte. Die Resultate der ersten Wellen von «20 Minuten» sind jeweils stärker gestreut, liegen aber auch weiter vom Abstimmungstermin entfernt. Berücksichtigt man allerdings die umstrittensten sechs Vorlagen, ist die Bilanz ausgeglichen. Drei Mal liegt «20 Minuten» näher, drei Mal GFS. Und bei beiden beträgt die Abweichung 4,5 Prozent. Der Vergleich macht insbesondere sichtbar, dass beide Methoden die Trends der Meinungsbildung vergleichbar abbilden. Je näher der Abstimmungstermin kommt, desto eher decken sich die Resultate der Umfragen mit den Abstimmungsergebnissen.

Der Vergleich macht sichtbar, dass beide Methoden die Trends der Meinungsbildung gleichermassen zuverlässig abbilden. Je näher der Abstimmungstermin kommt, desto eher decken sich die Resultate der Umfragen mit den Abstimmungsergebnissen.

Die Grafik stellt die Abweichung der Umfrageresultate von GFS vom Schlussresultat auf der Zeitachse dar. Jeder Punkt steht für die Veröffentlichung einer Umfrage.

 

Für einen genaueren Blick auf die Umfragen von GFS nahmen wir auch eine Vorlage in die Grafik (nicht in die Auswertung), zu der «20 Minuten» keine Befragungen durchführte: die Minarettinitiative, der Ausreisser in Longchamps Umfragen. Damals deuteten alle Ergebnisse auf ein komfortables Nein (mindestens 53 Prozent), an der Urne resultierte bekanntlich 57,5 Prozent Ja. Umstritten ist, ob der berüchtigte Effekt der «sozialen Erwünschtheit» dafür verantwortlich war. Das heisst: Bei Tabuthemen lügen die Teilnehmer den Interviewer eiskalt an. Mit diesem Effekt rechnet Longchamp am 28. Februar nicht, wie er in seinem Blog schreibt. Nicht einmal bei der Durchsetzungsinitiative.

Bei der Goldinitiative liessen die Umfragen bereits ein Nein erahnen, wie deutlich es ausfallen wird, war jedoch eine Überraschung. Bei der Pädophileninitiative oder der Gripen-Abstimmung entsprach die letzte Umfrage auf den Prozentpunkt genau dem Ergebnis, bei den knappsten Entscheiden der letzten Jahre veränderte sich der Ja-Anteil von Umfrage bis Abstimmung noch um 2,3 Prozentpunkte (RTVG) respektive 4,6 Prozentpunkte (Masseneinwanderung).

Die Grafik stellt die Abweichung der Umfrageresultate von «20 Minuten» vom Schlussresultat auf der Zeitachse dar. Jeder Punkt steht für die Veröffentlichung einer Umfrage.

 

Bei «20 Minuten» resultierten bei der Stipendieninitiative die grössten Differenzen von der letzten Umfrage zum Schlussresultat (+16,3 Prozent). Eine Punktlandung waren die Umfragen zur Abtreibungsfinanzierung (–0,4 Prozent). «20 Minuten» führt im Gegensatz zu GFS drei Wellen durch. Auffällig ist, dass die Abweichung bei der zweiten Welle häufig zunimmt. Doch bei der letzten Welle war «20 Minuten», wie erwähnt, oft einen Tick näher am Schlussresultat als GFS.

Erst ein Ja, dann ein Nein bei der Familieninitiative

Die Dicke der Linie zeigt die Zahl der Unentschlossenen, die weisse Linie den Ja-Anteil* der Umfragen.

 

Wie stark sich die Stimmung im Land verändern kann, zeigt ein Blick auf den Verlauf der Umfragen zur Familieninitiative der CVP. In den ersten Wellen deuteten die Umfragen auf ein klares Ja. Beide Methoden ermittelten korrekt, dass die Stimmung kippte. «20 Minuten» liess allerdings eher erahnen, wie deutlich die Niederlage ausfallen wird. Ein nahezu identischer Verlauf zeigte sich auch bei der Goldinitiative und der Initiative «Schluss mit der Mehrwertsteuer-Diskriminierung».

Knapper Ausgang beim Gripen-Kauf

 

Knapp fiel das Nein zum Gripen-Kauf aus. Im Vorfeld verzichtete «20 Minuten» auf die Ermittlung der Unentschiedenen, weshalb die blaue Linie durchgehend dünn ist. Beide Methoden ermittelten von Anfang an Resultate, die auf ein Nein hindeuteten. In der letzten Welle lieferten sie ein Resultat, das dem Ergebnis fast punktgenau entsprach (GFS –0,3 Prozentpunkte, «20 Minuten» –1,5 Prozentpunkte).

Was sagten die Umfragen vor dem 9. Februar 2014?

 

Ein Vergleich von «20 Minuten» und GFS zur Ausschaffungsinitiative ist nicht möglich – damals führte die Pendlerzeitung noch keine Umfragen durch. Deshalb ist der Blick zurück auf die Masseneinwanderungsinitiative der SVP aus heutiger Sicht wohl der spannendste: eine radikale Initiative der SVP mit Gegnern in praktisch jeder Partei, jedem Departement und jedem Verband. Doch im Volk erzielte die Initiative eine knappe Mehrheit. «20 Minuten» führte damals seine erste Umfrage durch, nur eine Welle drei Wochen vor der Abstimmung – und machte einen ersten Punkt gegen GFS. «20 Minuten» ermittelte ein leicht stärkeres Ja-Lager* von 52,1 Prozentpunkten. In der letzten GFS-Umfrage war das Nein-Lager etwas stärker (53,8 Prozent), allerdings mit abnehmendem Trend. Die Resultate waren damals aber – gleich wie heute – so knapp, dass niemand eine Prognose wagen wollte. Denn die drei grossen Unbekannten bleiben: Was passiert in den nächsten neun Tagen, wie entscheiden sich die Unentschiedenen und: Verzerrt der Effekt der «sozialen Erwünschtheit» die Umfragen? Bei diversen Vorlagen wie Ecopop, Ausschaffungsinitiative und Masseneinwanderungsinitiative liess er sich nicht mehr beobachten. Auch beim GFS gibt es keine Hinweise auf «soziale Erwünschtheit», wie Sprecher Lukas Golder erklärt. «Die Befragten gehen knapp von einem Ja aus, obwohl ausländerkritische Argumente klar zum Ausdruck kommen.»

*Die Umfragen weisen jeweils aus, wie viele Teilnehmer noch unentschieden waren. Um die Ja-Anteile vergleichen zu können, haben wir die unentschiedenen Wähler in den Verhältnissen der beiden Lager auf Ja und Nein verteilt.