KOALA

Wie genau waren die Umfragen in Bayern und Hessen 2018?

Im Anschluss an die Landtagswahlen in Bayern und Hessen untersuchen wir die Genauigkeit der vor den Wahlen veröffentlichten Umfragen sowie der gepoolten Umfrage von KOALA.

Die Unsicherheiten hinter den zu Sonntagsfragen veröffentlichten Stimmanteilen liegen generell bei 2-3 Prozentpunkten. Parteien mit größeren Stimmanteilen unterliegen dabei stärkeren Schwankungen.

Was ist die KOALA-Methode? Grundlage für unsere Wahlanalysen stellt eine sogenannte gepoolte Umfrage dar, ein gewichteter Durchschnitt der Umfragen ausgewählter, in Deutschland etablierter Umfrageinstitute. Um aktuelle Trends zu erfassen werden dabei nur die Umfragen der letzten 28 Tage berücksichtigt (Umfragen älter als 15 Tage mit halbem Gewicht) und jeweils nur maximal eine Umfrage pro Herausgeber. Gleichzeitig reduziert das Aggregieren von Umfragen die Unsicherheit, um ein möglichst robustes Bild der aktuellen Stimmungslage zu erhalten.

Landtagswahl in Hessen

Die Landtagswahl in Hessen fand am 28.Oktober statt. Letzte Umfragen wurden bis zu drei Tage vor der Wahl von vier Instituten veröffentlicht:

Institut Veröffentlichung
Civey 25.10.2018
Forsch’gr. Wahlen 25.10.2018
INSA 23.10.2018
Infratest dimap 18.10.2018

Die zwischen den Umfrageinstituten zu beobachtenden Unterschiede der veröffentlichten Stimmanteile liegen insgesamt im Rahmen der zu erwartenden Schwankungen, sowohl bei Union (Stimmanteile zwischen 26% und 28%), Grünen (18,5%–21%), SPD (20%–22%), AfD (12%–13%) und FDP (7%–9%). Lediglich bei der Linken sowie den sonstigen Parteien fällt auf, dass alle vier Umfrageinstitute gleiche Stimmanteile von 8% bzw. 4% berichten.

Stimmanteile in Umfragen in Hessen

Die folgende Grafik visualisiert die Abweichungen der Einzel-Umfragen und des auf Basis unserer KOALA-Methode berechneten Stimmungsbilds zum amtlichen Wahlergebnis.

Differenz der Umfragen zum Wahlergebnis in Hessen

Bei Union (Abweichungen zwischen -1 und +1 Prozentpunkten), Grünen (-1.3; +1.2) und FDP (-0.5; +1.5) lassen sich keine strukturellen Abweichungen beobachten. Strukturelle Abweichungen hingegen liegen bei SPD (+0.2; +2.2), der Linken (alle +1.7) sowie den Sonstigen (alle -2.5) vor. Der Stimmanteil dieser Parteien wurde in allen Umfragen über- bzw. unterschätzt. Auch die AfD (-1.1; -0.1) wurde von allen Umfrageinstituten unterschätzt, jedoch entsprach der berichtete Stimmanteil von zwei der vier Institute fast exakt dem Wahlergebnis. Speziell die Überschätzungen von SPD, Linken und Sonstigen weisen letztendlich auf einen Industriebias – d.h. einen strukturellen Fehler aller Umfrageinstitute – hin, welcher SPD- und Linke-Wähler in den veröffentlichten Stimmanteilen überrepräsentiert und die Wähler sonstiger Parteien unterrepräsentiert.

Über alle Parteien hinweg lagen die Umfragen in Hessen recht nahe am tatsächlichen Wahlausgang (s.u.). Die maximale mittlere Abweichung eines Instituts liegt mit +1.31 Prozentpunkten (ohne Sonstige: +1.12) immer noch klar im Bereich der zu erwartbaren Schwankungen. Forschungsgruppe Wahlen sowie die gemittelte Umfrage von KOALA, beide mit einer mittleren Abweichung von +1.03 Prozentpunkten (+0.78), waren dem amtlichen Endergebnis am nächsten.

Mittlerer Absoluter Fehler der Umfragen in Hessen

Eine Betrachtung der durch die KOALA-Methode berechneten Wahrscheinlichkeiten zeigt, dass eine probabilistische Interpretation der Umfragen sinnvoll ist. CDU und Grüne hätten auf Basis ihres berichteten gepoolten Stimmanteils von 47 Prozentpunkten (bei 4% für Sonstige) keine Sitzemehrheit im Landtag erreicht. Unter Einbezug der Unsicherheit lag die letztendlich erreichte mögliche Mehrheit jedoch im Rahmen des Erwartbaren (22% Wahrscheinlichkeit). Das Bündnis der Parteien SPD, Grüne und FDP hatte mit einem gepoolten Stimmanteil von 49 Prozentpunkten höhere Erfolgsaussichten (66%). Die letztlich erreichte, Grün-geführte Sitzemehrheit bei dieser Koalitionsoption erschien auch hier auf Basis der Umfragen als möglich (38% für SPD-Grüne-FDP + 28% für Grüne-SPD-FDP).

Landtagswahl in Bayern

Zur Landtagswahl in Bayern – welche am 14.Oktober stattfand – veröffentlichten fünf Institute eigene Umfragen. Die Umfragen wurden dabei zwischen drei und 17 Tagen vor der Wahl veröffentlicht:

Institut Veröffentlichung
Civey 11.10.2018
Forsch’gr. Wahlen 11.10.2018
INSA 09.10.2018
Infratest dimap 04.10.2018
GMS 27.09.2018

Die Unterschiede zwischen den Umfragen liegen wie in Hessen im Rahmen der zu erwartenden Schwankungen. Dies gilt mit Union (32.9%–35%), Grünen (16%–18.5%), Freien Wählern (9.8%–11%), AfD (10%–14%), SPD (10%–13%), FDP (5%–6%), Linken (3.9%–4.5%) und Sonstigen (4%–6.5%) für alle Parteien.

Stimmanteile in Umfragen in Bayern

Im Vergleich zur Wahl in Hessen zeigen sich in Bayern größere Abweichungen der Umfragen zum Wahlergebnis. Es lässt sich ein klarer Industriebias erkennen, da insbesondere CSU (Abweichungen zwischen -4.3 und -2.2 Prozentpunkten), AfD (-0.2; +3.8) und SPD (+0.3; +3.3) von (fast) allen Umfrageinstituten deutlich unter- bzw. überschätzt wurden. Die beobachteten Abweichungen liegen nicht mehr im Bereich der zu erwartenden Schwankungen und zeigen strukturelle Fehler der Umfrageinstitute auf, welche bestimmte Wählergruppen in den Umfragen nicht adäquat repräsentieren. Weniger ausgeprägt, aber auch strukturell sind die Abweichungen bei Freien Wählern (-1.8; -1.6), Linken (+0.7; +1.3) und FDP (-0.1; +0.9).

Differenz der Umfragen zum Wahlergebnis in Bayern

Betrachtet man die mittleren absoluten Abweichungen der Umfragen vom tatsächlichen Wahlausgang lagen die Institute zwischen +1.23 und +1.58 Prozentpunkten (ohne Sonstige: +1.27; +1.77). Am nächsten an den tatsächlichen Stimmanteilen lag unsere KOALA-Umfrage (ohne Sonstige: Infratest dimap).

Mittlerer Absoluter Fehler der Umfragen in Bayern

Auch in Bayern zeigt sich der Vorteil der probabilistischen Interpretation der Umfragen. Die inzwischen geformte Regierung aus CSU und Freien Wählern hatte in der letzten gepoolten Umfrage einen Stimmanteil von 44.2 Prozentpunkten. Dieser Anteil selbst hätte nicht für eine Sitzemehrheit im Landtag ausgereicht. Er entsprach jedoch einer Mehrheitswahrscheinlichkeit von 22% und eine Mehrheit lag damit durchaus im Rahmen des Erwartbaren.