KOALA

Warum es nicht reicht Stimmanteile zu betrachten

Kurz vor der Bundestagswahl am 24. September 2017 steigt wieder das Interesse an Wahlberichterstattung. Einen Beitrag hierzu leisten diverse Meinungsforschungsinstitute, die in regelmäßigen Abständen Umfragewerte zur sogenannten Sonntagsfrage veröffentlichen:

“Welche Partei würden sie wählen, wenn Sonntag Bundestagswahl wäre?”

Anhand dieser Umfragen versuchen die Medien dann meist Fragen wie

Welche Parteien bilden die Regierungskoalition?

oder

Schaffen es die kleinen Parteien in den Bundestag?

zu beantworten.

Oft werden zur Beantwortung dieser Fragen die erzielten Anteile betrachtet oder für Koalitionen von Interesse aufaddiert. Diese einfache Betrachtung ist allerdings oft irreführend und uninformativ, wie weiter unten gezeigt wird.

In Zusammenarbeit mit ZEIT ONLINE hat das Statistische Beratungslabor (StaBLab) der LMU deshalb 2013 ein Verfahren entwickelt, dass eine genauere und aussagekräftigere Interpretation von Umfragen erlaubt.

Zur Bundestagswahl 2017 laufen unsere Analysen unter dem Namen #koala17:

  • Aktuelle Updates gibt es in unserem Twitter Feed
  • Detaillierte Auswertungen bietet unser interaktives Tool
  • Details zur Methodik finden sich hier
  • Details zur Implementierung findet man in unserem Open Source R-Paket coalitions


Warum reicht es nicht Anteile zu betrachten?

Untenstehende Tabelle zeigt die letzte Forsa-Umfrage vor der Bundestagswahl 2013:

Table 1: Forsa-Umfrage vom 20.September 2013
AfD FDP gruene linke piraten sonstige SPD Union
4% 5% 10% 9% 2% 4% 26% 40%

Betrachtet man einfach die Anteile, kommt die FDP in den Bundestag und Schwarz-Gelb hätte nicht genügend Stimmen für eine Mehrheit.

Warum ist diese Betrachtung ungenügend?
  1. Die Stimmumverteilung wird nicht berücksichtigt:

    • Die Stimmen aller Parteien, die es nicht über die 5%-Hürde schaffen, werden umverteilt.
    • Je mehr Stimmen umverteilt werden, desto geringer muss der Anteil an Stimmen in den Befragungen sein, um eine Mehrheit der Sitze erreichen zu können.
    • Parteien mit einem hohen Stimmanteil profitieren dabei stärker als kleinere Parteien.
  2. Die Stichprobenunsicherheit wird nicht berücksichtigt:

    • Selbst wenn eine Umfrage repräsentativ ist, bedeutet es nicht, dass es bei der Wahl nicht zu Abweichungen vom Umfragewert kommen kann.
    • Dies kann für potentielle Koalitionen eine große Rolle spielen, insbesondere wenn eine oder mehrere Parteien nahe an der 5%-Hürde liegen.
  3. Ausreißer und Institutsbias:

    • Einzelne Umfragen können von der tatsächlichen Stimmungslage abweichen.
    • Umfragen verschiedener Institute weisen teilweise starke Unterschiede auf
    • Oft wird der Anteil einzelner Parteien je nach Umfrageinstitut systematisch höher/niedriger geschätzt als bei den anderen Instituten


Was bedeutet dies konkret?

1. Umverteilung

Bei der Bundestagswahl 2013 war der Anteil umverteilter Stimmen ungewöhnlich hoch. Nach obiger Umfrage würden die Stimmen der Piraten, AfD und Sonstigen umverteilt, also bereits 10% aller Stimmen. Zusätzlich war die FDP nahe der 5%-Hürde, d.h. insgesamt hätten bis zu 15% der Stimmen umverteilt werden können. Die Sitzverteilung für dieses konkrete Beispiel sähe folgendermaßen aus:

Table 2: Anteile und Zuordnung von Sitzen (nach dem Verfahren von Sainte-Lague-Scheppers) nach der Umverteilung der Stimmen
Partei Anteil Sitze
Union 44.44% 266
SPD 28.89% 173
gruene 11.11% 66
FDP 5.56% 33
linke 10% 60

In diesem Szenario hätte Schwarz-Gelb also nur knapp weniger als 50% anstatt der knapp 45%, die sich aus der Umfrage ergaben. Schwarz-Grün hätte eine solide Mehrheit von 55.6% statt der 50%, welche sich aus der Umfrage ohne Umverteilung der Stimmen ergeben würden.

2. Stichprobenunsicherheit

Selbst wenn man davon ausgeht, dass die einzelnen Umfrageinstitute keinen systematischen Fehler machen, ist jede Befragung basierend auf einer Stichprobe mit Unsicherheit behaftet. Das heißt, dass die wahren Anteile einzelner Parteien von den erfragten Anteilen abweichen können. Je kleiner die Stichprobe, desto größer die Unsicherheit.

Für die FDP würde die Forsa-Umfrage deshalb bedeuten, dass sie es nur in 50% der Fälle in den Bundestag schafft. D.h. selbst wenn es für Schwarz-Gelb, laut Umfrage und nach Umverteilung, knapp für eine Mehrheit reichen würde, realisiert sich diese Mehrheit nur in etwa 50% der Fälle. In den anderen 50% der Fälle profitiert die Union zwar davon, dass die Anteile der FDP umverteilt werden, aber nicht in vollem Umfang, sodass z.B. eine alleinige Mehrheit sehr unwahrscheinlich war.

3. Ausreißer und Institutsbias

Bei jeder Umfrage kann es passieren, dass die zugrundeliegende Stichprobe das aktuelle Stimmungsbild nicht korrekt abbildet. Es stellt sich außerdem die Frage welche der Umfragen man für seine Aussagen heranzieht. Selbiges gilt für die Frage, den Umfragen welcher Institute man vertrauen soll. In beiden Fällen besteht die Gefahr der Rosinenpickerei und, damit verbunden, falscher Schlüsse.

Wie geht KOALA mit diesen Problemen um?

Unser Ansatz beginnt damit, dass wir die Stichprobenunsicherheit sowie die Unterschiede zwischen den Umfragen verschiedener Institute anerkennen. Neben den Umfragen der einzelnen Institute betrachten wir deshalb auch eine sog. gepoolte Stichprobe, die eine Art Durchschnitt über die Umfragen aller Institute innerhalb eines Fensters von 14 Tagen darstellt. Dadurch wird der Einfluss potentieller Ausreißer gemildert und die Stichprobenunsicherheit reduziert.

Basierend auf dieser gepoolten Umfrage generieren wir dann viele verschiedene Wahlausgänge, die manchmal mehr, manchmal weniger von den Umfragewerten abweichen. In jedem dieser hypothetischen Wahlausgänge führen wir die Umverteilung der Anteile durch und berechnen für jede Partei die Anzahl an Sitzen nach der Umverteilung. Gegeben die Sitze kann dann für eine Koalition von Interesse berechnet werden, ob genügend Sitze für eine Mehrheit zu Stande gekommen sind.

Wiederholt man das Ganze mehrere Tausend mal lässt sich die Wahrscheinlichkeit berechnen, dass für die Koalition von Interesse eine rechnerische Mehrheit zu Stande kommen würde. Im vorherigen Beispiel ergeben sich z.B. folgende Wahrscheinlichkeiten:

Table 3: Auf der Forsa-Umfrage basierende Koalitionswahrscheinlichkeiten laut unserer KOALA
Koalition Wahrscheinlichkeit
Union 0.31 %
Union - FDP 26.31 %
cdu_gruene 99.6 %
cdu_fdp_gruene 0.09 %
SPD 0 %
linke_spd 0 %
gruene_linke_spd 65.88 %

Obwohl also die Union und FDP laut Umfrage nur 45% der Stimmanteile hatten, betrug die Wahrscheinlichkeit dafür, dass Schwarz-Gelb eine rechnerische Sitzemehrheit erhält etwa 27%.

Zum Vergleich: Die Wahrscheinlichkeit, dass Donald Trump die Präsidentschaft gewinnt, lag laut letzter Vorhersage von FiveThirtyEight bei 28.6%.

Bei der Bundestagswahl 2013 ist letztendlich das Ereignis mit der höheren Wahrscheinlichkeit (keine Sitzemehrheit für Schwarz-Gelb) eingetreten, da die FDP es trotz 5% in den Umfragen nicht in den Bundestag geschafft hat.