Stefan Niggemeier

Forsa, das Institut mit dem Umfrage-Schock-Generator

Manfred Güllner hat es noch drauf. Nach all den Jahren und trotz der Flut von Umfragen konkurrierender Unternehmen schafft er es immer noch zuverlässig, mit seinem Forsa-Institut Werte in der „Sonntagsfrage“ zu ermitteln, die die größten Schlagzeilen produzieren.

„SPD stürzt in Umfrage auf 22 Prozent ab“, titelte Reuters. „Umfrage: SPD fällt auf 22 Prozent — Mehrheit für Schwarz-Gelb“, meldete dpa.

Die Online-Medien drehten bei der Übernahme dieser Nachricht routiniert den Lautstärkeregler auf: Einen „Umfrage-Schock für die SPD“, diagnostiziert Bild.de, „Die SPD macht schlapp“, formuliert n-tv.de; „Katastrophale Wahl-Umfrage“, krakeelt „Focus Online“. Und beim „Stern“, gemeinsam mit RTL Auftraggeber der Umfrage, ist der Konjunktiv tabu und deshalb die Wahl schon gelaufen: „Schwarz-Gelb hat die Mehrheit“.

Die aktuelle Forsa-Umfrage ist im Schnitt nicht aktueller als die, die Infratest Dimap am vergangenen Freitag veröffentlicht hat. Über die hat aber allem Anschein nach niemand berichtet. Warum auch? Die SPD verliert einen gerade erst gewonnenen Prozentpunkt wieder und kommt auf 26 Prozent, die Grünen gewinnen einen Prozentpunkt, die FDP bleibt bei 4 Prozent, alles wie gehabt. Wenn die Leute von Infratest Dimap in die Schlagzeilen wollen, müssen sie sich schon ein bisschen mehr anstrengen, aufregendere Ergebnisse zu produzieren.

Auch die gerade veröffentlichten Ergebnisse von Allensbach, wonach SPD und CDU gegenüber dem Vormonat leicht verlieren, Grüne und Linke leicht gewinnen, scheinen es nicht über die Aufmerksamkeitsschwelle geschafft zu haben.

Bei Forsa dagegen ist immer was los. Wenn nicht gerade die SPD abstürzt, kracht die FDP in den Keller: Zwei Prozent wollten Anfang Januar der Partei angeblich nur noch ihre Stimme geben. Bei keinem anderen Umfrageinstitut war der Höhenrausch der Piraten so heftig: Bis auf 13 Prozent ließ Forsa sie im Bund steigen.

Bei Forsa explodierten die Werte der Grünen bundesweit nach der erfolgreichen Landtagswahl in Baden-Württemberg im Frühjahr 2011 innerhalb von drei Wochen von 15 auf 28 Prozent. Und nur bei Forsa lagen die Grünen dann viele Wochen teils mit großem Vorsprung vor der SPD, was dafür sorgte, dass aufgeregt die Frage diskutiert werden musste, ob sie nicht einen eigenen Kanzlerkandidaten stellen sollten.

Dank der Mechanismen der Medienwelt werden solche Ausreißer nicht mit entsprechender Vorsicht behandelt, sondern produzieren die größten Schlagzeilen. Das Unwahrscheinliche ist nicht unwahrscheinlich, sondern sensationell. Skepsis hat eine umso kleinere Chance, je notwendiger sie wäre.

Als ich vor ein paar Monaten für den „Spiegel“ darüber geschrieben habe, erzählte mir Klaus-Peter Schöppner, Geschäftsführer von TNS Emnid, dass er sich von seinen Auftraggebern gelegentlich fragen lassen müsse: „Wieso habt ihr nicht ständig die schönen Zacken in euren Kurven?“

Doch die Zahlen von Forsa neigen nicht nur grundsätzlich zur Überreaktion; sie schätzen systematisch die Chancen der SPD niedriger ein als sämtliche andere Institute. Es gibt Theorien, warum die besondere Beziehung von Güllner zu der Partei dafür verantwortlich sein soll. Man kann die glauben oder nicht. Tatsache ist: Forsa ist immer für „Umfrage-Schocks“ für die SPD gut.

Ich habe mir mal die Mühe gemacht, alle SPD-Ergebnisse der Sonntagsfragen von Emnid, Allensbach, Infratest Dimap, der Forschungsgruppe Wahlen und Forsa seit der letzten Bundestagswahl in einem Diagramm aufzutragen:

Klicken macht groß, aber schon in der verkleinerten Version ist unübersehbar, wie konsequent Forsa die Absicht der Menschen, die SPD zu wählen, geringer einschätzt als die anderen.

Über den Zeitraum seit der Bundestagswahl kam die SPD im Wochenschnitt bei den einzelnen Instituten auf folgende Werte:

Forschungsgruppe Wahlen: 28,5 %
Allensbach: 28,0 %
Infratest Dimap: 27,7 %
Emnid: 26,9 %
Forsa: 24,7 %

Das ist bemerkenswert: Der Abstand von Forsa zu dem nächsten Institut ist größer als die Varianz zwischen den vier anderen Instituten. Die Abweichung begann schon kurz nach der Bundestagswahl (SPD: 23 Prozent), als Forsa die Partei auf unter 20 Prozent fallen sah.

Nun beweist die systematische Abweichung keineswegs, dass Forsa konsequent daneben liegt. Möglich ist auch, dass Forsa als einziges Institut die niedrigen Wahlchancen der Partei realistisch einschätzt. Das ist allerdings nicht ganz so wahrscheinlich.

Die Abweichung ist das, was der amerikanische Statistik-Freak Nate Silver als „House Effekt“ bezeichnet. Silver wurde nach der amerikanischen Präsidentschaftswahl in ungefähr allen deutschen Medien gefeiert für seine Analysen und Auswertungen der Meinungsumfragen.

Das deutsche Wahlsystem ist nicht so komplex, dass es eines Nate Silvers bedürfte. Es würde schon reichen, wenn die Medien die Umfrageergebnisse von Forsa als das einordnen würde, was sie sind: eine auffallende Minderheitenmeinung.

Die Agentur dpa hat das zumindest sehr indirekt gestern mit dem Satz gemacht:

Zwar werden dem Institut Forsa im Willy-Brandt-Haus tendenziöse Umfragezahlen unterstellt.

Aber nur, um die Zahlen in der Folge wieder als Realität zu nehmen und als Ausgangspunkt, um darüber zu spekulieren, was es für Folgen für Sigmar Gabriel hätte, wenn die SPD im Bund ihr bisher schlechtestes Wahlergebnisses von 23 Prozent (2009) im 150. Jahr des Bestehens der Sozialdemokratie unterbieten würde.

Ein Szenario, das im Moment nur laut Forsa der aktuellen politischen Stimmung entspräche.

(Quelle aller Umfragendaten: wahlrecht.de)

67 Replies to “Forsa, das Institut mit dem Umfrage-Schock-Generator”

  1. die ergebnisse von forsa unterscheiden sich tatsächlich seit monaten (wenn nicht jahren) auffallend von denen anderer institute, tragen aber eventuell durch die medien-aufmerksamkeit, die sie gerade damit generieren, ein bisschen dazu bei, dass sich die menschen überhaupt noch für politik bzw. interessieren. möglicherweise ;)

  2. Ich bin immer wieder erstaunt, dass in solchen Fällen nicht einmal die Nachrichtenagenturen versuchen, Vergleichswerte heranzuziehen. Das ist doch wirklich nicht so schwer und ich frage mich, wieso sie das nicht tun: Faulheit? Der Drang zur Schlagzeile? Arroganz?

  3. Moritz,

    von den Agenturen sollte man nicht zuviel verlangen. Sie reichen eigentlich nur die Verlautbarungen weiter. Das Abwägen müsste in den Redaktionen der Agentur-Kunden geschehen. Warum machen die das nicht? Faulheit spielt da gewiss eine große Rolle. Oder auch Unkennnis, schlechte Qualifikation. Dritter Grund: man will sich die schöne Schlagzeile nicht kaputtrecherchieren.

    Und da man sich bei der SPD auf ein Verlierer-Image geeinigt hat, schwimmt keiner gerne gegen den Strom. Eher wird nach etwas gesucht, um bei der Sau-durchs-Dorf-Jagd für einen Moment vorne dabei zu sein.

    Kompliment an den Hausherrn: gute Geschichte.

  4. Schöner Beitrag. Die Zahlen von Forsa können, wenn man einen Schnitt aus allen Umfragen bildet, dann immerhin als allgemeines Korrektiv nach unten bilden, sodass, alle zusammen genommen, vielleicht doch etwas einigermaßen realistisches dabei herauskommt.
    Tschüß

  5. Umfragen aller Institute sind eh mit äußerster Vorsicht zu genießen. Das hat man ja bei den letzten Landtagswahlen bezüglich der FDP mehr als deutlich gesehen.

    Aber Forsa sticht immer ganz besonders unangenehm hinsichtlich des Endergebnisses heraus.

  6. Oh, Stefan Niggemeyer, nichts gegen Deine Analyse und ich glaub schon, dass Forsa Politik mit ihren Umfragen macht. Aber wenn wir uns die letzte Umfrage von Forsa vor der letzten Bundestagswahl anschauen und mit dem Ergebnis vergleichen, dann liegt Forsa da ziemlich gut:
    Ergebnis:
    CDU 33,8 % SPD 23,0 % Grüne10,7 % FDP 14,6 % Linke 11,9 %
    gegenüber Umfrage:
    33 % 25 % 10 % 14 % 12 %
    Und auch damals hat man Forsa schon das unterstellt, was Du in Deinem Beitrag tust. Infratest hatte noch ein Prozent mehr für die SPD.
    Was wir nicht vergessen wollen: die Wahlen werden in den letzten beiden Wochen vor der Wahl entschieden. Insofern sind Ausschläge gar nicht mal so ungewöhnlich.

  7. Unterstellen wir mal, dass die einzelnen Institute ihre Daten vollkommen unabhängig von anderen Instituten erheben. Dann gibt es eigentlich nur zwei Möglichkeiten: Entweder (i) begehen alle Institute – außer Forsa – systematisch den gleichen Fehler, z.B. in der Auswahl der Stichprobe, so dass sie sehr ähnliche bzw. aufgrund der Fehlertoleranz statistisch ununterscheidbare Werte ermitteln. Oder (ii) das Problem liegt bei Forsa. Wie (un)wahrscheinlich Variante (i) ist, muss man nicht näher ausführen.

  8. Es wäre tatsächlich möglich, dass Forsa am Ende recht behielte. Nämlich dann, wenn sie mit den Ergebnissen Politik machen, also z.B. potentielle SPD-Wähler demotivieren können. Diese Wirkung ist bekannt, Frau Noelle-N. hat das in ihrer Theorie zur Schweigespirale anschaulich dargestellt (aber anschließend ihren Ruf durch abstruse Schlussfolgerungen aufs Spiel gesetzt).

  11. Vielleicht wartet man das Ergebnis der Bundestagswahl einfach einmal ab. Vielleicht liegt Fora ja doch richtig, obwohl dies derzeit nur eine Minderheitenmeinung zu sein scheint?

    Im Ernst: Der Beitrag zeigt nichts an außer den Unmut des Verfassers über die vermeintliche Parteilichkeit von Forsa. Über die Verbindungen von Allensbach (eher CDU/CSU freundlich), Infratest Dimap (eher SPD gefärbt) sagt Niggemeier nichts.

    Es wurde bereits darauf hingewiesen, dass Forsa 2009 gar nicht so schlecht lag. Wenn man sich die Mühe macht, die anderen Institute mit ihren letzten Prognosen vor der BTW 2009 zu vergleichen, kann man, was die Vorhersage für die SPD angeht, bei Forsa nichts tendenziöses erkennen (25% Prognose – 23,0% das Ergebnis). Die anderen Institute: Allenbach 24%, Emnid und FG Wahlen 25%, Infratest Dimap 26%.

  12. Das ist halt die Krux des Wesens der Nachricht. Ich zitiere mal Gernot Wersig, der seinerseits Shannon und Weaver (‚The mathematical theory of communication‘, 1949) übersetzt.

    „‚Information‘ wird demnach rein formal aufgefasst als die Wahrscheinlichkeit des Eintretens eines Ereignisses (Signals), je unwahrscheinlicher ein Signal ist, desto größer wird die dadurch übermittelte ‚Information‘.“

    Und hängt man da einen wirtschaftlichen Mehrwert dran, je größer die Information, desto größer die Aufmerksamkeit, desto größer der Umsatz ist völlig klar, dass es einen lukrativen Markt für Forsa gibt und einen lukrativen Markt für Forsa-Weitersage-Berichterstattung …

  13. @Gregor Keuschnig: Ob Forsa heute richtig liegt, werden wir aber nicht am Wahltag überprüfen können, weil die Umfrageinstitute keine Prognosen abgeben, sondern nur die aktuelle Stimmung wiedergeben.

    Die war bei Forsa vor der letzten Bundestagswahl durchaus erratisch. Sieben Wochen vor der Wahl sah Forsa die SPD bei 20 Prozent; dann gab es innerhalb von zwei Wochen einen rasanten Anstieg von 21 auf 26 Prozent.

    Wenn Sie aus dem Diagramm und den Zahlen oben nichts lesen als einen persönlichen Unmut meinerseits und nicht eine objektive statistische Auffälligkeit, dann, naja.

  15. Vielleicht macht Forsa einfach nur etwas anders als andere Umfrageinstitute: Sie nehmen nur die wirklichen Ergebnisse der Befragungen.

    Hintergrund: Bei ca. 1000 Befragten ergibt sich bei 233 für eine Partei ein Wert von 23%, bei 236 ein Wert von 24%. Wenn man dann noch 40% Nichwähler hat, sind ganze Prozentwerte schon bei einer Variation von 6 Personen bei der Umfrage möglich, ohne Rundungen wie oben beschrieben. Das könnte die ganzen Schwankungen erklären.

    Deshalb denke ich, dass die meisten Umfragen noch nachbearbeitet werden, z.B. anhand von weiteren Fragen (Was haben Sie bei der letzten Wahl gewählt? Sind Sie Mitglied in einer Partei? Ihr Alter? …), um die Schwankungen herauszurechnen, die sich aus der kleinen Stichprobe ergeben.

  17. Was mich interessieren würde: wir waren die Analysen der vier Institute sagen wie einige Monate lang vor der BTW09 und wie nah oder fern waren diese vom Ergebnis dieser BTW09.

  18. Stefan Niggemeier schrieb: „Sieben Wochen vor der Wahl sah Forsa die SPD bei 20 Prozent; dann gab es innerhalb von zwei Wochen einen rasanten Anstieg von 21 auf 26 Prozent.“

    Schauen wir doch mal auf wahlrecht.de. Forsa sah die SPD am 09.09.2009 bei 21 Prozent. Infratest dimap sah die SPD vier Tage später bei 22 Prozent.

    Forsa sah die SPD am 23.09.2009 bei 26 Prozent. Infratest dimap sah die SPD fünf Tage früher ebenfalls bei 26 Prozent.

    Vielleicht liegt dieser rasante Anstieg bei den Umfragewerten der SPD einfach daran, dass die Partei in den letzten drei Wochen vor der Wahl intensiven Wahlkampf geführt oder vom Kanzlerbonus profitiert hat.

  19. Das Problem ist, dass vermeintliche Wissenschaft hier nun Meinung macht. „Euch wählt doch eh keiner“ – das hat mir am Wahlstand nicht nur eine Person mit Bezug auf Berichte über Umfragen gesagt. Sie werden doch hier und da so ernst genommen, dass es Einfluss auf eine Wahlentscheidung haben kann.

    Mathematik, Empirie, Wirtschaftswissenschaft: Alles, wo mit Formeln und Wahrscheinlichkeiten gearbeitet wird, steckt gerade in einer Identitätskrise. Die krassen Abweichungen der Meinungsforschungsinstitute zu den tatsächlichen Wahlergebnissen müssten eigentlich genauso wie die Unfähigkeit der gängigen Wirtschaftswissenschaft zur Folge haben, dass die Medien sich nicht weiter mit ihr befassen.

    Aber es ist ja schlimmer. Die gleichen Institute, die für Medien, Öffentlichkeit usw. Woche für Woche Sonntagsfragen erheben, verdienen gutes Geld damit, den Parteien zu erklären, welche Milieus für sie erschließbar sind – inklusive Themen- und Methodenvorschläge. Und dann will sich noch einer darüber beschweren, dass Parteien kaum noch unterscheidbar sind…

  20. @theo: Ich verstehe, was du meinst und das stimmt schon. Aber die Titel, unter denen die Agenturen das in diesem Fall veröffentlicht haben, sind dann aus meiner Sicht trotzdem schlecht gewählt – selbst wenn sie nicht fürs Vergleichen der Daten zuständig sind.

  21. Hier haben ja manche darüber gesprochen, dass Forsa bei der letzten Bundestagswahl am besten war. Die Frage ist nun, ob sie am besten waren, weil sie die beste Methodik haben oder, ob sie am besten waren, weil sie die spektakulärsten Ergebnisse haben, damit sehr präsent in der Presse sind und somit die SPD-Wähler demobilisieren, weil die Wähler denken,dass es sowieso nichts bringt. Das wäre dann die klassische selbsterfüllende Prophezeiung, d.h. die SPD hat schlechte Wahlergebnisse, weil sie vorher runtergeschrieben wurde.
    Ich tendiere zumindest teilweise zur letzten Theorie, da die Medienmacht schon immens ist und wenn man teilweise mit Leuten spricht, vollkommen unreflektiert Umfragen als bare Münze genommen werden. Dann wäre die Sache aber ein undemokratischer Skandal und man sollte überlegen, ob man Umfragen generell so 2-3 Wochen vor der Wahl nicht mehr veröffentlichen darf.

  22. @theo: Die dpa-Geschichte war allerdings nicht bloß eine Meldung, sondern ein Korr-Bericht. Da kann man schon auch ein bisschen journalistisches Verantwortungsbewusstsein erwarten, finde ich. Gerade weil man weiß, wie leichtfertig Redakteure solche Berichte oft übernehmen (aus verschiedenen Gründen).

  23. Das Problem liegt tiefer. Alle Institue erheben ja nicht einfach Daten und veröffentlichen die, sondern sie gewichten sie unterschiedlich, um aus einem Stimmungsbild eine Wahlprognose abzugeben. Leider hüten die Institute ihre Methode der Gewichtung als Betirebsgeheimnis. Das ist zwar aus marktwirtschaftlicher Sicht nachvollziehbar, führt aber dazu, dass sämtliche Prognosen unwissenschaftlich sind.

    Wissenschaftlichkeit setzt zwingend Nachvollziehbarkeit voraus. Die ist hier nicht gegeben. Die „Wahlforscher“ machen in erster Linie Geld, in zweiter mglw. Politik, aber mit Sicherheit keine Wissenschaft.

    Welchen Prognosen man glauben (!) will, möge jeder mündige Mensch für sich selbst entscheiden.

  24. In den Kommentaren von dem oben verlinkten Artikel von Herrn Keuschnik, findet sich folgender erhellender Link, der insbes. Aufschluss über die Interviewsitiuation und die Auswertung gibt.

    http://www.spiegelfechter.com/wordpress/847/orakel-der-beliebigkeit

    Als ehemaliger langjähriger Marktforscher kann ich die Ausführungen von Herrn Jens Berger fast vollständig bestätigen. Auch wenn es schon ein paar Jahre her ist, dürfte sich bis heute nichts grundsätzlich verändert haben.

  25. Abgesehen von den methodischen Fragen bezüglich dieser Erhebungen könnte man auch argumentieren, dass man sie deswegen nicht ganz so hoch hängen sollte, weil ein Blick auf die SPD vielleicht zu einer besser begründeten Einschätzung der SPD verhilft als ein Blick auf das, was viele Leute jetzt gerade warum auch immer über sie meinen.

  27. @Thomas: Keiner gibt Rohdaten-Ergebnisse heraus. Das wäre erst recht unwissenschaftlich.
    Schichten und gewichten ist normal und notwendig. Man muss unbedingt Verzerrungen der Grundgesamtheit entgegenwirken, die insbesondere bei „schnellen“ Umfragen durch die Erreichbarkeit unterschiedlicher Gruppen entstehen. Außerdem gibt es bekannte Antwortverzerrungen. (Wahlverhalten bei SPD und rechtsextremen Parteien z.B.)
    @ IANAL: Die Geheimhaltung von Geschäftsgeheimnissen führt nicht zu Unwissenschaftlichkeit der Methode. Wenn Sie Zweifel an der Methode haben, machen Sie eine eigene Befragung. Oder setzen Sie sich mit dem jeweiligen Institut zusammen und unterschreiben eine Schweigeerklärung, Ihr Anliegen sollte aber nachvollziehbar sein.
    an Alle:
    Die Problematik bei der Übersetzung von Prognosen in Wahlergebnisse besteht vor allem darin, dass ein wesentlicher Teil der Wähler erst am Wahltag entscheidet. Deswegen sind die besten Prognosen immer die am Wahltag um 18.00 Uhr veröffentlichten.
    Bei den derzeitig veranstalteten Wahlprognosen ist aufgrund der Größe der Stichprobe zu beachten, dass Abweichungen von 1 Prozent grundsätzlich nicht signifikant sind. Zufalls-Abweichungen von 5 Prozent sind zu erwarten.

  29. Auf die Treffgenauigkeit von Forsa bei vergangenen Wahlen wurde hier ja schon hingewiesen. Auch deswegen sind wir beim STERN sehr zufrieden mit dem Institut. Forsa ruft jeden Tag 500 Menschen an, jeder STERN-RTL-Wahltrend beruht auf 2500 Interviews. Kein anderes Institut fragt so häufig, keine Stichprobe ist so groß. Veröffentlicht wird in der Regel der Wochendurchschnitt, aber die täglichen Werte zeigen sehr gut, wie die Bürger auf Nachrichten reagieren. Ja, die Schwankungen sind bei Forsa größer, aber Forsa ist auch das einzige Institut, das täglich fragt. Das ist mit einer monatlichen Umfrage, wie Allensbach sie für die FAZ macht, nicht vergleichbar. Als die Forschungsgruppe Wahlen noch zwischen „politischer Stimmung“und „Projektion“ unterschieden hat, gab es bei der politischen Stimmung auch stärkere Ausschläge. Der STERN-RTL-Wahltrend ist keine Prognose, sondern gibt die aktuelle Wahlabsicht wieder. Und dass die SPD nach dem bisherigen Vorwahlkampf nicht allzu weit von ihrem letzten Bundestagswahlergebnis entfernt ist, wird ja auch von vielen Kommentatoren so gesehen. Und die hinter den Kulissen begonnene Auseinandersetzung um die Schuld für die mögliche Niederlage im September zeigt auch, dass Spitzenpolitiker der SPD – anders als öffentlich beteuert – die Forsa-Zahlen sehr ernst nehmen.

  33. @Stefan Niggemeier: ZDF und Forschungsgruppe Wahlen veröffentlichen in den Pressemitteilungen und TV-Sendungen zum Politbarometer nur noch die Projektion. Die Daten zur politischen Stimmung werden zwar auf der Homepage der Forschungsgruppe bzw. bei Wahlrecht.de zugänglich gemacht, aber nicht mehr aktiv kommuniziert. Deswegen spielt die politische Stimmung in den Medien auch keine Rolle mehr.
    http://www.presseportal.de/pm/7840/2488109/zdf-politbarometer-juni-i-2013-mehrheit-uebt-kritik-an-de-maizi-re-haelt-ruecktritt-aber-nicht-fuer
    http://www.forschungsgruppe.de/Aktuelles/Politbarometer/

  34. zu #29:
    „…aber die täglichen Werte zeigen sehr gut, wie die Bürger auf Nachrichten reagieren.“

    Genau DAS sollte doch Anlass geben, darüber nachzudenken, dass Veröffentlichungen von Umfragewerten direkten Einfluss nehmen können und deswegen (zumindest einen Monat vor der Wahl) unterlassen werden sollten.

    Als ich die Umfrage-Nachricht gestern las, ertappte ich mich kurz dabei, wie ich darüber nachdachte, taktisch zu wählen und mich damit von meiner eigentlichen Wahl aus Überzeugung zum Wahlprogramm (als das geringstmögliche Übel) abbringen zu lassen.

    @11 / G. Keuschnig:
    Ihren zweiten Absatz empfinde ich unhöflich und streitsüchtig. Herr Niggemeier hat völlig nachvollziehbar statistische Unregelmäßigkeiten aufgezeigt, die es wert sind, darüber zu schreiben. Warum also das Ganze auf eine persönliche Ebene befördern?

  35. @Christoph: Die Bürger reagieren in der Regel auf Ereignisse – nicht auf Umfragewerte. Nominierungen, Rücktritte, Parteitage, Katastrophen, Krisenmanagement zum Beispiel. Wenn es drei Tage vor der Wahl ein großes Ereignis gäbe, dann hätte das auch Folgen für das Wahlergebnis. Deswegen ist es richtig, dass auch Wahlumfragen solche Reaktionen zeigen.
    Ich halte nichts davon, die Veröffentlichung von Umfragen vor dem Wahltag zu verbieten oder freiwillig zu unterlassen. Forschungsgruppe Wahlen und Infratest Dimap fragen für ARD und ZDF immer in den Tagen vor einer Wahl, weil sie die Umfrageergebnisse für ihre 18-Uhr-Prognose und die Wahlanalyse benötigen. Die Ergebnisse sickern immer irgendwie durch. Deswegen ist es vom ZDF nur konsequent, die letzte Umfrage kurz vor der Bundestagswahl auch zu veröffentlichen. Die letzten nicht veröffentlichten Umfragen vor der Niedersachsen-Wahl zeigten übrigens schon recht deutlich, dass Wähler von der CDU zur FDP wanderten. Unmittelbar vor einer Wahl lässt sich taktisches Wahlverhalten durch Umfragen also durchaus einfangen.

  36. @Nobilitatis: doch. Ohne Nachvollziehbarkeit des Vorgehens keine Wissenschaftlichkeit. Oder wie definieren Sie „wissenschaftlich“?

  37. @Lorenz Wolf-Doettinchem: Ich bezweifle, dass die Bürger auf Umfragewerte nicht reagieren. Eine im Umfragen aussichtslos zurückliegende Partei hat meines Erachtens große Probleme, ihre Anhänger noch zur Wahl zu mobilisieren. Genau darin besteht doch das Grundproblem: Sie schreiben „Schwarz-Gelb hat die Mehrheit“ und suggerieren damit, dass die Wahl bereits gelaufen sei.

  38. Guter Blogartikel, Forsa halte ich schon lange für Unseriös. Ich bin gespannt wie sie sich dieses mal bei der Bundestagswahl schlagen werden. 2005 Waren die Forsa-Zahlen letztlich ganz gut – allerdings wurde damals selbst Forsa von den eigenen Zahlen überrascht. Forsa hatte die SPD damals Wochenlang bei 20-22% gesehen, war aber unmittelbar vor der Wahl auf 26% hochgegangen – und damit lagen sie viel zu hoch. Sah für mich so aus als hätte Forsa die eigenen Zahlen nicht geglaubt. Ich bin gespannt ob sie sich dieses Jahr wieder in den letzten Umfragen den anderen Instituten annähern werden.

  39. Lorenz Wolf-Doettinchem hat es dankenswerterweise nochmals bekräftigt:
    Dem Stern liegt nicht viel daran, eine möglichst realistische Aussage für einen Wahlausgang zu veröffentlichen, sondern der Stern möchte vielmehr einen Forsa-Stimmungsbericht, gerade weil dieser so heftige Schwankungen bietet.
    Boulevard halt. Verkauft sich besser.

  40. @#37 (Blunt)
    Ob und wie weit sich Wähler von Umfragen beeinflussen lassen wäre in der Tat eine eigene Untersuchung wert! [wenn man nicht einfach an Noelle-Neumanns ‚Schweigespirale‘ glauben will] Aus dem hohlen Bauch formuliert führt eine These hierzu leider nur ins Nirgendwo.

    @Stefan Niggemeier: Danke für den Hinweis auf Nate Silver und von mir dazu die wärmste Leseempfehlung:
    „The Signal and the Noise: Why So Many Predictions Fail-but Some Don’t“.

  41. @inga, #30: So war das auch nicht gemeint. Und Sie haben das auch nicht so verstanden. Gewichtet werden die gewonnenen Befragungsdaten, und zwar (u.a.) nach dem Vorbild der Grundgesamtheit, die sie widerspiegeln sollen. Ist das so verständlicher?
    @IANAL: „doch“, weil Sie sich das so wünschen? Es handelt sich um eine kommerzielle Befragung, nicht um eine wissenschaftliche Veröffentlichung. Ansonsten gilt: Siehe oben.

  42. „Recht verlässlich sind die Ergebnisse von Umfragen dann, wenn sie sich auf die Aussagen größerer Befragtengruppen beziehen – so wenn z. B. 60 Prozent mit einer Maßnahme einverstanden, 30
    Prozent nicht einverstanden sind und 10 Prozent keine Meinung haben. An Grenzen stößt das Instrument der Umfrage aber, wenn eine Gruppe – wie derzeit z. B. die FDP-Anhänger – sehr klein wird. Bei einer Stichprobe von 1000 Wahlberechtigten, von denen sich zur Zeit 300 nicht an Wahlen beteiligen wollen oder unentschlossen sind,machen 24 Befragte auf der Basis von 700 Wahlwilligen 3,4 Prozent, 25 Befragte aber 3,6 Prozent aus. Ein Befragter kann also darüber entscheiden, ob die FDP bei 3 oder 4 Prozent liegt.“ (Prof. Manfred Güllner)

    Oder bei 2 oder 3. Oder bei 5 oder 6.

  43. Als SPD-Mitglied macht Forsa – Geschäftsführer Güllner entweder in Understatement — dem Ganzen zuliebe. Oder aber, er nimmt es der Partei übel, dass Freund Gerhard, der Schröder, so schmählich von der Basis behandelt wurde/wird. Dafür gibt es dann eben nur 22%.

    Wenn man aufs Diagramm schaut, könnte man auch behaupten, es gibt regelmäßig Abzüge für die B-Note. Aber die Tendenz stimmt ja.

  44. @Nobilitatis: Ihr obiger Satz ist einfach Murks. Sie haben „Grundgesamtheit“ geschrieben, wo „Stichprobe“ hin gemusst hätte. Und ja, ich wusste, was gemeint war. Aber wenn man schon meint, Fachbegriffe verwenden zu müssen, dann doch bitte richtig. Sonst schreiben Sie’s halt lieber in Alltagsprosa.

  45. @inga, #44: Sie haben Recht, mein obiger Satz war vermurkst. Und Ihr Vorschlag verschlimmbessert das Problem.
    Die Stichprobe wird aus der Grundgesamtheit gezogen. Wenn Sie da schon Verzerrungen drinhaben, ist das ein grober handwerklicher Fehler. Die Verzerrungen entstehen hauptsächlich durch die sehr unterschiedliche Erreichbarkeit der verschiedenen Gruppen. Sowohl in der Grundgesamtheit als auch der Stichprobe. Ergo ist das Problem erst im Datensatz der Befragung enthalten – den sogenannten Rohdaten. Diese müssen bereinigt und bearbeitet werden.
    Da ich vom Fach bin, weiß ich nicht, wie man solche Sachverhalte in Alltagsprosa übersetzt. Klären Sie mich auf.

  46. 13: „Ob Forsa heute richtig liegt, werden wir aber nicht am Wahltag überprüfen können, weil die Umfrageinstitute keine Prognosen abgeben, sondern nur die aktuelle Stimmung wiedergeben.“

    29: „Veröffentlicht wird in der Regel der Wochendurchschnitt“ … „Der STERN-RTL-Wahltrend ist keine Prognose, sondern gibt die aktuelle Wahlabsicht wieder.“

    Das stimmt meines Wissens so nicht. Wie schon erwähnt, werden keine Rohwerte und sehr wahrscheinlich auch keine puren Wochendurchschnittswerte mitgeteilt. Aktuelle und bisherige Erhebungen gehen verschieden gewichtet mit Proportional-, Integral- und Derivatanteilen ein und/oder werden mit noch komplizierteren, z. B. nichtlinearen Elementen (Sättigungseffekte), berechnet. FIR, IIR, adaptive Faktoren – was auch immer. Die Formeln werden gut behütet und, wie die Rohdaten, niemals veröffentlicht. Das Rezeptgeheimnis sozusagen. Es gab mal einen ausführlichen Bericht über die (mathematische) Arbeit solcher Institute – müsste man googeln, ob der sich wiederfinden ließe. (Vielleicht zensiert und inzwischen nicht mehr auffindbar … Geheimnisverrat halt.)

    2500 Befragungen erscheinen mir in Bezug auf zig Mio. Wahlberechtigte immer noch wenig. Wie will man wissen, dass diese kleine Menge jeweils repräsentativ genug ist? Mich z. B. können die gar nicht befragen, weil ich alle bekannten Rufnummern dieser Institute in Fritz‘ Sperrliste gepackt habe. Versucht hat man es in der Tat bereits mehrmals. Und wo rufen die noch so an? Nur Festnetzanschlüsse? Auf meinen Mobiltelefonen habe ich noch nie Anrufe erhalten – kann dennoch Zufall sein. Ansonsten: Menschen mit Festnetztelefonen sind in ihrem Wahlverhalten vielleicht mehr konservativ. Geben am Telefon alle gleichermaßen bereitwillig Auskunft? Oder tun dies besonders gerne wechselwillig oder extrem orientierte Wähler? Und verschicken die eigentlich auch E-Mails?

    Zum Forsa-Rauschpegel: Der ist sichtbar stärker als bei den anderen. Das könnte ein stärkerer Derivatanteil hüben oder – sehr gut möglich – mehr Integral drüben sein. (Erklärte aber einen steten Offset nicht – außer, es gibt parallel noch I-Anteile mit sehr großem T. Bleibt für P dann kaum noch etwas übrig …)

    Was mich auch immer ärgert: Die Quantisierung mit 1 %. Also bitte, ruhig mal mutige 0,1-%-Schritte wagen! Das ist bei 2500 neuen Werten allemal drin. (Für die kleinen Parteien interessant: Die 5-%-Hürde liegt nicht bei 4,5 %! Macht die FDP einen vermeintlich großen Sprung von 4 % auf 5 %, hat sie laut Herrn Güllner prompt die 5-%-Hürde übersprungen. Völliger Unsinn, wenn sie sich tatsächlich nur von 4,4 % auf 4,5 % verbessert hat, was doch sehr wahrscheinlich ist bei der sonstigen Konstanz. Erst ab 6 % kann man sonst sicher sein, dass es keine 4,5 % + x sind.)

    Eine Beeinflussung der jeweils kommenden Wahl durch die Veröffentlichung einer Stimmungslage ist zwar möglich, den Wirkungsmechanismus kann ich allerdings nicht sicher ausmachen. Muss man eine Partei deutlich herabsetzen, damit dies mehr Wähler motiviert, ihr Kreuz doch bitte zu setzen? Letzte Rettung? Oder geht das andersherum: Wenn die eh so wenig Zustimmung haben, dann hilft meine Stimme auch nicht mehr?

    Und wie war das mit der FDP in Niedersachsen das letzte Mal? Knapp daneben gelegen und das allesamt … (Die Formeln können also gar nicht so sehr unterschiedlich sein.)

  47. Wie man sieht, sind solche Umfragen Ergebnisse komplexer Berechnungen und methodisch eine große Herausforderung. In allen Bereichen, die mit Telefonumfragen arbeiten, ist zB. die sinkende Anzahl von Festnetzanschlüssen ein massives Problem. Diese ganzen Unterschiede muss man versuchen „herauszurechnen“. Da man aber nie weiß wie die Stimmung in der Grundgesamtheit, also der Gesamtbevölkerung über 18 aussieht, weiß man auch nie was die „wahren“ Werte sind.
    Wenn Forsa nun immer etwas abweichende Daten ermittelt, dann wird es sicher nicht so sein, dass der Chef da sitzt und sagt, heute geben wir der SPD mal 22%. Er wird auch nicht vor der Bundestagswahl sagen, nun müssen wir mal schnell zu den anderen Instituten aufholen. Sondern diese Unterschiede werden an den angewandten Berechnungsmethoden liegen.
    Jedoch wird sich (und das liegt intrinsisch in Feld und Methode) nie aufklären lassen, welche der Methoden richtiger und korrekter ist, sie sind alle nur Schätzungen von Wahrsacheinlichkeit und spiegeln keine Realität 1:1 wieder.

  48. Die Beeinflussung durch Umfragen ist in der Motivation zu sehen, zur Wahl zu gehen oder nicht. Immer dann, wenn durch den Wähler absehbar etwas erreicht werden kann, geht die Wahlbeteiligung absehbar nach oben und die Stimmenanteile verschieben sich zu Lasten von kleineren Parteien.
    Bei der Niedersachsenwahl war der Effekt umgekehrt, es wurde ein Prozentsatz für die FDP unter der 5 % Marke antizipiert und von vielen CDU-Unterstützern als Problem für die „eigene“ Partei wahrgenommen. Da sich diese natürlich nicht absprechen können, war das Ergebnis ein deutlich erhöhtes FDP-Ergebnis in Bezug auf vorherige Erhebungen und ein geringeres Zweitstimmenergebnis für die CDU. Das hat jetzt mit den Formeln gar nichts zu tun, sondern mit der Tatsache, dass eine Befragung zum Zeitpunkt der Befragung misst, wie es wäre, die „Stimmung“ aber zum Zeitpunkt der Abstimmung sich geändert hat, hier sogar wegen der Ergebnisse. Kein Unfall der Institute, lädt aber zur Fehlinterpretation ein („alle danebengelegen“)

  49. @Nobilitatis: Soso, Stichproben sind also in der Regel unverzerrt. Wovon träumen Sie denn nachts? Lassen Sie mich (ein letztes Mal) etwas ausholen: Eigentlich kann man nur durch eine Zufallsstichprobe eine Unverzerrtheit erreichen, d.h. im vorliegenden Fall, dass jede/r Wahlberechtigte dieselbe Chance hat, ins Sample zu kommen. Das erreichen Sie z.B. indem Sie alle Namen aus dem Wahlregister in einen Topf schmeißen, gut umrühren und dann 500-1000 Zettel ziehen. Leider (für die Meinungsforschungsinstitute) gibt es aber ein Problem, das nennt sich Datenschutz. Meines Wissens haben die gar keinen Zugriff auf das Wahlregister. Um dennoch möglichst nahe an eine Zufallsstichprobe zu kommen, gibt es einige mehr oder weniger aufwändige Verfahren. Ich vermute mal, dass Forsa et. al. Random Dialing verwenden, d.h. ein Zufallsgenerator wählt einfach irgendeine Nummer an. In dem Moment aber, in dem nicht jeder Wahlberechtigte eine eigene (und nur eine) Telefonnummer hat, ist das oben genannte Kriterium, dass jeder dieselbe Chance haben muss, in die Stichprobe zu kommen, nicht mehr gegeben. Damit ist bereits die Stichprobe verzerrt, und nicht, wie Sie behaupten, erst die erhobenen Daten. Die Problematik mit Erreichbarkeit und Antwortverweigerung sowie das Problem der sozialen Erwünschtheit (verringerte Neigung, wahrheitsgemäß zu antworten, bei Anhängern extremistischer Parteien) machen den korrekten Schluss von erhobenen Daten auf die Grundgesamtheit selbstredend zusätzlich schwer. Dass dennoch die nachträgliche Gewichtung unter Methodikern zumindest umstritten ist, einfach weil man schlicht nicht weiß, ob man überhaupt nach relevanten Kriterien gewichtet, muss ich Ihnen als „Mann vom Fach“ ja wohl nicht erklären.

  50. Inga: Das alles sind aber grundsätzliche Probleme, denen sich jedes Meinungsforschungsinstitut stellen muss, also nichts Forsa-Spezifisches. Wenn ich micht recht erinnere, ging es hier eigentlich darum, was Forsa anders macht als die Konkurrenz.

    Wolf: („Wenn Forsa nun immer etwas abweichende Daten ermittelt, dann wird es sicher nicht so sein, dass der Chef da sitzt und sagt, heute geben wir der SPD mal 22%.“)
    Zumindest möchte man das gerne glauben. Wirklich wissen tun wir nicht, was da hinter den Kulissen abläuft. Mein Gefühl sagt mir, Herr Güllner ist vor allem daran interessiert, seine Umfragen zu verkaufen. Und Medien wie der „stern“ sind daran interessiert, möglichst schlagzeilenträchtige Ergebnisse zu präsentieren. Ich würde nicht darum wetten, dass deswegen nicht gelegentlich an der ein oder anderen Stelle nachjustiert wird.

  51. @theo: Völlig richtig. Das war hier ein Nebenschauplatz, den ich hiermit wieder verlasse, versprochen :-)

  53. @inga: Sie sind ganz schön rechthaberisch. Ihr Beispiel ging jetzt vom Wähler aus, obwohl das Problem ein grundsätzliches ist.
    Aber seis drum. Wie wollen Sie das von Ihnen beschriebene Problem der Stichprobe denn weggewichten?

  55. Och, rechthaberisch würde ich das nicht nennen. Ich bezeichne es lieber als einen kostenlosen Service an meine fehlbaren Mitmenschen, auf dass sie daran wachsen und zu besseren Menschen werden.

  57. Alles nur heiße Luft in meinen Augen und Ohren.

    Man stelle sich vor die lausigen 2500 Befragten, siehe hier http://www.wahlrecht.de/umfragen/forsa.htm würden tatsächlich den Bundesdurchschnitt darstellen.

    Einfach nur lächerlich…

    Und das man sich darüber auch noch auslassen muss setzt dem ganzen das Sahnehäupchen auf. Ich bin ehrlich gesagt sehr gespannt darauf wie sich die AfD im September zu den etablierten Parteien behaupten wird. Vielleicht erleben dann ja auch so einige gestandene Propagandapolitiker ihr persönliches Waterloo.

    In diesem happy spekulieren, denn mehr ist es nicht. Reine Kaffeesatzleserei.

  58. Wie schon mehrfach kritisiert: Was soll der Vergleich lediglich zwischen verschiedenen Meinungsumfragen bringen? Schade um den Arbeitsaufwand! Der zitierte Nate Silver bildet den Durchschnittswert der Umfragen der einzelnen Institute innerhalb der letzten drei Wochen vor der Wahl (um Effekte wie „herding“, also Anpassen der eigenen Werte an einen wahrgenommenen Konsens in der allerletzten Umfrage vor der Wahl zu vermeiden), und vergleicht das jeweils mit dem *Wahlergebnis*.

    Wenn man das mit den Daten von Wahlrecht.de für die SPD-Werte bei den letzten drei Bundestagswahlen macht, schneidet Forsa nicht schlecht ab, und es ist kein systematischer Anti-SPD-Bias erkennbar. In zwei von drei Wahlen hatte sie Forsa leicht besser als das tatsächliche Ergebnis.

  59. @Tobias Haßdenteufel: Nein. Nate Silver hat auch fortlaufend die Meinungsumfragen über den gesamten Wahlkampf analysiert.

    Es geht hier nicht darum, wie gut Meinungsforschungsinstitute das Wahlergebnis voraussagen. Es geht darum, wie wahrscheinlich es ist, dass sie die jeweils aktuelle Stimmung korrekt wiedergeben. Diese Umfrage-Ergebnisse nehmen einen erheblichen Raum in der politischen Berichterstattung ein, deshalb ist es keine Zeitverschwendung, sie zu hinterfragen.

    (Sonntagsfragen sind keine Prognosen auf den Ausgang der nächsten Wahl.)

  61. @Tobias Haßdenteufel: Aber das ist doch der Witz. Wir wissen es nicht. Wir wissen nicht, ob im Frühjahr 2011 fast von einem Tag auf den anderen plötzlich doppelt so viele Leute grün gewählt hätten, wie (nur) Forsa behauptete, und dann monatelang mehr Leute in Deutschland die Grünen in den Bundestag gewählt hätten als die SPD, wie (nur) Forsa behauptete. Und wir werden es auch nicht rückwirkend überprüfen können, wenn wir wissen, wie treffend die (plötzlich oft gar nicht mehr so abweichenden) Forsa-Umfragen kurz vor der Wahl waren.

  63. […] [S. Niggemeier] Stefan Niggemeiers Grundkurs zur medialen Reaktion auf Umfragen: “Dank der Mechanismen der Medienwelt werden … Ausreißer nicht mit entsprechender Vorsicht behandelt, sondern produzieren die größten Schlagzeilen. Das Unwahrscheinliche ist nicht unwahrscheinlich, sondern sensationell. Skepsis hat eine umso kleinere Chance, je notwendiger sie wäre.” Von Forsa lernen, heißt Schlagzeilen kriegen. […]

  66. Welcher Wochenschnitt? Forsa hatte die SPD in der letzten Umfrage — wie Emnid — bei 26 Prozent, was tatsächlich dem Ergebnis sehr nahe kommt. Allerdings haben sich die SPD-Umfragewerte bei Forsa in den letzten Wochen in rasanter Geschwindigkeit den anderen Instituten angenähert.

Comments are closed.