top of page

Glücksspiel-Surveys in der Kritik: Warum wir dringend bessere Studien brauchen

Studien, die als Grundlage für politische Entscheidungen herangezogen werden, sollten höchste Standards erfüllen – gerade, wenn es dabei um Einschränkungen individueller Freiheiten geht. Doch genau daran scheiterte der „Glücksspiel-Survey 2021“ des Instituts für interdisziplinäre Sucht- und Drogenforschung (assoziiert mit der Universität Hamburg) und der Arbeitseinheit Glücksspielforschung an der Universität Bremen. Gefördert vom Deutschen Lotto- und Totoblock (DLTB) sollte die Studie eigentlich valide Daten über das Glücksspielverhalten und die Verbreitung von Problemen in Deutschland liefern, um aus diesen politische Maßnahmen ableiten zu können. Doch die renommierten Statistiker Dr. Katharina Schüller (STAT-UP Statistical Consulting) und Prof. Dr. Ralf Münnich (Deutsche Statistische Gesellschaft) wiesen, beauftragt durch vier Verbände der privaten Glücksspielwirtschaft, gutachterlich zahlreiche schwerwiegende wissenschaftliche Verfehlungen des Glücksspiel-Surveys 2021 nach.


Das Urteil der Experten war eindeutig:


 

„Wegen seiner evidenten Intransparenz und der nachgewiesenen methodischen Fehler und daraus resultierender Verzerrungen ist von der Nutzung des Glücksspiel-Surveys 2021 im Zusammenhang mit gesellschaftspolitischen Bewertungen und erst recht im Zusammenhang mit glückspielrechtlicher Regulierung dringend abzuraten. Er liefert keine valide und präzise Datenbasis in Bezug auf das Glücksspielverhalten in Deutschland.“ (S. 129 des Gutachtens zum Glücksspiel-Survey 2021)

 

Die Folge war eine lebhafte wissenschaftliche, politische und mediale Kontroverse über die Tragfähigkeit der Ergebnisse des Glücksspiel-Surveys.


Glücksspiel-Survey 2023: Alte Fehler, neue Probleme

Im März 2024 folgte der „Glücksspiel-Survey 2023“. Die Hoffnung, dass aus den Fehlern der Vorgängerstudie gelernt wurde, erfüllte sich jedoch nicht. Die Erhebungsmethode blieb – trotz vorheriger Kritik im Rahmen des Glückspiel-Surveys 2021 – unverändert. Zudem ließ der Autorenkreis (Sven Buth, Gerhard Meyer, Moritz Rosenkranz, Jens Kalke) erneut (Survey-)Statistiker vermissen. Deshalb ließen die Branchenverbände der Glücksspielwirtschaft auch diese Studie erneut von Katharina Schüller und Ralf Münnich überprüfen. Ihr Ergebnis:


Der Glücksspiel-Survey 2023 wiederholt nicht nur alte Fehler, sondern bringt sogar neue Probleme mit sich.


Die wichtigsten Kritikpunkte:


  1. Die Stichprobe ist nicht repräsentativ für die Bevölkerung

Erneut fußt der Glücksspiel-Survey 2023 hälftig auf einer Online-Befragung, obwohl Internet-Stichproben in der Survey-Forschung nach wie vor als weitgehend ungeeignet gelten, um repräsentative Ergebnisse zu generieren und Evidenzgrundlagen für politische Maßnahmen zu schaffen. Argumente, die gegen die Nutzung von Online-Panels sprechen, bleiben von den Autoren trotz offensichtlicher Kenntnis gezielt unerwähnt; entsprechende Studien werden sinnentstellend selektiv zitiert. Die immense, nicht ignorierbare Nichtantwortquote sowohl bei der Internet- als auch bei der Telefonbefragung (>80 %) wird nicht adäquat analysiert oder korrigiert.


  1. Verzerrte Ergebnisse

Nachweisbare und bemerkenswert grundsätzliche Fehler bei der Konzeption, Erhebung, Verarbeitung, Gewichtung und Analyse der Befragungsdaten zeugen davon, dass keine (Survey-)Statistiker in die Arbeit eingebunden waren. Insbesondere in der Online-Stichprobe ist von Verzerrungen auszugehen, die sich in einer Überschätzung der Anzahl von Spielern mit Glücksspielproblemen ausdrücken. In Reaktion auf die Kritik am letzten Glücksspiel-Survey geben die Autoren diesmal zwar vermehrt Konfidenzintervalle an, um statistische Unsicherheit auszudrücken: Diese werden – ungeachtet ihrer generellen Ungeeignetheit bei nicht-probabilistischen Stichproben – von den Survey-Autoren allerdings falsch definiert, falsch berechnet und falsch interpretiert.


  1. Falsches Studiendesign

Mehrere Ziele des Glücksspiel-Surveys 2023 (insbesondere die Bereitstellung einer Datengrundlage zur Ableitung wirksamer Regulierungsmaßnahmen) lassen sich nur mittels Längsschnittbefragungen erreichen, also durch wiederholtes Befragen des identischen Personenkreises über einen längeren Zeitraum. Stattdessen handelt es sich bei den Surveys um eine Serie von Querschnittsbefragungen, also um Befragungen komplett verschiedener Personenkreise. Kausalitäten können statistisch niemals außerhalb aufwendiger Längsschnittstudien nachgewiesen werden. Dennoch tätigen die Survey-Autoren auf Grundlage ihrer Daten wiederholt unzulässige Kausalaussagen, etwa in Bezug auf die Entstehung glücksspielbezogener Probleme und den Gefährdungsgrad einzelner Glücksspielformen.


  1. Fehlinterpretationen und oberflächliche Analysen 

Bei der Interpretation seiner Daten fällt der Survey durch Oberflächlichkeit und Unvollständigkeit auf. Relevante Veränderungen des erhobenen Glücksspielverhaltens zwischen den Erhebungsjahren 2021 und 2023 werden unverständlicherweise in keiner Weise erörtert, etwa der Rückgang der Zwölf-Monats-Prävalenz von 36,5 auf 29,7 % sowie der deutliche Rückgang des Anteils gestört Spielender bei mehreren Spielformen (Geldspielautomaten: 25,5 statt 33,4 %; Glücksspielautomaten/Spielbanken: 21,8 statt 31,5 %; Rubbellose: 6,8 statt 10,1 %). Manche Unterschiede werden von den Survey-Autoren fälschlicherweise als nicht signifikant eingeordnet, obwohl eine solche Folgerung aufgrund der berichteten Ergebnisse gar nicht möglich ist und die Konfidenzintervalle teilweise falsch berechnet und interpretiert sind. Es sei nochmals betont, dass die mangelhafte Datenqualität des Glücksspiel-Surveys 2023 generell keine belastbaren Aussagen zum Glücksspielverhalten in Deutschland zulässt; doch selbst bei der Interpretation seiner untauglichen Daten weist der Survey auffällige Defizite auf.


  1. Unvollständigkeit und mangelnde Transparenz

Eine ergänzende Analyse der Gutachter (auf Grundlage der generell fragwürdigen Datenqualität des Surveys, s.o.) offenbart, dass gemäß diesen (untauglichen) Daten mehr als ein Drittel der Spieler mit Glücksspielstörung ausschließlich Lotterien mit geringem Gefährdungspotenzial spielt. Diese Perspektive von großem Interesse für die Allgemeinheit und die Förderer findet im Glücksspiel-Survey 2023 erstaunlicherweise keinerlei Erwähnung – dabei wäre es angesichts der hochgesteckten Ziele der Glücksspiel-Surveys durchaus von Relevanz, Auskunft darüber erteilen zu können, wie sich die Gruppe der „Problemspieler" zusammensetzt.

Ihre anhaltende Weigerung, das vollständige Datenmaterial und alle verwendeten Fragebögen zu veröffentlichen, verstößt fundamental gegen den DFG-Kodex „Leitlinien zur Sicherung guter wissenschaftlicher Praxis“. Vorgebrachte Kritik der Gutachter am Glücksspiel-Survey konnte bislang nicht entkräftet werden; Limitationen der eigenen Arbeit werden allenfalls unzureichend kommuniziert. Stattdessen sind einzelne Survey-Autoren und ihnen nahestehende Wissenschaftler und Institutionen bei öffentlichen Auftritten und in sozialen Medien durch wiederholte persönliche Angriffe gegen die Gutachter auffällig geworden.


Fazit: Keine Grundlage für politische Entscheidungen

Schüller und Münnich raten dringend davon ab, den Glücksspiel-Survey 2023 als Grundlage für politische Maßnahmen zu nutzen. Die Studie ist weder repräsentativ noch präzise und überschätzt die Verbreitung von Glücksspielproblemen höchstwahrscheinlich erheblich. Ohne eine massive Überarbeitung der Methodik bleibt die Datengrundlage unbrauchbar.

Darüber hinaus zeigt die unkritische Übernahme der Ergebnisse in Medien und Politik, wie dringend wir unabhängige Qualitätskontrollen für solche Studien brauchen. Eine ehrliche Kommunikation über Schwächen und Grenzen der Ergebnisse ist unerlässlich, um Fehlinformationen und falsche Schlüsse zu vermeiden.


Wie geht es besser?

Zur Verbesserung der Studienqualität künftiger epidemiologischer Erhebungen zu Glücksspielverhalten und Glücksspielstörungen in Deutschland skizzieren Katharina Schüller und Ralf Münnich nach den methodisch gescheiterten Glücksspiel-Surveys 2021 und 2023 mehrere konkrete Lösungsansätze:

 

  1. Interdisziplinäres Arbeiten:

Ebenso wenig, wie Schüller und Münnich sucht-/glücksspielwissenschaftliche Kompetenz für sich beanspruchen, ist im Autorenkreis des Glücksspiel-Surveys (survey-)statistische Expertise zu verorten. Epidemiologische Glücksspielforschung – erst recht solche mit dem Anspruch, Evidenz für politisches Handeln zu generieren – muss mindestens diese beiden Fachbereiche integrieren. Hierfür müssen Auftraggeber ausreichende Mittel zur Verfügung stellen, um Daten von hinreichender Qualität zu gewinnen.


  1. Getrennte Erhebungen für Zustandsbeschreibungen und die Ableitung regulatorischer/gesetzlicher Maßnahmen: 

Detaillierte Zustandsbeschreibungen von Glücksspielteilnahme und -problemen in der Bevölkerung könnten bei sachgemäßer Durchführung prinzipiell mit großen Bevölkerungsbefragungen (kombiniert via Telefon und Internet) gelingen. Die methodischen Anforderungen dabei sind gleichwohl sehr hoch. Für die Ableitung regulatorischer Maßnahmen hingegen sind Längsschnittstudien unumgänglich; nur sie können statistisch Kausalitäten nachweisen. Sie müssen gleichwohl nicht dieselbe Größenordnung haben und können sich auch nur auf ausgewählte Teile der Bevölkerung konzentrieren.

 

  1. Sorgfältigere Kontrolle/Korrektur möglicher Erhebungsfehler: 

Umfassende Maßnahmen zur Qualitätssicherung von Daten sind erforderlich (u.a. Sensitivitäts-, Robustheitsuntersuchung, Nonresponse-Korrektur). Der Glücksspiel-Survey schöpft diesbezüglich nicht einmal ansatzweise das elaborierte (survey-)statistischen Instrumentarium aus.


  1. Strikte Einhaltung der durch die Datenqualität auferlegten Grenzen: 

Insbesondere dürfen keine Kausalaussagen getätigt oder suggeriert werden, wenn das Studiendesign deren Nachweis nicht ermöglicht. Auch darf nicht von repräsentativen Stichproben gesprochen werden, wenn diese nachweislich nicht vorliegen.

 

  1. Maximale Transparenz nach guter wissenschaftlicher Praxis:

Forschungsdaten, Methodenberichte und Fragebögen von Erhebungen sollten für unabhängige Peer Reviews auch außerhalb der Disziplin der Suchtforschung zur Verfügung gestellt werden. Wissenschaftliche Kritik an den Glücksspiel-Surveys und ihren Ergebnissen, die bei Berücksichtigung in methodisch besseren Folgeuntersuchungen münden könnte, sollte nicht pauschal zurückgewiesen werden. Die wissenschaftliche Kontroverse mit der Kraft des Arguments ist persönlichen Angriffen jederzeit vorzuziehen.


Warum das alles wichtig ist

Am Ende geht es um Verantwortung – sowohl gegenüber der Wissenschaft als auch gegenüber der Gesellschaft. Die Verantwortung für die erneute vielfache Fehleinschätzung der Survey-Ergebnisse als belastbar, repräsentativ und präzise durch Medien, Politik und Gesellschaft liegt vorrangig bei den handelnden Wissenschaftlern. Eine korrigierende Intervention der Förderer des Surveys hat nicht stattgefunden. Der Großteil der Bevölkerung verfügt üblicherweise nicht über tiefe statistische Expertise zur Eigenbeurteilung der Studienqualität. Rezipienten müssen sich also auf die wissenschaftliche Integrität der Verantwortlichen und die ausgewogene Erstkommunikation von Studienergebnissen und deren Limitationen verlassen. Beim Glücksspiel-Survey 2023 haben die Gutachter hier abermals erhebliche Defizite identifiziert. Allerdings müssen Studien wie der Glücksspiel-Survey, die mit breiter Öffentlichkeit kommuniziert werden, den höchsten Standards genügen. Denn politische Entscheidungen, die auf fragwürdigen Daten basieren, können weitreichende Folgen haben.

Es ist an der Zeit, dass Auftraggeber, Forschende und Förderer ihrer Verantwortung gerecht werden und den Weg für verlässliche, transparente und qualitativ hochwertige Forschung ebnen.


Das Gutachten zum Download




Aktuelle Beiträge

Alle ansehen
bottom of page