Wenn Statistiken Pannen haben: Was der ADAC mit KI-Benchmarks gemeinsam hat
- 30. Apr.
- 3 Min. Lesezeit
STAT-UP AI Newsletter · Donnerstag, 30. April 2026 · Vol. 37
Willkommen zur neuen Ausgabe unseres STAT-UP KI-Newsletters! Diese Woche geht es um eine scheinbar einfache Frage: Wann sagt eine Statistik wirklich etwas über die Realität aus und wann nur über die Art, wie sie erhoben wurde?
Was ist passiert?
Die ADAC-Pannenstatistik gilt für viele Autofahrer als Orientierung: Welche Modelle bleiben häufig liegen, welche eher selten? Der ADAC wertet dafür Einsätze seiner Straßenwacht aus und setzt sie ins Verhältnis zum Fahrzeugbestand. In der aktuellen Pannenstatistik 2026 weist der ADAC selbst darauf hin, dass Vergleiche sauber eingegrenzt werden müssen, etwa beim Vergleich von Elektroautos und Verbrennern, weil E-Autos im Bestand im Schnitt deutlich jünger sind. Deshalb vergleicht der ADAC dort nur bestimmte Erstzulassungsjahre miteinander.
Trotzdem bleibt ein wichtiger Verzerrungsfaktor: Nicht jede Panne landet automatisch in der ADAC-Statistik. Einige Hersteller bieten eigene Pannendienste oder Mobilitätsgarantien an. Wenn Kund:innen dann nicht direkt den ADAC rufen, sondern den Herstellerservice, können solche Fälle in der ADAC-Auswertung fehlen. Das Branchenmedium kfz-betrieb beschreibt deshalb klar: Die ADAC-Pannenstatistik sei kein absolutes Qualitätsurteil, sondern liefere Indizien und Tendenzen; eigene Hersteller-Pannendienste zählen zu den wichtigsten verzerrenden Faktoren.
Das klingt nach Autowelt, ist aber ein sehr gutes Beispiel für Data Science: Eine Statistik misst oft nicht direkt das, was wir wissen wollen. Wir wollen eigentlich wissen: „Wie zuverlässig ist ein Auto?" Gemessen wird aber: „Wie oft wurde der ADAC zu diesem Auto gerufen?" Das ist ähnlich, aber nicht identisch. Dazwischen liegt ein Filter: Wer wurde angerufen? Welche Pannen wurden ausgeschlossen? Welche Fahrzeuge sind jung, alt, teuer, gut gewartet oder über Herstellergarantien abgedeckt?
Zitat der Woche
Was bedeutet das?
Genau das passiert auch bei KI. Viele KI-Modelle werden über sogenannte Benchmarks verglichen, also Tests mit Aufgaben zu Sprache, Mathe, Programmierung oder Allgemeinwissen. Der Stanford AI Index 2025 zeigt, dass KI-Systeme auf anspruchsvollen Benchmarks zuletzt stark besser wurden; bei SWE-bench stieg die Lösungsrate laut Bericht von 4,4 Prozent im Jahr 2023 auf 71,7 Prozent im Jahr 2024.
Aber auch hier gilt: Ein guter Testwert bedeutet nicht automatisch „diese KI ist im Arbeitsalltag immer zuverlässig". Ein bekanntes Problem ist Datenkontamination: Wenn Testaufgaben oder sehr ähnliche Inhalte schon im Trainingsmaterial eines Modells vorkamen, kann das Ergebnis künstlich besser wirken. Eine NAACL-Studie von 2024 beschreibt, dass Benchmark-Daten in Trainingssets Leistungskennzahlen künstlich erhöhen können; bei MMLU konnten ChatGPT und GPT-4 in einem speziellen Test fehlende Antwortoptionen in vielen Fällen erraten, was die Autoren als Hinweis auf mögliche Kontamination diskutieren.
Frei übersetzt: KI-Modelle können in offiziellen Tests sehr gut aussehen, ohne dass diese Werte immer vollständig der Leistung im Alltag entsprechen. Ein Grund dafür ist sogenannte Datenkontamination: Testaufgaben oder sehr ähnliche Inhalte können bereits im Trainingsmaterial eines Modells enthalten gewesen sein. Dann misst der Benchmark nicht nur Können, sondern möglicherweise auch Wiedererkennen. Und genau hier liegt die Parallele zur ADAC-Pannenstatistik: Auch dort ist die Zahl nicht automatisch falsch, aber sie zeigt nur den Ausschnitt der Realität, der im jeweiligen Erhebungssystem sichtbar wird.
Der Vergleich
Bei der ADAC-Statistik können Pannen unsichtbar werden, wenn sie über andere Kanäle laufen. Bei KI-Benchmarks können Fähigkeiten überschätzt werden, wenn die Prüfung indirekt schon im Lernmaterial steckte. In beiden Fällen ist die Zahl nicht falsch, aber sie braucht Kontext.
Für uns im Unternehmen heißt das: Statistiken und KI-Kennzahlen sind wertvolle Entscheidungshilfen, aber keine Wahrheitsmaschinen. Wichtig sind Zusatzfragen: Welche Daten wurden gezählt? Welche fehlen? Ist die Stichprobe fair? Wurde der Test wirklich unabhängig durchgeführt? Und passt die Kennzahl zu unserem konkreten Anwendungsfall? Wer diese Fragen stellt, nutzt Statistiken nicht weniger, sondern besser - als Orientierung mit Verstand statt als scheinbar objektive Abkürzung.
Hinweis: Dieser Newsletter wurde unter Zuhilfenahme von KI erstellt.
