Brauchen KI-Agenten wirklich ein Data-Science-Handbuch?
- 24. Juli
- 2 Min. Lesezeit
Aktualisiert: 5. Aug.
STAT-UP AI Newsletter · Freitag, 24. Juli 2026 · Vol. 47
Willkommen zur neuen Ausgabe unseres STAT-UP KI-Newsletters! Diesmal geht es um eine überraschend bodenständige Erkenntnis: Umfangreichere KI-Anweisungen führen bei Datenanalysen nicht automatisch zu besseren Ergebnissen.
Zitat der Woche
Was bedeutet das?
Viele KI-Systeme erhalten inzwischen sogenannte „Skills": strukturierte Anleitungen, die ihnen beispielsweise erklären, wie Daten bereinigt, SQL-Abfragen erstellt oder statistische Tests ausgewählt werden sollen. Eine aktuelle Untersuchung zeigt jedoch, dass automatisch von KI erzeugte Anleitungen die Ergebnisse nicht zuverlässig verbesserten. Das erinnert daran, dass mehr Text im Prompt nicht zwangsläufig mehr Qualität bedeutet.
Worum geht es?
KI-Assistenten übernehmen zunehmend einzelne Aufgaben aus dem Data-Science-Alltag. Sie schreiben Programmcode, bereinigen Tabellen, erzeugen Abfragen für Datenbanken und schlagen statistische Verfahren vor. Damit solche Aufgaben nicht jedes Mal von Grund auf beschrieben werden müssen, statten Entwickler die Systeme häufig mit wiederverwendbaren „Skills" aus.
Ein Skill ist vereinfacht gesagt eine Arbeitsanweisung für eine bestimmte Aufgabengruppe. Darin kann beispielsweise stehen, welche Schritte bei der Datenbereinigung zu beachten sind, wie fehlende Werte behandelt werden sollten oder welche Prüfungen vor einer statistischen Auswertung notwendig sind. Die Hoffnung: Mit einer solchen Anleitung arbeitet der KI-Agent strukturierter und macht weniger Fehler.
Eine im Juli veröffentlichte Studie hat diese Annahme systematisch untersucht. Getestet wurden 56 Aufgaben aus vier Phasen eines typischen Data-Science-Projekts: Datenaufbereitung, Datenabfrage, statistische Analyse und Ergebnisdarstellung. Dafür verglich der Autor neun Modellkonfigurationen von drei Anbietern. Insgesamt wurden 7.560 Versuchsläufe ausgewertet; ein ergänzender Kontrollversuch umfasste weitere 1.512 Läufe.
Das Ergebnis war überraschend: Die automatisch erzeugten Skills verbesserten die Leistung gegenüber einer einfachen Aufgabenbeschreibung nicht zuverlässig. Auch gekürzte oder veränderte Varianten der Anleitungen brachten keinen statistisch nachweisbaren Vorteil. Die Unterschiede zwischen den getesteten Varianten betrugen insgesamt nur 1,2 Prozentpunkte; die berichteten p-Werte lagen bei mindestens 0,396. Vereinfacht ausgedrückt: Die beobachteten Abweichungen waren zu klein und zu unsicher, um daraus einen belastbaren Nutzen der KI-generierten Skills abzuleiten.
Für Data Scientists bedeutet das nicht, dass gute Anleitungen nutzlos sind. Die Studie untersuchte automatisch erzeugte, allgemeine Skills für einzelne Aufgaben. Sorgfältig von Fachleuten entwickelte Vorgaben können weiterhin einen Unterschied machen, besonders, wenn sie konkrete Datenstrukturen, fachliche Regeln, Qualitätsgrenzen oder bekannte Fehlerquellen berücksichtigen. Eine andere Untersuchung zu wissenschaftlichen Arbeitsabläufen zeigte beispielsweise deutliche Verbesserungen durch von Fachleuten definierte Skills, die verbindliche Parameter und Regeln enthielten.
Für die Praxis ergibt sich daraus eine wichtige Unterscheidung: Eine lange Anleitung ist noch kein guter Prozess. Statt KI pauschal zusätzliche Prompt-Texte mitzugeben, sollten Teams anhand eigener Testfälle prüfen, ob eine Anleitung tatsächlich die Fehlerquote senkt. Sinnvolle Kriterien können fachliche Richtigkeit, Reproduzierbarkeit, Bearbeitungszeit und notwendige menschliche Korrekturen sein.
Besonders bei statistischen Analysen bleibt Kontrolle unverzichtbar. Andere aktuelle Tests zeigen, dass Sprachmodelle deskriptive Aufgaben bereits vergleichsweise gut lösen, aber deutlich schwächer werden, sobald Annahmen geprüft, passende Analyseverfahren ausgewählt oder kausale Schlussfolgerungen gezogen werden müssen.
Die wichtigste Erkenntnis lautet deshalb: KI-Workflows sollten nicht danach bewertet werden, wie ausgefeilt ihre Anweisungen klingen, sondern danach, ob sie in wiederholbaren Tests nachweislich bessere Ergebnisse liefern.
Quellen dieser Ausgabe:
Hinweis: Dieser Newsletter wurde unter Zuhilfenahme von KI erstellt.
