Flaky-Test-Erkennung
Flaky Tests — Tests, die ohne Codeänderung mal bestehen und mal fehlschlagen — sind eines der größten Probleme in der Testautomatisierung. Das Intelligence Dashboard bietet ein spezialisiertes Labor zur Erkennung und Analyse dieser Instabilitäten.
Was sind Flaky Tests?
Ein Test gilt als flaky, wenn er bei identischem Code und identischer Konfiguration unterschiedliche Ergebnisse liefert. Typische Ursachen:
- Race Conditions — der Test ist schneller als die Anwendung
- Breite Selektoren — der Selektor trifft auf mehrere Elemente zu
- Fehlende Waits — der Test wartet nicht auf asynchrone Operationen
- Infrastruktur — Netzwerklatenzen, Serverlast, Timeouts
WARNING
Flaky Tests untergraben das Vertrauen in die gesamte Test-Suite. Ein einzelner unzuverlässiger Test kann dazu führen, dass das Team Fehlschläge grundsätzlich ignoriert.
DNA-Diagnostik
Die DNA-Diagnostik ist das Kernstück der Flaky-Analyse. Sie vergleicht mehrere fehlgeschlagene Läufe desselben Tests und sucht nach Gemeinsamkeiten:
Analysierte Dimensionen
| Dimension | Was wird verglichen |
|---|---|
| Error-Message | Gleiche oder ähnliche Fehlermeldungen über mehrere Läufe |
| Stack-Trace | Übereinstimmende Fehlerzeilen im Code |
| Timing | Auffällige Laufzeitunterschiede zwischen Erfolg und Fehlschlag |
| Umgebung | Serverlast, Netzwerklatenz, Tageszeit der Ausführung |
Instabilitätsmuster
Nach der Analyse klassifiziert xyva den Flaky Test in eine Kategorie:
- Timing-Flaky — der Test scheitert bei langsamerer Antwort der Anwendung
- Selektor-Flaky — der Selektor ist nicht eindeutig oder ändert sich dynamisch
- Daten-Flaky — der Test hängt von veränderlichen Daten ab (z. B. Reihenfolge)
- Infra-Flaky — der Fehler korreliert mit Systemlast oder Netzwerkproblemen
INFO
Für eine zuverlässige Klassifizierung benötigt xyva mindestens 5 Läufe des betroffenen Tests. Bei weniger Daten wird "Unbestimmt" angezeigt.
Flaky-Rate
Die Flaky-Rate gibt an, welcher Anteil Ihrer Tests als instabil eingestuft ist:
Flaky-Rate = Anzahl Flaky Tests / Gesamt-Tests × 100 %Eine Flaky-Rate über 10 % signalisiert dringenden Handlungsbedarf.
TIP
Sortieren Sie die Flaky Tests nach Häufigkeit des Fehlschlags und beheben Sie die schlimmsten zuerst. Bereits eine Handvoll Fixes kann die Rate deutlich senken.
Arbeitsablauf
- Öffnen Sie das Intelligence Dashboard
- Klicken Sie auf einen gelben (Flaky) Test in der Heatmap
- Das Analyse-Labor öffnet sich mit der DNA-Diagnostik
- Prüfen Sie die Klassifizierung und den Lösungsvorschlag
- Übernehmen Sie den Fix oder leiten Sie ihn an den Architecture-Auditor weiter
Weiterführende Seiten
- Ursachenanalyse — KI-gestützte Root-Cause-Analyse
- Qualitätsmetriken — Heatmap und Trend-Chart
- Debug-Modus — Traces für fehlgeschlagene Tests