Fallstudie
Test Flow – Automated AI based E2E Testing Framework
Von Alexander Fürst
Zuletzt aktualisiert:
Das Projekt auf einen Blick
- Die Aufgabe
- Prüfen, ob ein Agent eine Nutzeraufgabe im Browser ohne vorgegebene Klickfolge lösen kann.
- Mein Beitrag
- Eigenes Projekt, allein konzipiert und entwickelt. Natürliche Sprache beschreibt die Ziele; Browser-Agenten versuchen, sie auszuführen.
- Stand der Umsetzung
- Ein internes Tool, das ich gelegentlich ergänzend zu anderen Testmethoden nutze.
- Ergebnis
- Auf Konfig und weiteren Projekten eingesetzt, um unter anderem unklare Beschriftungen, fehlende Orientierung und schwierige Interaktionen sichtbar zu machen.
Erfahrung aus eigener Nutzung; kein Nachweis für vollständige Testabdeckung oder eine gemessene Zeitersparnis.
Einem Agenten ein Ziel geben und prüfen, ob sich die Oberfläche selbst erklärt.
Klassische Browsertests schreiben oft eine starre Folge von Interaktionen im Code vor. Mich interessierte eine andere Frage: Kann ein Agent eine Aufgabe erledigen, wenn er das Ziel kennt, aber keine genaue Bedienungsanleitung erhält? Aus dieser Idee entstand Test Flow.
Ziele und Erkundung im Browser
Ich habe das Werkzeug allein an Abenden und Wochenenden gestaltet und entwickelt. Nutzer verbinden einen KI-Agenten und geben ihm eine Aufgabe, mehrere Teilziele oder Raum zur freien Erkundung. Er versucht, die Aufgabe anhand der tatsächlich vorgefundenen Browseroberfläche zu lösen. Breitere Browserunterstützung ist eine Entwicklungsrichtung; aktuell nutze ich es in meinem eigenen Browser-Workflow.
Warum die besten Funde die Bedienbarkeit betrafen
Die nützlichsten Ergebnisse waren häufig Usability- und Barrierefreiheitsprobleme. Ohne Vorgabe, welcher Knopf zu klicken ist, muss sich der Agent selbst orientieren. Fehlende Hinweise, unklare Beschriftungen und schwierige Interaktionen werden so sichtbar – Aspekte, die ein vorab festgelegter Klickpfad leicht umgeht.
Ich habe den Ansatz bei Konfig und anderen Projekten eingesetzt. Im laufenden Konfigurator konnte der Agent mit Designs interagieren, eigene Entwürfe aufbauen und Editorfunktionen ausprobieren. Solches Verhalten wäre mit herkömmlichen Klickskripten aufwendig abzudecken gewesen.
Eine zusätzliche Perspektive auf Qualität
Test Flow ist ein internes Werkzeug, das ich gelegentlich neben anderen Testmethoden nutze. Sein Wert liegt in der zusätzlichen Perspektive: Einem Agenten beim Verstehen einer echten Oberfläche zuzusehen, zeigt, wo das Produkt besser Orientierung geben sollte. Aus einem natürlich formulierten Ziel wird eine praktische Erkundung des Nutzungserlebnisses.