Der Agent schreibt den Test. Er gehört dir.
Agenten prüfen dasselbe dutzende Male und verbrennen Tokens, oder sie schreiben Wegwerf-Tests, die niemand aufhebt. Wie wir Schritt für Schritt zu Proba gekommen sind.
Während ein Agent Code schreibt, prüft er oft dutzende Male dasselbe: Er öffnet die App, meldet sich an, klickt dieselben Buttons. Jede dieser Prüfungen kostet Tokens und hinterlässt nichts. Die andere Möglichkeit ist, dass er schnell Wegwerf-Tests schreibt, die niemand liest oder pflegt und bei denen nach einer Woche niemand mehr weiß, warum es sie gibt.
Die Idee hinter Proba ist, dass nichts von dem, was der Agent tut, weggeworfen wird. Die Prüfung wird zum Test. Der gefundene Selektor wird zum Gedächtnis über die App. Die Anmeldung wird gespeichert. Der fehlgeschlagene Test wird zur Aufgabe auf dem Board, und die Korrektur wird festgehalten. Beim nächsten Mal fängt der Agent dort an, wo er stehen geblieben ist, statt bei null.
Proba begann als internes Werkzeug bei Evo Tech, und heute nutzen wir es in mehreren unserer Produkte. Jeder Teil ist entstanden, weil ohne ihn etwas wehgetan hat.
Von einer Aufzeichnung zu einem Test, der dir gehört
Klick auf „Nächstes Problem“ und sieh, wie jeder Teil aus dem Problem davor entsteht.
Ein Test, drei Ansichten
Hier ist derselbe Test in allen drei Ansichten. Ändere den Text des Buttons und wechsle zwischen ihnen: Die Änderung ist überall, weil alle drei aus derselben Form kommen.
Warum Locators alles entscheiden
Oft schlägt ein Test fehl, obwohl die App funktioniert. Der Grund ist, dass er das Element über seine Position auf der Seite gesucht hat, und die Position hat sich geändert.
Probier es unten aus. Füge oben ein Banner hinzu: Der positionsbasierte Selektor findet den Button nicht mehr, der über die Rolle funktioniert weiter, weil der Button derselbe ist. Dann benenne den Button um und starte den Test. Jetzt schlägt auch der Locator über die Rolle fehl, und das ist richtig: Der sichtbare Name hat sich wirklich geändert. Der Test legt eine Aufgabe an, die Diagnose schlägt Locators von der Live-Seite vor, du wählst einen aus und der nächste Lauf schließt die Aufgabe.
Der Unterschied liegt darin, was Rot bedeutet. Ein positionsbasierter Selektor schlägt auch bei Änderungen fehl, die der Nutzer gar nicht bemerkt. Ein Locator über die Rolle schlägt fehl, wenn der Nutzer wirklich etwas anderes sehen würde.
Wann es sich lohnt
Proba ist nützlich, wenn du deine eigenen Apps testest und die Tests bei dir bleiben sollen: damit du sie lesen, ändern und in einem Monat wieder starten kannst. Es arbeitet mit Web, API und Datenbank in ein und demselben Test und hat visuelle, Layout- und a11y-Prüfungen.
Der Code ist offen, unter der MIT-Lizenz: github.com/evotech-bg/proba.