igergov.com
← Artikel
QAProba · 7 Min. · BG EN ES DE

Der Agent schreibt den Test. Er gehört dir.

Agenten prüfen dasselbe dutzende Male und verbrennen Tokens, oder sie schreiben Wegwerf-Tests, die niemand aufhebt. Wie wir Schritt für Schritt zu Proba gekommen sind.

Während ein Agent Code schreibt, prüft er oft dutzende Male dasselbe: Er öffnet die App, meldet sich an, klickt dieselben Buttons. Jede dieser Prüfungen kostet Tokens und hinterlässt nichts. Die andere Möglichkeit ist, dass er schnell Wegwerf-Tests schreibt, die niemand liest oder pflegt und bei denen nach einer Woche niemand mehr weiß, warum es sie gibt.

Die Idee hinter Proba ist, dass nichts von dem, was der Agent tut, weggeworfen wird. Die Prüfung wird zum Test. Der gefundene Selektor wird zum Gedächtnis über die App. Die Anmeldung wird gespeichert. Der fehlgeschlagene Test wird zur Aufgabe auf dem Board, und die Korrektur wird festgehalten. Beim nächsten Mal fängt der Agent dort an, wo er stehen geblieben ist, statt bei null.

Proba begann als internes Werkzeug bei Evo Tech, und heute nutzen wir es in mehreren unserer Produkte. Jeder Teil ist entstanden, weil ohne ihn etwas wehgetan hat.

Von einer Aufzeichnung zu einem Test, der dir gehört

Klick auf „Nächstes Problem“ und sieh, wie jeder Teil aus dem Problem davor entsteht.

Was Proba bisher kann
Was wehtut

Während der Agent Code schreibt, prüft er, ob er funktioniert. Er öffnet den Browser, meldet sich an, klickt dieselben Buttons und schaut sich das Ergebnis an. Dann korrigiert er etwas und fängt von vorn an. Bei einer einzigen Aufgabe passiert das dutzende Male, jedes Mal wird mit Tokens bezahlt, und danach bleibt nichts übrig.

Was wir hinzufügen · Der Agent bedient die App

Der Agent geht einmal durch die App, über MCP: Er öffnet Seiten, füllt Felder aus, klickt Buttons, fragt die API ab, prüft die Datenbank. Jede Aktion wird ausgeführt und als Testschritt aufgezeichnet.

proba_session_open({ appKey: "web" })
proba_start_case({ title: "Anmeldung mit E-Mail" })
proba_act({ action: "click", role: "button", name: "Anmelden" })

Ein Test, drei Ansichten

Hier ist derselbe Test in allen drei Ansichten. Ändere den Text des Buttons und wechsle zwischen ihnen: Die Änderung ist überall, weil alle drei aus derselben Form kommen.

Feature: Anmeldung
  Scenario: Nutzer meldet sich mit E-Mail an
    Given I open "/login"
    When I fill "E-Mail" with {{account.client.email}}
    And I press the button "Anmelden"
    Then I see the heading "Dashboard"

Ein Verhalten, drei Arten, es zu lesen.

Warum Locators alles entscheiden

Oft schlägt ein Test fehl, obwohl die App funktioniert. Der Grund ist, dass er das Element über seine Position auf der Seite gesucht hat, und die Position hat sich geändert.

Probier es unten aus. Füge oben ein Banner hinzu: Der positionsbasierte Selektor findet den Button nicht mehr, der über die Rolle funktioniert weiter, weil der Button derselbe ist. Dann benenne den Button um und starte den Test. Jetzt schlägt auch der Locator über die Rolle fehl, und das ist richtig: Der sichtbare Name hat sich wirklich geändert. Der Test legt eine Aufgabe an, die Diagnose schlägt Locators von der Live-Seite vor, du wählst einen aus und der nächste Lauf schließt die Aufgabe.

Die App
E-Mail
••••••
Anmelden
Der Test
1  goto('/login')
2  getByLabel('E-Mail').fill(…)
3  getByRole('button', { name: 'Anmelden' }).click()
  • form > div:nth-child(3) > spanpositionsbasiert · findet den Button
  • getByRole('button', { name: 'Anmelden' })stabil · findet den Button
Das Board

Keine offenen Aufgaben.

Der Unterschied liegt darin, was Rot bedeutet. Ein positionsbasierter Selektor schlägt auch bei Änderungen fehl, die der Nutzer gar nicht bemerkt. Ein Locator über die Rolle schlägt fehl, wenn der Nutzer wirklich etwas anderes sehen würde.

Wann es sich lohnt

Proba ist nützlich, wenn du deine eigenen Apps testest und die Tests bei dir bleiben sollen: damit du sie lesen, ändern und in einem Monat wieder starten kannst. Es arbeitet mit Web, API und Datenbank in ein und demselben Test und hat visuelle, Layout- und a11y-Prüfungen.

Der Code ist offen, unter der MIT-Lizenz: github.com/evotech-bg/proba.