igergov.com
← Статии
QAProba · 7 мин · BG EN ES DE

Агентът пише теста. Ти го притежаваш.

Агентите проверяват едно и също десетки пъти и харчат токени, или пишат чернови тестове, които никой не пази. Как стигнахме до Proba, стъпка по стъпка.

Докато агентът пише код, той често проверява едно и също нещо десетки пъти: отваря приложението, влиза, натиска същите бутони. Всяка такава проверка струва токени и не оставя нищо след себе си. Другият вариант е той да напише набързо чернови тестове, които никой не чете, не поддържа и след седмица не помни защо съществуват.

Идеята на Proba е, че нищо от това, което агентът прави, не се изхвърля. Проверката става тест. Намереният селектор става памет за приложението. Входът се запазва. Падналият тест става задача на дъската, а поправката се записва. Следващия път агентът започва оттам, докъдето е стигнал, вместо от нулата.

Proba започна като вътрешен инструмент в Evo Tech и днес го ползваме в няколко наши продукта. Всяка част от него се появи, защото без нея нещо боли.

От един запис до тест, който е твой

Натисни „Следващ проблем“ и виж как всяка част идва от проблема преди нея.

Какво има Proba досега
Какво боли

Докато пише код, агентът проверява дали работи. Отваря браузъра, влиза, натиска същите бутони и гледа резултата. После поправя нещо и пак. За една задача това се случва десетки пъти, всеки път се плаща с токени, и след това не остава нищо.

Какво добавяме · Агентът кара приложението

Агентът минава през приложението веднъж, през MCP: отваря страници, попълва полета, натиска бутони, пита API, проверява базата. Всяко действие се изпълнява и се записва като стъпка от тест.

proba_session_open({ appKey: "web" })
proba_start_case({ title: "Вход с имейл" })
proba_act({ action: "click", role: "button", name: "Вход" })

Един тест, три изгледа

Ето един и същ тест в трите изгледа. Смени текста на бутона и превключи между тях: промяната е навсякъде, защото и трите идват от една и съща форма.

Feature: Вход
  Scenario: Потребител влиза с имейл
    Given I open "/login"
    When I fill "Имейл" with {{account.client.email}}
    And I press the button "Вход"
    Then I see the heading "Табло"

Едно и също поведение, три начина да го прочетеш.

Защо локаторите решават всичко

Често тест пада при работещо приложение. Причината е, че е търсил елемента по мястото му в страницата, и мястото се е сменило.

Пробвай по-долу. Добави банер отгоре: позиционният селектор вече не намира бутона, а този по роля продължава да работи, защото бутонът си е същият. После преименувай бутона и пусни теста. Сега и локаторът по роля пада, и това е правилно: видимото име наистина се е променило. Тестът отваря задача, диагностиката предлага локатори от живата страница, избираш един и следващото пускане затваря задачата.

Приложението
Имейл
••••••
Вход
Тестът
1  goto('/login')
2  getByLabel('Имейл').fill(…)
3  getByRole('button', { name: 'Вход' }).click()
  • form > div:nth-child(3) > spanпозиционен · намира бутона
  • getByRole('button', { name: 'Вход' })стабилен · намира бутона
Дъската

Няма отворени задачи.

Разликата е в това какво означава червеното. Позиционен селектор пада и при промени, които потребителят изобщо не забелязва. Локатор по роля пада, когато потребителят наистина би видял нещо различно.

Кога си струва

Proba е полезен, когато тестваш собствени приложения и искаш тестовете да останат при теб: да можеш да ги прочетеш, да ги промениш и да ги пуснеш отново след месец. Работи с уеб, API и база в един и същ тест, и има визуални, layout и a11y проверки.

Кодът е отворен, под лиценз MIT: github.com/evotech-bg/proba.