Polowanie na niestabilne testy

Gdy test losowo kończy się niepowodzeniem, agent uruchamia go ponownie, znajduje przyczynę i proponuje poprawkę na osobnej gałęzi.

Gdy coś się wydarzyŚrednie ryzyko

Wklej to do swojego agenta

Gdy test w CI kończy się niepowodzeniem, a przy ponownym uruchomieniu przechodzi, odnotuj to. Uruchom podejrzany test osobno tyle razy, by potwierdzić jego niestabilność, a następnie poszukaj przyczyny, takiej jak problemy z synchronizacją, współdzielony stan lub kolejność testów. Zaproponuj poprawkę na nowej gałęzi i utwórz pull request z opisem zebranych dowodów. Nie wyłączaj, nie pomijaj ani nie usuwaj testów. Nie scalaj zmian ani nie wypychaj ich do głównej gałęzi.

Co robi agent

Wykryj testy, które najpierw kończą się niepowodzeniem, a potem przechodzą
Uruchom podejrzany test ponownie, osobno
Ustal przyczynę niestabilności
Utwórz pull request z poprawką i zebranymi dowodami

Zasady do dodania

Zmiany umieszczaj na osobnej gałęzi i poczekaj na ich przegląd
Nie wyłączaj, nie pomijaj ani nie usuwaj testów
Nie dodawaj nowych pakietów bez zgody użytkownika

Efekt końcowy: Niestabilne testy wykryte, wyjaśnione i naprawione w pull requeście, który możesz przejrzeć.