Onbetrouwbare tests opsporen

Als een test soms faalt, voert de agent hem opnieuw uit, vindt hij het patroon en stelt hij een oplossing voor op een branch.

Als er iets gebeurtGemiddelde inzet

Plak dit in je agent

Leg vast wanneer een test in CI faalt en bij een nieuwe poging slaagt. Voer de verdachte test vaak genoeg afzonderlijk uit om te bevestigen dat hij onbetrouwbaar is. Zoek daarna naar de oorzaak, zoals timing, gedeelde status of de testvolgorde. Stel een oplossing voor op een nieuwe branch en beschrijf het bewijs in een pull request. Schakel tests niet uit, sla ze niet over en verwijder ze niet. Merge niets en push niet naar de main branch.

Wat de agent doet

Spoor tests op die eerst falen en daarna slagen
Voer de verdachte test afzonderlijk opnieuw uit
Spoor de oorzaak van het onbetrouwbare gedrag op
Open een pull request met de oplossing en het bewijs

Toe te voegen regels

Wijzigingen komen op een branch en wachten op review
Tests niet uitschakelen, overslaan of verwijderen
Geen nieuwe packages zonder je goedkeuring

Wat je eraan overhoudt: Onbetrouwbare tests opgespoord, toegelicht en opgelost in een pull request dat je kunt reviewen.