5.3 Monitorowanie testów, nadzór nad testami i ukończenie testów Flashcards
Z czym wiąże się monitorowanie testów (ang. test monitoring)?
Monitorowanie testów polega na zbieraniu informacji o przebiegu testowania, służących do oceny postępu prac oraz weryfikacji, czy zostały spełnione kryteria wyjścia i powiązane z nimi zadania.
W jaki sposób nadzór nad testami (ang. test control) wykorzystuje informacje z monitorowania testów?
Nadzór nad testami dostarcza wskazówek oraz wprowadza działania korygujące (tzw. dyrektywy kontrolne), by testowanie przebiegało możliwie najskuteczniej i najefektywniej. Przykłady takich działań to między innymi:
- zmiana priorytetów w przypadku, gdy zidentyfikowane ryzyko zaczyna się materializować,
- ponowna ocena, czy dany element testowy spełnia kryteria wejścia lub kryteria wyjścia po dokonaniu przeróbki (ang. rework),
- dostosowanie harmonogramu testów do zmienionego terminu dostarczenia środowiska testowego,
- przydzielenie nowych zasobów w razie potrzeby.
Na czym polega ukończenie testów (ang. test completion) i kiedy ono występuje?
Ukończenie testów obejmuje gromadzenie danych z zakończonych czynności testowych, by skonsolidować zdobytą wiedzę, testalia (ang. testware) oraz wszelkie inne istotne informacje.
Czynności związane z ukończeniem testów mają miejsce w różnych momentach końcowych, na przykład:
* po ukończeniu poziomu testów,
* po zakończeniu iteracji w metodyce zwinnej (ang. agile iteration),
* po ukończeniu lub anulowaniu projektu testowego,
* przy wydaniu systemu do użytkowania,
* po zakończeniu wydania utrzymaniowego (ang. maintenance release).
Jaką wartość wnoszą metryki testowe (ang. test metrics)?
**Metryki testowe **zbiera się, aby określić:
* postęp prac względem zaplanowanego harmonogramu i budżetu,
* bieżącą jakość testowanego obiektu,
* skuteczność działań testowych w odniesieniu do przyjętych celów bądź celu iteracji.
Jakie są przykładowe rodzaje metryk testowych?
Odpowiedź:
* Metryki postępu projektu (realizacja zadań, wykorzystanie zasobów, nakład pracy na testy).
* Metryki postępu testów (zrealizowane i niezrealizowane przypadki testowe, czas wykonania testów, stan przygotowania środowiska testowego).
* Metryki jakości produktu (dostępność, czas odpowiedzi, średni czas między awariami – mean time to failure).
* Metryki defektów (liczba/priorytety znalezionych/usuniętych defektów, gęstość defektów, odsetek wykrytych defektów – defect detection percentage).
* Metryki ryzyka (poziom ryzyka resztkowego).
* Metryki pokrycia (pokrycie wymagań, pokrycie kodu).
* Metryki kosztów (koszt testów, ogólny koszt jakości w organizacji).
Jakie informacje powinny zawierać raporty z testów, by były wystarczająco przydatne?
- Okres (przedział czasu), którego dotyczy raport.
- Postęp testowania, w tym istotne odchylenia od planu.
- Przeszkody (ang. impediments) w testach oraz (ewentualne) sposoby ich ominięcia.
- Metryki testowe.
- Nowe i zmodyfikowane ryzyka w bieżącym okresie.
- Plany testowania na kolejny okres.
Kiedy generuje się raport ukończenia testów?
Podczas ukończenia testów, gdy dany projekt, poziom testów lub typ testów zostaje zakończony, a najlepiej wtedy, gdy spełniono kryteria wyjścia. W takim raporcie wykorzystuje się wyniki monitorowania testów, wcześniej sporządzone raporty z postępu oraz inne dostępne dane.
Co powinien zawierać raport ukończenia testów?
- Podsumowanie testów.
- Oceny procesu testowego i jakości produktu w odniesieniu do planu testów.
- Wszelkie odstępstwa od planu testów.
- Przeszkody (ang. impediments) i sposoby ich ominięcia.
- Metryki testowe na bazie raportów z postępu.
- Ryzyka i defekty, które pozostały nierozwiązane.
- Wnioski i lekcje wyciągnięte (ang. lessons learned) z realizowanych testów.
W jaki sposób można komunikować status testów?
Odpowiedni sposób zależy od przyjętej strategii, standardów oraz potrzeb zespołu i projektu. Można to robić na przykład poprzez:
* komunikację ustną (np. spotkania, stand-upy),
* dashboards (tablice wizualizujące postęp testów),
* elektroniczne kanały (e-mail, komunikatory),
* dokumentację online,
* formalne raporty testowe.
