6. Testwerkzeuge Flashcards

Question

Performanztest-/Lasttest-/Stresstestwerkzeuge

Answer 1

Performanztestwerkzeuge überwachen und protokollieren, wie sich ein System unter verschiedenen simulierten **Benutzungsbedingungen** verhält, hinsichtlich * Anzahl konkurrierender Nutzer, * Hochlauf- /Anlaufverhalten (ramp-up pattern) * sowie Häufigkeit und relativem Anteil von Transaktionen. Die Last wird durch Erzeugen virtueller Nutzer simuliert, die einen ausgewählten Satz an Transaktionen durchführen, verteilt auf verschiedene Testmaschinen, allgemein bekannt als Lastgeneratoren.

Answer 2

Testmonitore analysieren, verifizieren und zeichnen kontinuierlich die Verwendung von **spezifischen Systemressourcen** auf und geben Warnungen zu möglichen Problemen bei der Erbringung von Diensten aus.

Answer 3

Bei manchen Projekten stehen die Daten im Mittelpunkt, beispielsweise bei Datenkonvertierungs- bzw. Datenmigrationsprojekten und bei Anwendungen wie Data Warehouses. Die Attribute der Daten können sowohl hinsichtlich ihrer Kritikalität und ihres Volumens variieren. In einem solchen Kontext sind Werkzeuge für die Bewertung der Datenqualität erforderlich, um die Datenkonvertierungs- und die Migrationsvorschriften zu prüfen und zu verifizieren. Damit soll sichergestellt werden, dass die verarbeiteten Daten korrekt und vollständig sind, und dass sie einem vorab definierten kontextspezifischen Standard entsprechen.

Answer 4

* **weniger sich wiederholende Tätigkeiten** (z.B. für Regressionstestläufe, wiederholte Eingaben der gleichen Testdaten und Prüfungen gegen Programmierkonventionen) * **bessere Konsistenz und Wiederholbarkeit** (die gleichen Tests werden beispielsweise in der gleichen Reihenfolge mit der gleichen Häufigkeit durch ein Werkzeug ausgeführt und aus Anforderungen hergeleitet) * **objektive Bewertung durch eine Werkzeugunterstützung** (z.B. statische Messungen, Überdeckungsmessungen) * **vereinfachter Zugriff auf Informationen über durchgeführte Tests** (z.B. Statistiken und graphische Darstellungen über den Testfortschritt, die Fehlerrate und die Performanz)

Answer 5

* unrealistische Erwartungen an das Werkzeug (einschließlich Funktionalität und Benutzungsfreundlichkeit) * unterschätzen der Zeit, der Kosten und des Aufwands für die erstmalige Einführung eines Werkzeugs (einschließlich Training und externe Beratung) * unterschätzen der Zeit und des Aufwands, um einen signifikanten und anhaltenden Nutzen aus der Anwendung eines Werkzeugs ziehen zu können * unterschätzen des erforderlichen Aufwands für die Wartung der durch das Werkzeug erzeugten Ergebnisse * blindes Vertrauen in das Werkzeug (Ersatz für einen Testentwurf oder Verwenden automatisierter Tests, wo manuelles Testen geeigneter wäre) * vernachlässigen der Versionskontrolle von Testgegenständen im Testwerkzeug * vernachlässigen der Beziehungen und der Interoperabilitätsproblematik zwischen kritischen Werkzeugen * Risiko, dass der Werkzeughersteller den Betrieb einstellt, das Werkzeug vom Markt nimmt, oder das Werkzeug an einen anderen Hersteller verkauft * mangelhafte Leistungen des Herstellers hinsichtlich Kundenunterstützung, Upgrades und Fehlerbehebungen * Risiko, dass das Projekt zum Erstellen des kostenfreien bzw. Open-Source-Werkzeugs eingestellt wird * unvorhergesehene Probleme, z.B. dass eine neue Plattform nicht unterstützt werden kann

Answer 6

Eine **datengetriebene** Testvorgehensweise (data-driven approach) trennt die Eingaben (die Testdaten) vom Testfall und legt sie in einem Tabellenblatt ab. Ein generisches Testskript liest die Eingabewerte bei Testausführung aus dem Tabellenblatt. Damit kann das gleiche Testskript mit unterschiedlichen Daten durchgeführt werden. Tester, die sich nicht mit der Skriptsprache auskennen, können dennoch Testdaten für die vordefinierten Testskripte erstellen.

Answer 7

Bei diesen Verfahren werden, anstatt Datenkombinationen hart codiert in einem Tabellenblatt einzugeben, Daten in Echtzeit generiert und der Applikation zur Verfügung gestellt. Das geschieht mit Hilfe von Algorithmen, die auf konfigurierbaren Parametern basieren. Beispielsweise kann ein Werkzeug einen Algorithmus verwenden, der eine zufällige Benutzer-ID erstellt, und damit das Muster wiederholbar wird, ein sogenanntes „**Seed**“ einsetzt, das die Zufälligkeit steuert.

Answer 8

Statische Analysewerkzeuge dienen der Analyse des Quellcodes und können die Einhaltung von Programmierkonventionen erzwingen. Jedoch ist zu berücksichtigen, dass bei Anwendung eines statischen Analysators für **existierenden** Quellcode eine riesige Menge Meldungen erzeugt werden können. Wird ein Compiler mit integriertem statischen Analysator oder mit entsprechenden Compiler-Optionen verwendet, so wird die Übersetzung in Objektcode durch die erzeugten Warnmeldungen nicht unterbrochen, jedoch sollten diese Warnmeldungen analysiert werden, um die Wartbarkeit des Quellcodes zu verbessern. Eine Basisimplementierung eines statischen Analysators sollte deshalb die Möglichkeit enthalten, einige dieser Analysen bzw. die entsprechenden Regeln zu **deaktivieren**.

Answer 9

Testmanagementwerkzeuge sollten Schnittstellen zu anderen Werkzeugen oder zu einem Standardtabellenkalkulationsprogramm (z.B. Excel) enthalten, um nützliche Informationen nach den Bedürfnissen der Organisation aufzubereiten.

Answer 10

* Bewerten der Reife einer Organisation, Analyse der Stärken und Schwächen, Identifikation von Möglichkeiten für die Verbesserung des Testprozesses, unterstützt durch Testwerkzeuge * Evaluation gegen klar spezifizierte Anforderungen und objektive Kriterien (für Nutzen und Anwendung) * Eignungsnachweis (proof-of-concept) durch Nutzen des Werkzeugs während der Evaluierungsphase, um zu verifizieren, ob es mit der zu testenden Software und in der aktuellen Infrastruktur effektiv funktioniert, bzw. um nötige Anpassungen der Infrastruktur zu identifizieren damit eine effektive Nutzung des Werkzeugs möglich ist * Evaluation der Anbieter (einschließlich Trainingsunterstützung, Support und kommerzielle bzw. vertragliche Aspekte) oder des Dienstleistungsanbieters bei nicht kommerziellen Werkzeugen * Identifikation der internen Anforderungen für Coaching und Anleitung bei der Anwendung des Werkzeugs * Evaluation des Schulungsbedarfs, die die Testautomatisierungskenntnisse des aktuellen Testteams berücksichtigt * Schätzen des Kosten/Nutzen-Verhältnisses, basierend auf einem konkreten Business Case

Answer 11

* Detailliertes Kennenlernen des Werkzeugs * Bewertung, wie das Werkzeug mit den existierenden Werkzeugen und Prozessen zusammenpasst,festlegen, was ggf. angepasst werden muss * Entscheidung über die Standardisierung des Werkzeugeinsatzes hinsichtlich Nutzung, Verwaltung, Speicherung und Wartung des Werkzeugs und der vom Werkzeug erzeugten/ verwendeten Ergebnisse (z.B. Namenskonventionen für Dateien und Tests, Neuanlage von Bibliotheken und die Festlegung von modularen Testsuiten) * Bewerten, ob der Nutzen mit vertretbaren Kosten erreicht werden kann

Answer 12

* Das Werkzeug wird schrittweise in der ganzen Organisation in Betrieb genommen. * Adaptierung und Prozessverbesserung harmonieren mit dem Werkzeug. * Für neue Anwender werden Trainingsmaßnahmen und Coaching bereitgestellt. * Es sind Richtlinien für die Werkzeugbenutzung definiert. * Es gibt Verfahren, um Nutzungsdaten über den derzeitigen Gebrauch zu sammeln. * Werkzeugverwendung und tatsächlicher Nutzen werden beobachtet. * Das Testteam erhält Unterstützung für das Werkzeug. * Es wird ein Erfahrungskatalog erstellt, basierend auf den Erfahrungen aller Teams.