Requirements Engineering Flashcards

1
Q

Was zählt alles unter Requirements / Anforderungen

4

A
  • Eigenschaften
  • Funktionalität
  • Use Cases
  • Qualität
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Definiere Requirements Engineering

A

RE ist ein systematischer Weg, diese Anforderungen iterativ in einzelnen Schritten zu entwickeln

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Nenne Challenges in RE

3

A
  • Kunde weiß nicht oder ist nicht im Stande zu sagen, was er möchte
  • Sprachbarrieren
  • widersprechende Anforderungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Arten von Anforderungen und deren Definition

3

A

Functional
- Funktionen / Features des Systems
Interface Payment-System, Email Notification, …

Non-Functional
- Eigenschaften, Fähigkeiten, Bedingungen und Verhalten des Systems in nicht funktionalem Sinne
Perfomance, Safety, Development Cost, …

Constraints
- Restriktionen für die Implementation des Systems
Seitenladezeit weniger 200ms, Dev-Time 180 Tage, …

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Nenne die drei Steps im RE-Prozess (Deutsch)

A
  • Anforderungserhebung
  • Anforderungsmodellierung und -spezifikation
  • Anforderungsvalidierung und Dokumentaion
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Nenne die drei Steps im RE-Prozess (Englisch)

A

- Requirements Elicitation
- Requirements Modeling & Specification
- Requirements Validation & Documenation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Nenne die notwendigen Schritte in Requirements Elicitation

3

A
  • Identifiziere Stakeholders
  • Sammle Anfoderungen von ihnen
  • Identifiziere Szenarios, Use-Cases & Walkthroughs

Natürliche Sprache, Modelle, Formeln, Artifacts, …

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was ist das Ziel in Requrements Modeling & Specification

A

Übersetze vage Anforderungen in umsetzbare widerspruchsfreie, eindeutige Spezifikationen

Diagramme, Formale Anforderungen, User-Stories

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q
A
  • Validiere die Spezifikationen mit Kunden
  • Finde Probleme der Anforderungserhebung (Elicitation)
  • Finde angemessene Arten der Validierung (Prototypen, Mockups, …)

Volere-Templates, Snow-Cards

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was sind Volere Templates

A

Volere Requirements Specification Template:
Dies ist eine sehr umfassende Vorlage für die Erfassung aller Arten von Anforderungen. Es enthält 27 Arten von Anforderungen in 5 übergeordneten Kategorien. Diese Kategorien umfassen Projekttreiber, Randbedingungen, funktionale Anforderungen, nicht-funktionale Anforderungen und Projektangelegenheiten.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Nenne Methoden für Requirements Elicitation

5

A
  • Umfragen
  • Brainstorming
  • Perpektivwechsel
  • Feldbeobachtung (verfolge die Kundschaft einen Tag lang)
  • Workshops / Prototypen mit Ersttestern
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Requirements vs. Specification

A

Requirements:
Kundenorientierte Beschreibung in natürlicher Sprache über die gewünschten Eigenschaften der Software

Specification:
Entwicklerorientierte präzise Beschreibung und Terminologie der funktionalen und nicht-funktionalen Features der Software und ihrer Bedingungen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Nenne KI-spezifische Herausforderungen für Requirements Engineering

4

A
  • Missing Oracle: Es gibt kein Ground-Truth Tool, welches die Korrektheit der Systemausgaben überprüfen kann
  • Imperfection: Es gibt keine 100% korrekten Systeme
  • Uncertainty of untested data: Welche Daten wurden noch nicht gelernt? Wie verhält sich das System bein ungesehenen Daten?
  • High dependency of behavior on training data: Trainingsdaten sind entscheidend für das Verhalten des kompletten Systems
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Nenne Charakteristiken von AI Systems

4

A
  • Kein Determinismus
  • Unvorhersagbarkeit von individuellen Ausgaben
  • Fehlende Erklärbarkeit der Ausgaben
  • Schwierigkeit beim Instandhalten der Konsistenz gegenüber kleiner Änderungen der Eingabewerte
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Nenne Specification & Requirements Areas

8

A

Specifications:
- Context: In welchem Kontext wird die KI-Komponente angewandt?
- Data: Anforderungen benutzter Daten
- Model: Type, parameters, metrics, dimensions, …
- Monitoring Metrics: stetige Verbesserung & frühe data/model shift detection
-Human Factor: Reaktion der Menschen (zB automated decisions)
- Ethical
- Non functional: Erklärbarkeit, Rechtlich
- Hardware

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

(RE) Specification & Requirements Areas:

Beschreibe Context Specification und nenne ein Beispiel

A

Define under which (environmental / contextual) conditions the AI-component will operate. Optionally specify conditions for data/model shift.

Rational: The model cannot be placed in another context without re-training and testing. Considers the famous no-free-lunch-theorem.

Examples:
- Autonomous driving only on highways with clear sight
- Speech recognition only on specified hardware (microphones)
- Recommendations only for trusted / registered users on a subset of products
- Fault detection on goods only for certain types and faults

17
Q

(RE) Specification & Requirements Areas:

Beschreibe Data Specification und deren Auswirkungen

A

Everything about Data:
- origins, quality, properties (eg. privacy)
- input distributions

Poor data quality and false / outdated labels may cause low AI performance

Leaking data from learning to testing may cause overestimation of AI performance

Failing to separate data origins may cause training on data that is not available in production.

18
Q

(RE) Specification & Requirements Areas:

Nenne Model Requirements & Specification Beispiele

A

superv vs n-superv
online vs batch
class vs reg

success metrics, …

19
Q

(RE) Specification & Requirements Areas:

Nenne Model Metrics beyond Accuracy

A

More than typical Model Metrics:

  • Memory Usage
  • Inference Time
  • Robustness
  • Fairness
20
Q

(RE) Specification & Requirements Areas:

Beschreibe Robustness im Kontext von Model-Metrics

A

Teste andere Daten:
Zeitraum
Geographische Lage
Quellen

Robustheit gibt an, wie das Production-Model mit Datashift performt

21
Q

(RE) Specification & Requirements Areas:

Beschreibe Monitoring und nenne ein Beispiel

A

Monitoring überprüft das KI Komponent in Production

Monitoring Ziele müssen direkt aus dem Software System impliziert werden

  • Number of misclassifications reported by users
  • Number of repeated commands in speech recognition
  • Number of manually detected faulty products after AI inspection
22
Q

(RE) Specification & Requirements Areas:

Was ist das Simpsons Paradox

A

Simpson’s Paradox ist ein statistisches Phänomen, das auftritt, wenn Trends in aggregierten Daten verschwinden oder sich umkehren, wenn die Daten in Untergruppen aufgeteilt werden. Dies kann zu scheinbar widersprüchlichen Schlussfolgerungen führen, je nachdem, wie die Daten gruppiert sind.

Ein klassisches Beispiel ist die Geschlechterverteilung bei den Zulassungen zur Graduiertenschule der UC Berkeley. Auf den ersten Blick schien es, als ob Männer bevorzugt würden, da die Gesamtzulassungsrate für Männer höher war als für Frauen. Bei genauerer Betrachtung der einzelnen Fachbereiche stellte sich jedoch heraus, dass Frauen sich häufiger für Fachbereiche mit geringeren Zulassungsraten bewarben, was den scheinbaren Unterschied in der Gesamtzulassungsrate erklärte.

23
Q
A
24
Q

Nenne 5 Non-Functional / Quality Requirements für AI-Systems

12

A

Accountability: AI system need to be accountable for its decisions, actions, and effects on stakeholders

Controllability: Degree to which an external agent can intervene in the AI’s processes (see Skynet)

Explainability: Ability of explaining how an AI system has reached to a certain output

Interpretability: Degree to which humans can reason on the results of an AI system

Reliability: Consistency of AI output (unlike reliably of a SW system, focusing on up-time)

Resilience: Ability to recover from malfunctions

Robustness: Degree to which a system is keeping functioning when an error occurs during execution

Transparency: Ability to follow all steps in the AI system leading to a decision, subsumes reproducibility

Performance: Either time related (execution / inference time) or model-quality related (accuracy, error rate, etc.)

Resources: Energy or memory consumption (especially for edge hardware)

Communication: Latency, throughput, request handling (especially for scaling in cloud systems)