Project Management

Question 1

Unterschied von Projektprogress in ML vs SE

Answer 1

Question 2

Was sind Ursachen dafür, dass 87% der ML Projekte scheitern, bzw. 53% der ML Prototypen nicht die Produktion erreichen?

5

Answer 2

• Unklares Projektziel
• ML Ziel =!= Business Ziel
• Unkoordinierte Arbeite von DS vs SE
• Explodierende Kosten für Expertise und Hardware
• Komplexität des Projektes benötigt versch. Skills (SE, DevOps, Data Science, Data Engineer, …)

Question 3

Was ist Hoftstadter’s Law?

Answer 3

It always takes longer than you expect, even when you take into account Hofstadter’s Law.

Question 4

Nenne Gründe gegen AI Software

3

Answer 4

• Errors Costs > Improvement Costs
• Entscheidungen müssen erklärbar sein
• Entwicklung muss schnell gehen -> Starte mit Heuristiken

Question 5

4 Gründe für Automatisierung

Answer 5

• Mehr Effizienz
• Mehr Sicherheit für Menschen
• Weniger langweilige Tasks
• Ermögliche Funktionalität, die Menschen ohne Automatisierung nicht beherrschen

Question 6

4 Gründe für Augmentation (Zunahme)

Answer 6

• Höhere Kundezufriedenheit bei Aufgabe
• Mehr User Control
• Mehr Kundenverantwortung
• Mehr Kreativität

Question 7

Definiere den Lebenszyklus eines ML-Projekts

(4)

Answer 7

Scoping & Planning < Data < Model < Deployment

Question 8

Was gehört zu Scoping & Planning hinzu? (ML LC)

3

Answer 8

• Define Projekt Goals
• Specify Requirements
• Allocate Ressources

Model metric does not align with project goal; performance unsatisfiable/disappointing; requirements revisiting

Question 9

Was gehört zu Data hinzu? (ML LC)

4

Answer 9

• Define and collect Data
• Preprocessing
• Label
• Organize Data

Data mismatch (different distribution in production); rare cases required; bias found

Question 10

Was gehört zu Model hinzu? (ML LC)

5

Answer 10

• Model Selection
• Training
• Experimantation
• Error Analysis
• Debugging

*Production performance != training performance; non-functional properties not met; *

Question 11

Was gehört zu Deployment hinzu? (ML LC)

3

Answer 11

• Deploy model
• monitor and maintain system
• feedback loop

Question 12

Wie geht man an AI-Projekte heran?
Ziel: Budgetierung

4 + Budgetierung

Answer 12

Question 13

Was sind Probleme an der folgenden Metrik für AI System “Credit Card Fraud”:

“Success the more unauthorized withdrawals we block”

2

Answer 13

• Bestes Outcome wird erreicht, wenn das System alle Transaktionen blockt
• Je mehr Transaktionen geblockt werden, desto mehr wird sich das herumsprechen, desto weniger Leute werden es bei der Orga versuchen -> Es wird angeblich schlechter über Zeit (bei Design)

Question 14

Beschrifte die Achsen

Answer 14

Impact & Feasibility

Question 15

Feasibility Pyramid for Cost Drivers

Answer 15

DMD

Difficulty
Availlability of Similar Solutions, Education, Ressource for Training, Deployment

Model Accuracy
Cost of wrong predictions, mininmum accuracy, retrain frequency

Data Availlability
Data aquiration, labeling and amount

Question 16

Was sollte man bei der Datenverfügbarkeit und der Modellkomplexität beachten, wenn man über die Machbarkeitsanalyse nachdenkt?

Daten(2), Model(1)

Answer 16

• Wie schnelllebig sind die Daten?
• Zu welchen benötigten Informationen habe ich keinen Zugriff?
• Wie viel kostet ein Inferenzschritt?

Question 17

Techniken für die Verbesserung der Machbarkeit

4

Answer 17

• keine 100% Accuracy Produktdesigns!
• Keine Abhängigkeit von einem einzigen Modell
• Sicherheitsmechanismen für KI-Nutzung (Anzeige bei guter Pseudo-Wahrscheinlichkeiten)
• Alpha-Test (Experimental)

Question 18

Manage and Mitigate Risk
1. -> 2. -> 3.

Answer 18

1.Identify -> 2. Mitigate -> 3. Monitor

1. Identifizierung
2. Mildern / Reduzieren
3. Beobachten

Question 19

Was ist eine von Amazon erfunden gängige Methode für Riskmanagement?

Answer 19

Scoreboards in verschiedenen Kontexten:

z. B. :
- Project
- Finance
- Project Processes
- Data Quality
- Summary

Question 20

Nenne die 3 Meilensteine um den Progress und Fokus für Entwicklungsstresspunkte im Auge zu behalten

Answer 20

1. Domain Expertise
2. Reproduziere Arbeit von anderen mit ähnlichen Zielen
3. Automatisiere das Training und Inferenz Pipeline abgeleitet von 2.

Question 21

Nenne den 1. Meilenstein in AI-Software Engineering und beschreibe, was ihn ausmacht.

3 + 3

Answer 21

Domain Expertise

**Starte einfach **
- kein ML / nur Heuristiken
- Wie lösen Menschen das Problem derzeit?
- Wie würdest du mit den aktuellen Daten es manuell lösen?

Schau dir die Daten zuerst an
- Explanatory Data Analysis (EDA)
- Manuelle Validierung der Annahmen
- Manuelles Labeln für Heuristiken zum Lösen des Problems

Question 22

Nenne den 2. Meilenstein in AI-Software Engineering und beschreibe, was ihn ausmacht.

Idee + 2

Answer 22

Reproduziere ähnliche Arbeit

Idee: Was sind die technologischen Einschränkungen

• Ähnliche open source Repos finden
• Ähnliche ML / DL Modelle finden

Question 23

Nenne den 3. Meilenstein in AI-Software Engineering und beschreibe, was ihn ausmacht.

Answer 23

Simple Pipelining

Baue eine minimalistische einfache Pipeline
a) Training Pipeline
b) Inference / Production Pipeline

Question 24

Nenne mögliche Datenquellen für Training

6

Answer 24

• Web-Archive
• reddit/r/datasets
• Kaggle
• UCI ML Repo
• Crawling
• Simple Google Search

Question 25

Nenne mögliche ML-Modell Hubs

Answer 25

• Paperswithcode
• Huggingface

Question 26

Nenne Steps in der Training Pipeline

7

Answer 26

Question 27

Nenne Steps in der Production / Inference Pipeline

7

Answer 27

Question 28

Nenne die Project Archetypes für AI-Software Projekte

3

Answer 28

• Improve existing process
• augment manuel process
• automate manuel process

Question 29

Definiere den Archytype “Improve existing process” und nenne Beispiele

Answer 29

Automatisiere, beschelunige, reduziere Fehler oder verbessere Antworten von existierenden Prozessen

Beispiel: Code Completion, Customized Recommender Systems

Question 30

Definiere den Archytype “augment manuel process” und nenne Beispiele

Answer 30

Unterstütze manuelle Aufgaben mit Empfehlungen, Korrekturen und Alternativen

Beispiele:
- Slide Designer
- Transcription Engine
- Rechtschreib und Grammatikhilfe

Question 31

Definiere den Archytype “automate manuel process” und nenne Beispiele

Answer 31

Ersetze manuelle Prozesse durch automatische KI-Prozesse

Beispiele:
- Selbstfahrende Autos
- Chatbots
- Customer Support
- Website Designs

Question 32

Nenne verschiedene Projekterwartungen für Ziele

Answer 32

Wirtschaftlich: Mehr Profit, Weniger Kosten
Sozial: Nutzerfreundlichkeit, Mehr Nutzerzufriedenheit
Technologisch: Nutzung neuer Technologie im Unternehmen (zukunftssicherheit)

Question 33

Erkläre anhand des Beispieles (Organisatorisch vs Futuristisch) warum verschiedene Ziele von verschiedenen Projekterwartungen abstammen.

Answer 33

Organisatorisch: Profit, Umwelt, Sozial
- > Schwer den Bezug zu KI zu finden
- > Wird durch mehr als das KI Projekt beeinflusst
- > Effekte sind nicht direkt messbar

Futuristisch: Kundenzufriedenheit, -engagement
- > Könnte Organisatorische Ziele positiv beeinflussen
- > Effekte durch kleine Änderungen schwer messbar

Question 34

Nenne die 3 Kriterien für Erfolg beim Aufstellen des Produktziels

Answer 34

(1) Definiere das gewünschte Ziel
(2) Defniere einen Plan, der beschreibt wie du das Ziel erreichen kannst
(3) Definiere Metriken, die deinen direkten Erfolg messen

Question 35

Under the bottom line: Was ist das ultimative ML Ziel ?

(1) (1)

Answer 35

Business: Increase Profit
Non-Profit: Improve Society

Question 36

Wie kann man die Business value messen?

Answer 36

Meistens nicht durch die model performance!

• Logging der Software
• Nutze nur zielführende Metriken
• Guardrail Metriken (Gegenmetriken im A/B Test)

Question 37

Was sind Guardrail Metriken?
Beschreibe das Beispiel von Airbnb

Answer 37

Guardrail Metriken sind Gegenmetriken in A/B Tests, die gewisse Folgeeffekte messen sollen.

Wenn zum Beispiel eine Änderung einen positiven Effekt auf die Registrierungen des Dienst hat, aber die Käufe zurückgehen, sind die Anzahl der Käufe ein Guardrail-Metrik.

Airbnb hat bei der Prozessänderung “Anzeigen der Hausregeln bei der Buchung” gesehen, dass die Buchungen zugenommen haben, aber die Guardrail Metrik “Bewertung” verschlechterte sich. Stakeholder wurden informiert und der Test wurde eventuell abgebrochen.