Motivation Flashcards

1
Q

Define:

Was sind die Ziele für Research vs. Production

R:1, P:1

A

Research: Modell Performance
Production: Kommt auf Stakeholder drauf an

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Define

Was sind die “Computational” Prioritäten für Reserach vs. Production

R:2, P:2

A

Research: Schnelles Training, Hoher Durchsatz
Production: Schnelle Inference, Geringe Latenz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Define:

Was sind die Datenvoraussetzungen für Research vs. Production

R:1, P:1

A

Research: Statisch
Production: Verändert sich ständig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Define:

Wie steht es über fairer KI-Entwicklung / Ethisch korrekt für Research vs. Production

R:1, P:2

A

Research: (Nur) Nice-2-Have
Production: Wichtig, Oft nur Lippenbekenntnis

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Define:

Wie wichtig ist die Interpretierbarkeit für Research vs. Production

R:1, P:1

A

Research: Nice-2-Have
Production: Important or Killing-Feature

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Wie ist die traditionelle Software Entwicklung aufgebaut?

A

Specifikationen → Architektur & Design → Entwicklung → Debugging und Testen → Deployment → Monitoring

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was sind die KI-Hauptkomponenten, welche die traditionelle Software Entwicklung ergänzen?

A

Management → Data Science → Model Building

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Nenne Beispiele für die KI-Komponenten

(3, 3, 2)
(3, 2, 2)

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Nenne Beispiele des Problems:

Was ist eine geeignete Spezifikation für ein KI-Modell?

5

A
  • Accuracy-Levels
  • Erfolgskennzahlen für das Geschäft
  • Wie werden Fehler gemessen?
  • Wie wird ein Fehler erkannt?
  • Hardware und nicht funktionale Eigenschaften (z.B. Inferenzzeit)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Nenne Beispiele des Problems:

Wie integriert man die KI-Komponente in das Softwaresystem?

2

A
  • Wie überbrückt man Programmiersprachen und Systemgrenzen?
  • Wie gestaltet man das System unter Berücksichtigung von Modularität und Softwarequalität?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Nenne Beispiele des Problems:

Wie kann der Entwicklungsprozess der KI-Komponente in den Entwicklungsprozess des restlichen Softwaresystems integriert werden?

A
  • CI/CD for AI projects
  • AIOps, MLOps, DataOps
  • Technische Schulden der KI-Komponente
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Definiere:

AIOps

Def + 4 Beispiele

A

AIOps steht für Artificial Intelligence for IT Operations.

Es bezeichnet den Einsatz von KI-Technologien zur Automatisierung und Rationalisierung aktiver Workflows.

  • AIOps sammelt strukturierte und unstrukturierte Daten,
  • identifiziert Ereignisse und Muster,
  • reduziert Lärm und
  • meldet oder behebt Probleme.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Definiere:

MLOps

A

MLOps ist die Standardisierung und Rationalisierung des Lebenszyklus von Maschinenlernmodellen in der Produktion. Es orchestriert die Bewegung von Maschinenlernmodellen, Daten und Ergebnissen zwischen den Systemen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Definiere:

DataOps

A

DataOps wendet agile Entwicklung, DevOps und Lean Manufacturing auf Datenanalytik und -operationen an. Es verbessert die Qualität und Skalierbarkeit der Datenanalyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was ist der Lebenszyklus von Machine-Learning-Modellen?

A

Der typische Lebenszyklus eines Machine-Learning-Modells umfasst mehrere Phasen
- Entwicklung (Development): In dieser Phase wird das Modell entwickelt, nachdem alle notwendigen vorbereitenden Schritte durchgeführt wurden. Dazu gehört die Identifizierung und Aufbereitung der Daten für den spezifischen Anwendungsfall1. Die tatsächliche Entwicklung der Modelle bzw. die Suche nach einem optimalen Modell passiert im Rahmen eines Experiments.
- Testen (Staging): Nach der Entwicklung wird das Modell getestet. Dieser Schritt ist entscheidend, um sicherzustellen, dass das Modell wie erwartet funktioniert und genaue Vorhersagen liefert.
- Produktion (Production): Sobald das Modell getestet und validiert wurde, wird es in die Produktionsumgebung überführt. Hier wird das Modell verwendet, um Vorhersagen auf neuen, bisher nicht gesehenen Daten zu treffen.
- Ruhestand (Retired): Wenn ein Modell nicht mehr benötigt wird oder durch ein besseres Modell ersetzt wurde, wird es in den Ruhestand versetzt.

Während des gesamten Lebenszyklus ist es wichtig, die Modelle zu überwachen und zu warten. Dies beinhaltet die Überprüfung der Modellleistung im Laufe der Zeit und die Anpassung oder Schulung des Modells, wenn sich die zugrunde liegenden Daten ändern

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Anwendungsfälle

DataOps

2

A
  • Automatisierte Datenqualitätskontrolle: Ein Unternehmen hat mehrere Datenquellen und möchte sicherstellen, dass die Datenqualität über alle Quellen hinweg konsistent ist. Mit DataOps können sie automatisierte Prüfungen und Überwachungen einrichten, um die Datenqualität zu gewährleisten und Probleme schnell zu beheben.
  • Echtzeit-Datenverarbeitung: Ein Online-Einzelhändler möchte in Echtzeit auf das Verhalten der Kunden reagieren. Mit DataOps können sie Datenströme in Echtzeit verarbeiten und analysieren, um sofortige Einblicke zu gewinnen und schnelle Entscheidungen zu treffen.
17
Q

Anwendungsfälle

MLOps

2

A
  • Modelltraining und -bereitstellung: Ein Finanzunternehmen hat ein maschinelles Lernmodell entwickelt, um betrügerische Transaktionen zu erkennen. Mit MLOps können sie das Modell regelmäßig mit neuen Daten trainieren und es nahtlos in ihre Produktionssysteme integrieren.
  • Überwachung der Modellleistung: Ein Gesundheitsunternehmen verwendet maschinelles Lernen, um Krankheiten zu diagnostizieren. Mit MLOps können sie die Leistung ihres Modells kontinuierlich überwachen und bei Bedarf Anpassungen vornehmen.
18
Q

Anwendungsfälle

AIOps

2

A
  • Vorhersage von IT-Ausfällen: Ein Telekommunikationsunternehmen möchte Netzwerkausfälle vorhersagen und verhindern. Mit AIOps können sie Muster und Anomalien in ihren Betriebsdaten erkennen, die auf mögliche Ausfälle hindeuten.
  • Automatisierte Problembehebung: Ein E-Commerce-Unternehmen möchte sicherstellen, dass seine Website immer verfügbar ist. Mit AIOps können sie automatisierte Skripte und Workflows erstellen, um häufig auftretende Probleme zu beheben, ohne dass ein menschlicher Eingriff erforderlich ist.
19
Q

Definiere:

Was sind technische Schulden in der Softwareentwicklung?

A

Technische Schulden sind ein Konzept in der Softwareentwicklung, das sich auf die zusätzliche Entwicklungsarbeit bezieht, die entsteht, wenn Code, der einfach zu implementieren, aber nicht optimal ist, jetzt verwendet wird, anstatt die beste Gesamtlösung zu verwenden.

Technische Schulden können durch verschiedene Praktiken entstehen, einschließlich unzureichender Planung, veralteter Technologien, übermäßiger Komplexität und Verzögerung bei der Durchführung notwendiger Upgrades oder Refaktorisierungen. Sie können sich im Laufe der Zeit ansammeln und die Effizienz und Effektivität eines Softwareprojekts beeinträchtigen, wenn sie nicht ordnungsgemäß verwaltet werden.

Es ist wichtig zu beachten, dass technische Schulden nicht immer negativ sind. Sie können ein bewusstes Kompromiss sein, das es einem Team ermöglicht, schneller zu liefern, solange ein Plan zur Tilgung der Schulden vorhanden ist. Aber wie bei finanziellen Schulden, wenn sie ignoriert oder schlecht verwaltet werden, können technische Schulden zu erheblichen Problemen führen.

20
Q

weitere Fragestellungen finden

Wie teste ich eine KI-Komponente? Wie führt man Konjunktionstests mit der restlichen Software durch?

3

A
  • Auf welche Messgrößen sollte man testen?
  • Testen (Daten, ML-Code, Pipeline)
  • Wie kombiniere ich Unit-/Integrationstests?
21
Q

Weitere Fragestellungen finden

How to deploy AI models?

3

A
  • Welche Tools und Frameworks sollen verwendet werden?
  • Wie gehe ich mit mehreren Versionen Ihres Modells um?
  • Wie teste ich neue Versionen?
22
Q

Weitere Fragestellungen finden

How to monitor AI decisions in practice?

5

A
  • Wie beobachtet man die Datenverteilung, um Daten- und Modellverschiebungen zu erkennen?
  • Wie protokolliere ich die AI-Ausgabe?
  • Wie können schwerwiegende KI-Fehler verhindert oder gemeldet werden?
  • Wie werden Fallback-Maßnahmen umgesetzt?
  • Welche Frameworks und Tools gibt es für Monitoring?
23
Q

Weitere Fragestellungen finden

How to realize the feedback loop (Flywheel)?

3

A
  • Wie baue ich Feedback-Mechanismen ein?
  • Welche Konsequenzen hat dies für das UI/UX-Design?
  • Wie und wann soll das Neulernen des ML-Modells ausgelöst werden?
24
Q

Weitere Fragestellungen finden

Projektmanagement

4

A
  • Welche KI-Projektarchetypen und ML-Modelltypen gibt es, um ein Geschäftsziel zu erreichen?
  • Wie startet man ein KI/ML-Projekt basierend auf den Anforderungen?
  • Wie wählt man geeignete Metriken für die Optimierung aus?
  • Wie können Sie Teams aufbauen und Ihr Unternehmen/Projekt organisieren, um das KI/ML-Modell umzusetzen?
25
Q

Weitere Fragestellungen finden

Datenmanagement

3

A
  • Wie speichere und versioniere ich Daten?
  • Wie nutzt man unterschiedliche Speicheransätze?
  • Wie werden Daten erfasst, gekennzeichnet und vorverarbeitet?
26
Q

Weitere Fragestellungen finden

Experimentieren

3

A
  • Welche Tools und Frameworks gibt es, um Experimentierläufe automatisch zu verfolgen und zu speichern?
  • Wie können Experimente reproduzierbar gemacht und die Experimentierläufe automatisiert werden?
  • Wie kann die Gültigkeit sichergestellt und eine Hyperparameter-Optimierung des ML-Modells durchgeführt werden?
27
Q

Pros & Cons

Building Everything (regarding AI System)

Pro:3, Con: 3

A

Pros
- Hohe Kontrolle
- private Daten
- anpassbar zum Business

Cons
- Hoher Aufwand
- Fachwissen
- Infrastruktur

28
Q

Pros & Cons

Building the software system & External AI via API

Pro: 3, Con: 4

A

Pros:
- Geringer Aufwand
- begrenzter Personal- und Infrastrukturaufwand
- günstiger

Cons
- Geringe Kontrolle
- geringer Datenschutz
- Abhängigkeit von Externen Unternehmen
- begrenzte Anpassung an den Geschäftskontext

29
Q

Beispiele

Nenne Beispiele für Technische Schulden in ML Development

9

A
  • Konfiguration
  • Data Collection
  • Data Verification
  • Machine Resource Management
  • Service Infrastructure
  • Monitoring
  • Feature Extraction
  • Analysis Tool
  • Process Management Tools