Vorlesung 6 Flashcards

1
Q

Was ist der MSE?

A

Mean Squared Error

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Was ist der MAE?

A

absolute Fehlerrate

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was ist der RMSE?

A

Root Mean Squared Error

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Welche Werte kann man nutzen, um Regressionsmodelle zu bewerten?

A
  • MSE
  • MAE
  • RMSE
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was ist der Vorteil vom MAE gegenüber dem MSE?

A

Wie auch bei den Loss Funktionen ist der MAE robuster als der MSE gegenüber ausreißern

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was ist der “Vorteil” vom MSE gegenüber dem MAE?

A

Umgekehrt haben große Fehler einen stärkeren Einfluss auf den MSE

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Nenn ein Nachteil des MSE im Bezug auf die Interpretierbarkeit

A

Manchmal ist der MSE aufgrund der quadrierten Einheiten schwer interpretierbar (z.B. durchschnittliche Fehlklassifizierung des Gewichts um +/- 4kg^2)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was sind True Positives (TP)?

A

Tatsächlich Positive, die auch als solche klassifiziert werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was sind False Negatives (FN)?

A

Tatsächlich Positive, die aber nicht als solche klassifiziert wurden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Was sind False Positives (FP)?

A

Tatsächlich Negative, die aber nicht als solche klassifiziert wurden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was sind True Negatives (TN)?

A

Tatsächlich Negative, die auch als solche klassifiziert wurden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Definiere Precision

A

Von denen, die als True klassifiziert wurden, der Anteil, welche tatsächlich True sind

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Definiere Recall

A

Von denen, die tatsächlich True sind, der Anteil, welche auch als True klassifiziert wurden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Definiere die TN rate

A

Von denen, die tatsächlich False sind, der Anteil, welche auch als False klassifiziert wurden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Definiere die Accuracy

A

Anteil der richtig klassifizierten von allen Klassifikationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was ist das Problem der Accuracy? Was kann man anstelle nutzen?

A

Probleme mit unbalancierten Klassen!
Lösung: balanced Accuracy (bA)

17
Q

Definiere die balanced Accuracy

A

Recall + TN rate geteilt durch 2

18
Q

Definiere den F1-Score

A
  • Eine gewichtete Bewertung von Precision und Recall
  • Ignoriert die (für gewöhnlich große) Gruppe der wahren Negativen (TN)
  • Der gebräuchlichste ist das harmonische Mittel (eigentlich F1-Score):
19
Q

allgemeine Definition des F-Scores (s. u.)
worauf legt dieser ein höheres Gewicht bei 𝛽 < 1 und worauf bei 𝛽 > 1

A

𝛽 < 1 legt ein höheres Gewicht auf Precision, 𝛽 > 1 on Recall

20
Q

Was ist das micro-average Verfahren zur Bewertung von Mehrklassen-Klassifikationen?

A

Precisions/Recall/F-Score pro Klasse berechnen (eins vs. Rest) und den
Durchschnitt bilden

21
Q

Was ist das macro-average Verfahren zur Bewertung von Mehrklassen-Klassifikationen?

A

Alle TP/FP/TN/FN aufsummieren und dann Precision, Recall und F-Score berechnen

22
Q

Was ist die Majority Baseline?

A

Die naivste Baseline weist die am häufigsten vorkommende Klasse allem zu („Majority Baseline“)

23
Q

Beschreib die Zufalls-Baseline

Für welche Klassifikatoren ist diese interessant?

A
  • Für Klassifikatoren mit balancierten Klassen ist dies normalerweise interessanter als die Mehrheitsklasse (auch keine Modellkomplexität)
  • Für jeden Test-Datenpunkt wird eine zufällige Klasse gewählt
  • Für Regression: Wählen Sie zufällig einen Score innerhalb des Zielbereichs
24
Q

Nenn Beispiele, wie man obere Grenzen für sein Modell bestimmen kann

25
Was messen Signifikanztests?
Signifikanztests messen, wie wahrscheinlich es ist, dass zwei Stichproben aus derselben Verteilung stammen
26
Beschreib Permutationstests
27
Wie berechnet man den Micro F1-Score bei mehreren Klassen?
28
Wie berechnet man den Macro F1-Score bei mehreren Klassen?
29
Wann könnte es sinnvoll sein, die Micro-Variante zu verwenden?
- Klassenverteilung stark ungleichmäßig - Gesamtperformance über alle Klassen hinweg ist gefragt | da alle Instanzen gleich gewichtet werden
30
Wann könnte es sinnvoll sein, die Macro-Variante zu verwenden?
- jede Klasse und deren Fehler sind gleich wichtig unabhängig von der Klassengröße | da sie für alle Klassen die gleiche Gewichtung vergibt