Vorlesung 6 Flashcards
Was ist der MSE?
Mean Squared Error
Was ist der MAE?
absolute Fehlerrate
Was ist der RMSE?
Root Mean Squared Error
Welche Werte kann man nutzen, um Regressionsmodelle zu bewerten?
- MSE
- MAE
- RMSE
Was ist der Vorteil vom MAE gegenüber dem MSE?
Wie auch bei den Loss Funktionen ist der MAE robuster als der MSE gegenüber ausreißern
Was ist der “Vorteil” vom MSE gegenüber dem MAE?
Umgekehrt haben große Fehler einen stärkeren Einfluss auf den MSE
Nenn ein Nachteil des MSE im Bezug auf die Interpretierbarkeit
Manchmal ist der MSE aufgrund der quadrierten Einheiten schwer interpretierbar (z.B. durchschnittliche Fehlklassifizierung des Gewichts um +/- 4kg^2)
Was sind True Positives (TP)?
Tatsächlich Positive, die auch als solche klassifiziert werden
Was sind False Negatives (FN)?
Tatsächlich Positive, die aber nicht als solche klassifiziert wurden
Was sind False Positives (FP)?
Tatsächlich Negative, die aber nicht als solche klassifiziert wurden
Was sind True Negatives (TN)?
Tatsächlich Negative, die auch als solche klassifiziert wurden
Definiere Precision
Von denen, die als True klassifiziert wurden, der Anteil, welche tatsächlich True sind
Definiere Recall
Von denen, die tatsächlich True sind, der Anteil, welche auch als True klassifiziert wurden
Definiere die TN rate
Von denen, die tatsächlich False sind, der Anteil, welche auch als False klassifiziert wurden
Definiere die Accuracy
Anteil der richtig klassifizierten von allen Klassifikationen
Was ist das Problem der Accuracy? Was kann man anstelle nutzen?
Probleme mit unbalancierten Klassen!
Lösung: balanced Accuracy (bA)
Definiere die balanced Accuracy
Recall + TN rate geteilt durch 2
Definiere den F1-Score
- Eine gewichtete Bewertung von Precision und Recall
- Ignoriert die (für gewöhnlich große) Gruppe der wahren Negativen (TN)
- Der gebräuchlichste ist das harmonische Mittel (eigentlich F1-Score):
allgemeine Definition des F-Scores (s. u.)
worauf legt dieser ein höheres Gewicht bei 𝛽 < 1 und worauf bei 𝛽 > 1
𝛽 < 1 legt ein höheres Gewicht auf Precision, 𝛽 > 1 on Recall
Was ist das micro-average Verfahren zur Bewertung von Mehrklassen-Klassifikationen?
Precisions/Recall/F-Score pro Klasse berechnen (eins vs. Rest) und den
Durchschnitt bilden
Was ist das macro-average Verfahren zur Bewertung von Mehrklassen-Klassifikationen?
Alle TP/FP/TN/FN aufsummieren und dann Precision, Recall und F-Score berechnen
Was ist die Majority Baseline?
Die naivste Baseline weist die am häufigsten vorkommende Klasse allem zu („Majority Baseline“)
Beschreib die Zufalls-Baseline
Für welche Klassifikatoren ist diese interessant?
- Für Klassifikatoren mit balancierten Klassen ist dies normalerweise interessanter als die Mehrheitsklasse (auch keine Modellkomplexität)
- Für jeden Test-Datenpunkt wird eine zufällige Klasse gewählt
- Für Regression: Wählen Sie zufällig einen Score innerhalb des Zielbereichs
Nenn Beispiele, wie man obere Grenzen für sein Modell bestimmen kann
Was messen Signifikanztests?
Signifikanztests messen, wie wahrscheinlich es ist, dass zwei Stichproben aus derselben Verteilung stammen
Beschreib Permutationstests
Wie berechnet man den Micro F1-Score bei mehreren Klassen?
Wie berechnet man den Macro F1-Score bei mehreren Klassen?
Wann könnte es sinnvoll sein, die Micro-Variante zu verwenden?
- Klassenverteilung stark ungleichmäßig
- Gesamtperformance über alle Klassen hinweg ist gefragt
da alle Instanzen gleich gewichtet werden
Wann könnte es sinnvoll sein, die Macro-Variante zu verwenden?
- jede Klasse und deren Fehler sind gleich wichtig unabhängig von der Klassengröße
da sie für alle Klassen die gleiche Gewichtung vergibt
