9. Evaluation

Question 1

Evaluation des Data Science Models

Answer 1

> Vergleich des Ergebnisses des DM Modells mit Ziel des Data Science Projekts
- Beurteilung in Praxis häufig schwer/unmöglich
Modellevaluation ist applikationsabhängig

Question 2

Ziel der Evaluation

Answer 2

Vergleich der Qualität verschiedener Modelle gemäß ihres Erwartungswertes
> Liefert das neue Modell bessere Vorhersagen als das bisherige Verfahren?
> Welches Modellierungsverfahren liefert besten Vorhersagen?
(Entscheidungsbaum, Lineare Regression, SVM)
> Liefert eines der Modelle ein besseres Resultat als ein einfaches Zufallsverfahren?
> Wie gut arbeitet ein Modell insgesamt?
=> Wie groß ist dessen Erwartungswert?

Question 3

Unausgewogene Klassenverteilung in der Praxis

Answer 3

Praxisbeispiele: Fehlerhafte Teile, Betrugsfälle, Kunden die Angebot annehmen
> Korrektklassifizierungsrate hat hier kaum eine Aussagekraft
> Aussage mit Wahrheitsmatrix sind hier zu bevorzugen
> zusätzliche Unterscheidung der Fehlerkosten bei
- False Positive
- False Negative

Question 4

Definition Erwartungswert

Answer 4

> Aufzählung der möglichen Ergebnisse einer Situation
Ermittlung des gewichteten Mittels dieser möglichen Ergebnisse
- Gewichtung gemäß der Eintrittswahrscheinlichkeit der Ergebnisse