11. Data Mining und Big Data

Question 1

Was ist das Ziel von Data Mining?

Answer 1

• Extrahierung von Wissen aus Daten
• Mustererkennung (allgemein gültig, nicht trivial, neu, nützlich und verständlich)
• Bewertung im Anwendungskontext mit Anwendungsexperten

Question 2

Data Mining Prozess 4 Schritte

Answer 2

• Vorbereitung
• Vorverarbeitung
• Analyse
• Nachbearbeitung

Question 3

Welche Fehlerarten gibt es in der Datenvorverarbeitung?

Answer 3

Zufällige Fehler:
- Mess-oder Übertragungsfehler
- Modellierung durch additives Rauschen

Systematische Fehler
- Fehler in Berechnung von Merkmalen
- Falsche Kalibrierung von Messgeräten

Ausreißer:
- basieren auf zufälligen oder systematischen Effekten
- durch Messfehler oder Paketverluste in Datenübertragung
- Eintragung in falsche Felder oder Schreibfehler in Datenerfassung

Question 4

Boxplots

Answer 4

• Ausreißer
• Oberer “Whisker”
• Oberes Quartil
• Median
• Unteres Quartil
• Unerer “Whisker”

Question 5

Wie kann mit Fehlern umgegangen werden?

Answer 5

• Korrektur oder Schätzung von Werten: Ersetzen durch Mittelwert, Median, Minimum oder Maximum
• Ersetzen durch nächsten Nachbarn
• Lineare Interpolation
• Nichtlineare Interpolation (z.B. Splines)
• Modellbasierte Schätzung mittels Regression
• Filterung

Question 6

Was ist der Unterschied zwischen Korrelation und Kausalität?

Answer 6

Korrelation Quantifizierung des Zusammenhangs zwischen Merkmalen

Kausalität zeigt den genauen Zusammenhang

Question 7

Klassifikation

Answer 7

• Überwachtes lernverfahren: Klassenzuordnung anhand markierter Daten
• Beispiele für Klassifikatoren:
• Naiver Bayes Klassifikator
• Lineare Diskriminanzanalyse
• Supportvektormaschine
• Nächster-Nachbar-Klassifikator
• Lernende Vektor quantisierung
• Entscheidungsbäume

Question 8

Clustering

Answer 8

Unüberwachtes Lernverfahren: Clusterzuordnung anhand unmarkierter Daten

Identifizierung von Strukturen in Datensätzen

Beispiele
- Partitionierende Methoden
- Hierarchische Methoden
- Dichtebasierte Methoden
- Gitterbasierte Methoden

Klassen und Clusterzugehörigkeiten können gleich, aber auch verschieden sein

Question 9

Was sind die zentralen Aspekte von Big Data?

Answer 9

“Big Data“ wird benutzt, um große Datenmengen zu beschreiben

• Volumen (high-volume)
• Geschwindigkeit (high-velocity)
• Veränderungsdynamik (high-variety)
• Unternehmerischer Mehrwert (value)
• Validität (validity)

Question 10

Welche Herausforderungen bestehen beim Big Data Mining?

Answer 10

• Trends in Datensätzen nicht immer klar
• Künstliche Fehler und Rauschen in den Datensätzen aufgrund der Anonymisierung
• Umgang mit fehlenden Daten
• Dynamische Datensätze

Question 11

Rechnung Kovarianz

Answer 11

Cov(X,Y) = E((X-E(X))*(Y-(E(Y)))

Question 12

Rechnung Korrelationskoeffizient

Answer 12

Corr(X,Y) = Cov(X,Y) / S_x*S_y
→ S_x = Standardabweichung der Variable x
→ S_y = Standardabweichung der Variable y

Question 13

Rechnung Standardabweichung

Answer 13

S_x = √ Var_x
→ Var_x = Varianz der x-Werte
Var_x = (Summe der Einzeldaten - Mittelwert)² / Anzahl n