2 & 3 Datenanalyse/Data Mining

Question 1

Datenanalyse Allgemein

Answer 1

> Techniken zur Konsolidierung, Analyse und Bereitstellung der Daten zur Entscheidungsunterstützung
Basiert meist auf Data Warehouse
Teil des Knowledge Discovery Prozess in Database (KDD)

Question 2

Data Warehouse

(Datenquell für)

Typische Applikationen die auf DWH basieren?

Answer 2

Datenquell für:
> komplexe Analysen
> KDD
> Entscheidungsfindung

Typische Applikationen die auf DWH basieren
> Online Analytical Prozessing (OLAP)
> Decision-Support-System (DSS)
> Management Information Systems (MIS)
> Data Mining (DM)

Question 3

OLAP (Online Analytical Processing)

Answer 3

=> solche Anwendungen bereiten die Daten in einem DW auf (analysieren oder bereiten visuell auf)

Methoden:
> Multidimensionale konzeptionelle Sichten
> Unlimitierte Dimensionen und Aggregationsstufen
> Interaktive Analayse anhand typischer Interaktionen
> Slice, Dice, Roll-Up, Drill-Down

Question 4

Definition Decision-Support-System (DSS)

Answer 4

= Entscheidungen bei schlecht strukturierten Problemen und unvollständigen Daten vorbereiten (DSS)
> Flexibler EInsatz
> Modellgestützt oder Datengestützt

(ermitteln für menschliche Etnscheidungsträger für operative und strat. Aufgaben relevante Infos, aufbereiten und stellen diese übersichtlich zusammen

Question 5

Definition Data Mining

Beispiel für Große Datenmengen

Answer 5

= Prozess zum entdecken interessanter Muster und Erkenntnisse von großen Datenmengen

Beispiele

• Geschäftswelt: Web, E-Commerce, Sensoren
• Wissenschaft: Bioninformatik, wissenschaftl. Simulationen
• Gesellschaft: Nachrichten, YouTube, Twitter

Data Mining = Automatische Analyse von riesigen Datenmengen

Question 6

Data Warehouse & Data Mining

Answer 6

> DWH enthhält historische Daten zur Entscheidungsunterstützung
NUtzung des DWH als Datenquelle für Data Mining
Gewinnung von neuen Erkenntnissen aus vorhandenen Daten in DWH

Question 7

Phasen des Knowledge Discovery (KDD) Prozess

Answer 7

1, Datenauswahl
2. Datenreinigung/Datenanreicheurng/Transformation
(Teil des ETL-Prozesses im DWH (Datenvorbereitung im DWH)
3. Data Mining
4. Datenvisualisierung (Integration der Ergebnisse zurück ins Data Warehouse

Question 8

Ziel Data MIning/Knowledge Discovery in Database

Answer 8

• Vorhersagen (Attributwert in Zukunft vorhersagen)
• Identifikation (Erkennen eines Gegenstands/Aktivität)
• Klassifikation (Kategoriesierung/Klassifizierung Daten)
• Optimierung (Optimierung Nutzen von besch. Ressourc)

Question 9

Nenne Sie 4 Datenarten und jeweils 2 Beispiele

Answer 9

Strukturierte Daten
- relationale Daten/Tabellen - CSV
Semistrukturierte Daten
- JSON, XML, HTML
Unstrukturierte Daten
- Dokumente, Textdaten, Nachrichten
Datensätze
- Dokumente
- relationale Daten/Tabellen

Question 10

Kategorisierung der Attribute (4 Kategorien)?

Answer 10

nominal (keine Ordnung)
- Bsp.: blau, rot

ordinal
- Bsp.: sehr gut, gut

Diskret
- Zählergebnisse
  Bsp.: Anzahl Teilnehmer, Räume
Stetig (stetige Werte/Messungen)
  Bsp.: Zeit, Gewicht, Länge, Temperatur

Question 11

Datenverständnis entwickeln (Beschreibung der Daten)

Answer 11

> Lagemaße, Streuungsmaße
Verteilungscharakteristiken
- Median, Min, Max, Varianz, Quantil

Question 12

Nennen Sie die drei Lagemaße

Answer 12

=> Durchschnitt
=> Median
=> Modus (Wert der am häufigsten vorkommt)

Question 13

Ziel und Aufgabe der Datenvisualisierung

Answer 13

= Effiziente und klare Vermittlung der Daten an Benutzer durch graphische Repräsentation

Ziele:
> Einblicke in den Datenraum erhalten
> Gewährung qualitativer Überblick großer Datenmegngen
> Suchen von Mustern, Trends, Strukturen, UNregelmäßigkeiten, Beziehungen in den Daten
> Lokalisierung interesanter Regionen für genauere Analyse
> Visueller Beweir von Zusammenhängen

Question 14

Was gibt die Standardabweichung an?

Answer 14

wie weit die einzelnen Messwerte im Durchschnitt von dem Erwartungswert (mittelwert) entfernt sind.
Berechnet aus der Quadratwurzel der Varianz

Question 15

Nennen Sie verschiedene Visualisierungstechniken

Answer 15

Bog Plots/Quantil Plots
= Darstellung Verteilungen & Lagemaße für einzelne Attribute

Histogramme
= Darstellung der Häufigkeiten von Wertebereichen eines Attributs
(Welche Instanzen fallen in den jeweiligen Wertebereich?)

• Density/Heat Maps
• Scatter Plots/Scatter Plots 3D
• Bubble Chart
• Scatter Plott Matrix
• Parallel Coordinates
  = n-Dimensionale Daten werden durch n Achsen dargestellt
  = jede Achse kann auf den lokalen Wertebereich (Min, Max) ihrer Dimensionen skaliert werden
  = Ordnung der Dimensionen wichtig

Question 16

Was ist der Kontext der Datenvorverbereitung?

Answer 16

Eigenschaften realer Daten:
=> Unvollständig
=> Noisy (ungenaue Daten)
=> riesige Datenmengen
(garbage in garbage out)

Datenverarbeitung  = Techniken zur Verbesserung der Datenqualität
> Datenreinigung/Data Cleaning
> Datenintegration
> Datenreduktion
> Datentransformation

Question 17

Definition Datenqualität?

3 Qualitätskriterien?

Answer 17

= Eignung der Daten für ihren vorgesehenen Zweck (fitness for use)

Qualitätskriterien:
Genauigkeit, Vollständigkeit, Konsistenz

Question 18

Nennen Sie Gründe für schlechte Datenqualität

Answer 18

• keine Validierung im UI
• Virus
• veraltete Daten
• Fehler bei Datenerfassung (Feld zu kurz)
• keine Qualitätsprüfung beim festschreiben der Daten
• nicht gut modellierte Daten/Datenmoell
• Datenkonvertierungsfehler

Question 19

Der Ablauf bei der Datenvorverarbeitung

Answer 19

1. Datenreinigung
   - fehlende Werte einsetzen, Ausreißer löschen, Inkonsistenzen auflösen
2. Datenintegration
   - Vereinigung mehrerer Datenquellen
3. Datenreduktion
   - Dimensionen/Datensätze reduzieren
4. Datentransformation
   - Vereinheitlichung/Übersetzung der Daten

Question 20

Mit welchen Problemen befasst sich die Datenreinigung?

Answer 20

=> Fehlende Attribute/Werte
=> noisy/ungenaue Daten
=> Inkonsistente Daten
=> Data Scrubbing

Question 21

Datenreinigung: Lösungsansatz bei Fehlenden Attributen

Answer 21

> Ignorieren der Instanz z.B. fehlender Zielvariable
Manuelles EInfügen der Werte
Einfügen eines Defaultwerts
Median/Durchschnitt des Attributs einfügen oder der Klasse der Instanz
wahrscheinlcihsten Wert einfügen

Question 22

Datenreinigung: Lösungsansatz “Noisy Daten”

Answer 22

Binning
> Sortierung der Daten udn EInteilung in BIns (gleiche Anzahl an Werten)
> Angleichung der Werte innerhalb der Bins (Durch ersetzen der Attributwerte durch den Bin Durchschnitt, Median)

Clustering
> Erkennen von Löschen und Ausreißern

Question 23

Datenreinigung: Umgang mit inkonsistenten Daten

Answer 23

Sammlung von Informationen zu Daten (Metadaten)
> Datentypen, korrekte Wertebereiche des Attributs
> Überladen von Attributen erkennen
> Überprüfung von Konsistenzregeln

Question 24

Datenreinigung: Data Scrubbing

Answer 24

Normalisierung der Daten
> Groß- u. Kleinschreibung
> Rechtschreibprüüfung
> Ersetzen von Abkürzungen
> Zerlegen von zusammengesetzten Attributen
Konvertierung
> Umrechnen von Einheiten, Währungen

Question 25

Nenne Sie die drei Arten der Datenredukton

Answer 25

Reduzieren der Attribute
> Prinzipal Component Analyse (PCA)
> Attribut Subset Selektion

Datenreduktion
> Ersetzen der Daten durch kleinere Repräsentanten (Clustering, Historgramme)

Datenkomprimierung
> Einsatz verlustfreier Komprimierung bei der Datenspeicherung

Question 26

Definition Datentransformation und mögliche Strategien

Answer 26

= Vereinheitlich/ Übersetzung der Daten

Strategien:
> Glätten der Daten
> Attributerzeugung
> Normalisierung Attributwerte
> Diskretisierung
> Aggregation/Zusammenfassung der Attribute

Question 27

Was ist die Aufgabe der Normalisierung?

Answer 27

> Maßeinheiten beeinflussen das Analyseergebnis
- kleinere Maßeinheiten => größere Unterschiede der Attributwerte => größere Effekte
Vermeiden dieser Unterschiede durch Normalisierung bzw. Standardisierung

Question 28

Definition Standardisierung

Answer 28

Benutzung der Standardabweichung und des Durchschnitts zur Normalisierung
> Insbesondere nützlich, wenn Minimum und Maximum nicht bekannt sind bzw. Ausreißer Minimum und Maximum dominieren

Question 29

Definition Diskretisierung

Answer 29

= Aufteiung von numerischen Attributen in Intervalle
> Verwendung der Intervallbezeichnungen als Attributwert
> Reduzierung Datenmenge
> Vorbereitung für weitere Analyseschritte

Question 30

Nennen Sie Methoden der Diskretisierung

Answer 30

> Binnung (Unterteilung auf einzelne Bins)
Clustering/Decision Tree
Histogramm Analyse

• Einteilung der Wertebereiche in Bins
• Equal-With Histogramm: Ermittlung der Anzahl Instanzen in den gleich breiten Bins
• Equal-Frequence Histogramm: Ermittlung der Breite der Bins bis Anzahl Instanzen erreicht ist

Binning: Zielmenge der Attribute der Größe nach aufsteigend in INtervalle “ Bins” einteilen. Alle Attributwerte werden dann mit den Repräsentanten des Intervalls ersetzt, in dem sich der Wert befindet. Dieser auch interval label genannte Repräsentationswert ist oft etwa der Durchschnitt/Median.
Bsp.: Kategorisierung Alter: 20-29