12 Multiple Regression Flashcards

1
Q

Ziel 1 von multipler Regression

(Ziel, wann Z sinnvoll, 2 Erweiterungen, welche Z ins Modell)

A

Ziel 1: adjustierte Assoziationen zu berechnen: Z von X abkoppeln
- nur sinnvoll, wenn Kontrollvariable für alle x gleich möglich (z.B. compliance nicht in Kontrollgruppe möglich!)

–> kausale Erweiterung: nach mehr Z adjustieren (backdoor!)
–> Mechanismus Erweiterung: nach Mediator (zeitl. zw. X und Y) adjustieren

!! immer alle Z ins Modell mit reinnehmen, nicht nur signifikante (keine Variablenselektion, sonst Effektüberschätzung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Stichprobengröße

(Anzahl, Bsp, Ausweg)

A

mind. 20 Beobachtungen pro Parameter

Bsp: x, 5 Z-Variablen, intercept = 7 Parameter –> 140 Beob.

Ausweg: Regularisierungsverfahren (berechnen z.B. Effektgröße mit ein)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Ziel 2 von multipler Regression

(Ziel, 2, 3 simple Methoden, 3 Alternativverfahren)

A

Modellbildung, bestmögliche Y-Vorhersage

  • welche Variablen sagen Y vorher, welche sind am wichtigsten?
  • alle Kovariablen x gleichberechtigt
  • simple Methoden:
    Rückwärtsselektion (größtes p in jedem Schritt rauslassen, + bessere Modelle, - große Stichprobe nötig)
    Vorwärtsselektion (ohne x beginnen, +1 x mit kleinem p-Wert)
    kombinierte R-V-Selektion (wie R, aber bereits entfernte x dürfen wieder rein)

Alternativverfahren:
- LASSO/ridge regression/elastic net regression (nimmt an, dass Summe aller beta bestimmten Wert nicht überschreitet –> stabilisiert Schätzung; tuning parameter mit Kreuzvalidierung bestimmen)
- support vector machines (bei hochdimensionalem x & kategorialen Y)
- random forests/”ensemble method” (viele Modelle + diese averagen –> durchschnittliches Y berechnen)

–> big data Methoden nur zur Vorhersage; kausale Modelle noch in Arbeit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Overfitting

(Def., zuviele beta, Modellgüte-Kriterium)

A
  • Modell überangepasst zu Datensatz, passt schlechter zu anderen Daten
  • zuviele beta Parameter in Modell –> großer Zufallsfehler –> nicht replizierbar
  • Kriterium für Modellgüte: wie groß ist mean squared error (MSE)?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Erklärungswert vs. Modellgüte

(R^2, Modellpassung überprüfen: 1(2) + 1(2-)

A
  • R^2 quantifiziert Erklärungswert, NICHT Modellpassung/-güte
  • Modellpassung überprüfen
    a) Residuenplots
    1. Streudiagramm: vorhergesagte Werte/Y gegen Residuen plotten: bei zufälliger Streuung passt Modell gut
    2. Kerndichteschätzung der Residuen –> Verteilung von Gruppen per Auge vergleichen
    b) statistische Tests - Nachteile: von Stichprobengröße abhängig
  • größere Abweichungen in kleinen Stichproben signifikant
  • kleinere Abweichungen in größeren Stichproben signifikant
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Schlechte Modellpassung heilen

(3, !! bei Interaktionsterm)

A
  1. x-Variablen anders spezifizieren, z.B. + Interaktionsterme, + quadrat./kubische Terme
  2. Y anders spezifizieren, z.B. multiplikativer statt additiver Unterschied –> GLM!
  3. Y transformieren, sodass eher normalverteilt

!! Interaktionsterm im Modell: Vorsicht bei Interpretation, dies sind KEINE Haupteffekte für alle Probanden, sondern jeweils nur wenn andere Gruppe/Kondition = 0

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Erklärungswert bei logistischer Regression (2)

A

AUC verwenden, statt “pseudo R^2” –> führt oft zu Missverständnis weil kleine Zahl trotz großem Erklärungswert

(AUC - 0.5) * 2 –> liegt zwischen 0 & 1

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Konflikt bei Modellbildung

A
  • je mehr Voranalysen, umso besser Passung
  • je mehr Voranalysen, umso mehr Variation und evtl. p-hacking MIssbrauch (Modell mit gewünschtem Ergebnis wählen)

–> Modelle wie geplant anwenden, dann EXPLORATIV weitere ausprobieren und evtl. für Zukunft vorschlagen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Fragestellung in Modell übersetzen

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly