VL 4 - Multiple Regression II Flashcards
Ist der Determinationskoeffizient (R²) in der Stichprobe ein erwartungstreuer Schätzer des der Population?
Nein
–> R² überschätzt P² (rho)
Was prüft der F-Test zur Signifikanzprüfung von R² in der MR?
Liefern die Prädiktoren (zusammen) einen signifikanten Beitrag zur Vorhersage des Kriteriums?
Was ist die H0 vom F-Test zur Signifikanzprüfung von R² in der MR?
- Determinationskoeffizient d. Population (P²) = 0
ODER
- Alle Regressionsgewichte = 0
Ist das Regressionsgewicht in der Stichprobe ein erwartungstreuer
Schätzer des Regressionsgewichtes in der Population? (MR)
Ja
Was wird beim Signifikanztest für die einzelnen Regressionskoeffizienten bj geprüft? (MR)
ob / welches der Regressionsgewichte sich von Null unterscheiden
Der F-Test zur inkrementellen Validität eines Prädiktors ist mathematisch äquivalent zum …
t-Test auf Signifikanz des Regressionskoeffizienten dieses
Prädiktors (MR)
Was ist das Inkrement/Nützlichkeit eines Prädiktors?
“Wieviel Varianz erklärt ein Prädiktor zusätzlich zu allen anderen Prädiktoren?“
Wie verhält sich das Konfidenzintervall (CI) der Regressionsgeraden?
ist schmaler in der Mitte und breiter an den Rändern
Warum kann R² als eine Effektgröße verwendet werden?
weil es ein standardisiertes Maß ist
Was ist die Teststärke/Power?
- Wahrscheinlichkeit, einen Effekt aufzudecken, den es tatsächlich gibt
- Wahrscheinlichkeit für ein signifikantes Ergebnis, wenn die H0 tatsächlich nicht gilt
Was beeinflusst die Teststärke/Power? (3)
- Effektgröße (vorgegeben)
- Signifikanzniveau (meist 5 %)
- Stichprobengröße (kann von uns beeinflusst werden)
Was muss ich alles festlegen um in einer a-priori Poweranalyse mir die optimalen Stichprobegröße berechnen zu lassen (benötigte Parameter)? (4)
- Signifikanzniveau (alpha)
- Power (1 - b)
- Erwarteter Determinationskoeffizient (R² bzw. f², Effektgröße)
- Anzahl der Prädiktoren
Was ist die theoriegeleitete Auswahl an Prädiktoren?
Alle Variablen werden in die Regressionsgleichung aufgenommen, von denen man aus theoretischen Überlegungen einen Beitrag erwartet
–> Reihenfolge hängt von Fragestellung ab
–> oft blockweise aufgenommen (hierarchische Regression)
Was sind die Ziele der datengesteuerten Variablenauswahl (2)?
- Maximierung d. Varianzaufklärung
- Sparsamkeit
Was sind die 3 Strategien d. datengesteuerten Auswahl?
- Vorwärtsselektion
- Rückwärtselimination
- schrittweise Regression (= Kombination von Vorwärtsselektion und Rückwärtselimination)
Gelangen die 3 Strategien d. datengesteuerten Auswahl zur selben Variablenauswahl?
optimalerweise ja, aber in kleinen Stichproben können sich die Ergebnisse unterscheiden
Was passiert bei der Vorwärtsselektion?
- alle potentiellen Prädiktoren werden spezifiziert
- dann wird schrittweise immer diejenige Variable in das Modell aufgenommen, die das größte Inkrement zeigt.
- solange, bis weitere Prädiktoren nicht mehr signifikant sind
Was passiert bei der Rückwärtselimination?
- alle Prädiktoren werden in das Modell aufgenommen
- dann wird schrittweise immer diejenige Variable aus dem Modell entfernt, die das geringste und nicht-signifikante Dekrement zeigt.
- solange, bis nur noch signifikante Prädiktoren verbleiben
Was passiert bei der schrittweisen Regression?
- Während einer Vorwärtsselektion wird nach jedem Schritt überprüft, ob ein Prädiktor nicht-signifikant geworden ist
- Dieser wird dann entfernt.
- Solange, bis kein Prädiktor mehr aufgenommen werden kann, der noch einen zusätzlichen Beitrag leistet und kein nicht-signifikanter Prädiktor im Modell ist
Was ist das Ziel der theoriegeleiteten Auswahl?
Test von theoretischen Modellen
Welches Risiko besteht bei der theoriegeleiteten Auswahl?
Overfitting (Aufnahme statistisch irrelevanter Prädiktoren)
Wie ist die Effizienz d. theoriegeleiteten Auswahl?
Weniger effiziente Vorhersage von
Merkmalen
Welche Methode d. Auswahl von Prädiktoren wird bei der Überprüfung von Zusammenhangs-Hypothesen bevorzugt?
theoriegeleitete Auswahl
Welches Risiko besteht bei der datengesteuerten Auswahl? (2)
- Capitalizing on Chance (Auswahl wird von Stichprobenfehlern beeinflusst)
- Underfitting (Ausschluss theoretisch relevanter Prädiktoren)
Was ist die Kreuzvalidierung eines Modells?
Ein Modell, das an einer Stichprobe entwickelt wurde, wird bei einer anderen Stichprobe eingesetzt
Was sind 3 Modellannahmen/ Voraussetzungen des Signifikanztests der EINFACHEN Regression?
- Homoskedastizität
- Normalverteilte Residuen
- Unabhängigkeit der Fehler
Was sind 5 Voraussetzungen der multiplen Regression?
- Korrekte Spezifikation des Modells
- Messfehlerfreiheit der UVs (perfekte Reliabilität)
- Normalverteilung der Residuen
- Homoskedastizität (Varianzgleichheit)
- Unabhängigkeit der Residuen
Wie überprüft man die Voraussetzung d. korrekten Spezifikation d. Modells (MR)? (3 Möglichkeiten)
- Bivariate Streudiagramme
- Residuendiagramme
- LOWESS-Anpassungslinie
Wozu kann underfitting (=Auslassen wichtiger Prädiktoren) führen?
kann insgesamt zu falscher Interpretation der Ergebnisse führen
Wozu führt Overfitting (=Aufnahme irrelevanter Prädiktoren)? (2)
- verzerrte Schätzung der Regressionsgewichte
- Prognosefehler und Kreuzvalidierungsfehler werden mit
zunehmender Anzahl irrelevanter Prädiktoren größer
Wie vermeidet man overfitting?
durch Signifikanzprüfung der Prädiktoren und Elimination irrelevanter Prädiktoren
Was sind Konsequenzen von inkorrekter Modellspezifikation?
- Verzerrte Schätzung der Regressionskoeffizienten
- Verzerrte Schätzung der Standardfehler
-> möglicherweise verringerte Teststärke
Wie lässt sich die Größe des Messfehlers der UVs (Prädiktoren) bestimmen?
Reliabilität
Was sind zwei Möglichkeiten die Messfehlerfreiheit der UVs zu gewährleisten?
- möglichst reliable Skalen auswählen
- nicht zu wenige Items verwenden (Reliabilität steigt mit Anzahl an Items)
Was sind Konsequenzen von der Verletzung d. Voraussetzung d. Messfehlerfreiheit der UVs?
- Verzerrte Schätzung der Regressionskoeffizienten
- Verzerrte Schätzung der Standardfehler
Was sind Konsequenzen von der Verletzung d. Voraussetzung d. Normalverteilung d. Residuen?
korrekte Schätzung der Regressionsgleichung ABER falsche Schätzung der Standardfehler bei kleinen Stichproben
Worauf kann die Verletzung d. Voraussetzung d. Normalverteilung d. Residuen auch hinweisen?
Fehlspezifikation d. Modells
Wie prüft man die Voraussetzung d. Normalverteilung d. Residuen? (3)
- Histogramm der Residuen
- PP-Plot
- QQ-Plot
Was bedeutet Homoskedastizität?
= gleiche Varianzen der AV für alle Ausprägungen der Prädiktoren
= gleiche Varianzen der Residuen für alle Ausprägungen der Prädiktoren
Was sind Konsequenzen von der Verletzung d. Voraussetzung d. Homoskedastizität?
korrekte Schätzung der Regressionsgleichung ABER falsche Schätzung der Standardfehler
Wie prüft man die Voraussetzung d. Homoskedastizität?
Residuenplot
Wobei hilft das Anschauen des Residuenplots?
- hilft bei der Entdeckung von Fehlspezifikationen des Modells
- hilft bei der Entdeckung von Heteroskedastizität
Worauf weist ein trichterförmiger Verlauf d. Residuenplots hin?
Heteroskedastizität
Worauf weist eine bestimmte Gestalt d. Residuenplots hin?
Fehlspezifikation des Modells
Was sind Konsequenzen von der Verletzung d. Voraussetzung d. Unabhängigkeit d. Residuen?
korrekter Schätzung der Regressionsgleichung, ABER (deutliche) Unterschätzung der Standardfehler
Wann ist die Voraussetzung d. Unabhängigkeit d. Residuen verletzt?
wenn sich bestimmte Werte der AV/ Residuen systematisch ähnlicher sind als andere
–> bei mehrstufiger Stichprobenauswahl (Klumpenstichprobe)
–> bei serieller Abhängigkeit (Daten im Zeitverlauf)
Was schafft Abhilfe bei abhängigen Residuen?
Gründe für Abhängigkeit ins Modell aufnehmen (Zeitreihenanalysen, Mehrebenenmodelle)
Definition: Multikollinearität
Hohe multiple Korrelation zwischen einem Prädiktor und den anderen Prädiktoren
Wozu führt Multikollinearität?
verzerrte Schätzung des Regressionsgewichtes (großer Standardfehler)
Wann tritt sehr hohe Multikollinearität auf? (3)
- wenn ein Prädiktor in die Berechnung eines anderen eingeht (Interaktionseffekt (Moderator); nicht-lineare Effekte)
- wenn mehrere Indikatoren eines Konstrukts o. zweier sehr ähnlicher Konstrukte als UVs verwendet werden
- wenn ein ähnliches o. das gleiche Maß zu mehreren Messzeitpunkten erhoben und alle als UVs verwendet werden
Wie wird der Toleranzfaktor (TOL) berechnet?
1 - R²
Was bedeutet TOL = 0 und TOL = 1?
- 0 (R²=1) –> exakte Multikollinearität
- 1 (R²=0) –> Prädiktor Xj mit anderen Prädiktoren unkorreliert
Was sind zwei Wege Multikollinearität zu bestimmen?
- Toleranzfaktor
- Varianzinflations-Faktor (VIF)
Wie wird der Varianzinflations-Faktor (VIF) berechnet?
1/TOL
Ab welchem VIF besteht (sehr) hohe Multikollinearität?
- VIF > 10 sehr hohe Multikollinearität
- VIF > 5 hohe Multikollinearität
Was sind 4 Möglichkeiten der Reduktion von Multikollinearität?
- Zentrierung
- Eliminierung von Prädiktoren
- Aggregation
- Faktorenanalytische Reduktion
Ab welchem TOL-Faktor gibt es eine (sehr) hohe Multikollinearität?
TOL < .20 / .10
