Regressionsanalyse

Question 1

Regressionsgerade

Answer 1

Question 2

Regressionsgeradengleichung

Answer 2

Question 3

Beispiel Regressionskoeffizient

Answer 3

Question 4

Standardisierter Regressionskoeffizient

Answer 4

• standardisiert man ihn (er heißt dann Beta, β), ist sein Wertebereich auf Werte von -1 bis +1 begrenzt

Question 5

Determinationskoeffizient - Varianzaufklärung: Standardschätzfehler s(e)

Answer 5

• äquivalent dazu kann auch der StandardSchätzfehler s(e)betrachtet werden:
• bei r²=1 wäre der Schätzfehler 0

Question 6

Regressionsgleichung für die multiple Regression

Answer 6

Question 7

Multiple Regression

Answer 7

• analysiert mehr als einen Prädiktor
• identifiziert den relativen (spezifischen) Einfluss einer Reihe von Prädiktoren (X1, X2…) auf das Kriterium
• die Betas sind entweder gleich groß wie oder – und das ist die Regel – kleiner als die rs
• die Varianzaufklärung wird durch den multiplen Determinations-Koeffizienten R² für alle Prädiktoren zusammen angegeben

Question 8

LOWESS-Prozedur (locally weighted scatterplot smoother, manchmal auch LOESS für local regression)

Answer 8

• die Idee: für jeden einzelnen Datenpunkt wird eine lokale Regression durchgeführt (mit einer bestimmten Anzahl von Nachbarpunkten) – der alte Punkt erhält dann eine neue Position direkt auf der Regressionsgeraden
• alle Punkte passen sich nun besser in ihre Nachbarpunkte ein
• es entsteht eine Kurve, die den wahren Zusammenhang zweier Variablen zeigt

Question 9

Zusammenfassung Regression

Answer 9

• die Regression ist eine Vorhersageanalyse: wenn Variablen korrelieren, lässt sich die eine Variable aus der anderen vorhersagen
• die Regressionsgerade repräsentiert alle Datenpunkte so gut wie möglich und dient der Vorhersage von Y aus X
• ihre Steigung wird durch den Regressionskoeffizienten b beschrieben
• die standardisierte Form des Koeffizienten wird Beta oder Beta-Gewicht genannt
• bei mehr als einem Prädiktor (multiple Regression) beschreiben die Betas den relativen Einfluss der Prädiktoren auf das Kriterium
• der Determinationskoeffizient R² quantifiziert die aufgeklärte Varianz des Kriteriums
• die Regression kann der Vorhersage konkreter Werte dienen oder der theoretischen Beschreibung des Zusammenhangs von Variablen
• bei der Logistischen Regression liegt das Kriterium in Kategorien vor
• der Einfluss der Prädiktoren auf das Kriterium wird hier durch die Odds Ratios bestimmt

Question 10

Galtons Entdeckung

Answer 10

Größere Väter haben größere Söhne, aber deren Größe tendiert zum Mittelwert zurück.
Galton nannte dies “Regression zur Mitte”.

Question 11

Grundlage der Regressionsanalyse

Answer 11

Galtons Entdeckung bildet die Grundlage für das Vorhersagen von Variablen aus anderen Variablen.
Das Vorliegen einer Korrelation kann zur Formulierung von Vorhersagen verwendet werden.
Die vorhersagende Variable heißt Prädiktor, die vorherzusagende Variable Kriterium.

Question 12

Regressionsgerade - Definition

Answer 12

Die Regressionsgerade wird verwendet, um Y aus X vorherzusagen.
Die Gerade minimiert den durchschnittlichen Abstand aller Punkte zur Geraden (Quadratsumme der Abweichungen, “kleinste Quadrate”).

Question 13

Vorhersage und Vorhersagefehler

Answer 13

Die Vorhersage von Y gelingt besser, je näher die Punkte an der Regressionsgeraden liegen (hohe Korrelation).
Abweichungen von der Geraden können durch fehlende Korrelation, zusätzliche Variablen oder Messfehler verursacht werden.
Vertikale Abweichungen heißen Residuen; deren Varianz ist die nicht erklärte Varianz in Y.

Question 14

Regressionskoeffizient

Answer 14

Der Regressionskoeffizient
b1 beschreibt die Stärke des Zusammenhangs von X und Y.
Der unstandardisierte Koeffizient ist abhängig von der Skalierung der Variablen.
Standardisiert (β), liegt der Wertebereich zwischen -1 und +1.
Bei einfacher linearer Regression sind β und r identisch.

Question 15

Determinationskoeffizient - Varianzaufklärung

Answer 15

Die aufgeklärte Varianz von Y durch X wird durch den Determinationskoeffizienten r² beschrieben.
r² reicht von 0 bis 1, was einer Varianzaufklärung von 0 bis 100% entspricht.
Bei r²=1 wäre der Schätzfehler 0.

Question 16

Anwendung der Regressionsanalyse

Answer 16

Nicht nur für intervallskalierte Variablen: Auch Unterschiede (Mittelwerte) und Zugehörigkeit zu Gruppen können analysiert werden.
Regressionsanalyse ist ein universelles Werkzeug zur Analyse von Effekten und Varianzaufklärung.

Question 17

Regression und Kausalität

Answer 17

Wie bei der Korrelation kann Kausalität nicht direkt aus der Regression abgeleitet werden.
Die unterstellte Kausalrichtung beeinflusst die Parameter der Regressionsgeraden.

Question 18

Anwendungsfälle der Regression

Answer 18

1. Bestimmung konkreter Werte für Y.
   Beispiel: Therapieerfolg und Therapiestunden.
   Unstandardisiertes b liefert die konkrete Vorhersage.
2. Theoretische Anwendung in der Forschung.
   Fokus auf den theoretischen Zusammenhang.
   Hauptinformationen:
   b, β und r².

Question 19

Multiple Regression

Answer 19

Analysiert den spezifischen Einfluss mehrerer Prädiktoren auf das Kriterium.
Die Betas sind oft kleiner als die rs.
Die Varianzaufklärung wird durch den multiplen Determinationskoeffizienten R² angegeben.

Question 20

Voraussetzungen für (multiple) Regression

Answer 20

Variablen müssen intervallskaliert sein.
Linearität der Zusammenhänge ist sicherzustellen (z.B. durch LO(W)ESS-Line).
Bei Abweichungen von der Linearität können Ergebnisse verzerrt oder unsinnig sein.

Question 21

LOWESS-Prozedur

Answer 21

LOWESS (locally weighted scatterplot smoother): Lokale Regression für jeden Datenpunkt, um eine besser passende Kurve zu erzeugen.
Zeigt den wahren Zusammenhang zwischen zwei Variablen auf.

Question 22

Binär Logistische Regression

Answer 22

Kriterium liegt in Kategorien vor (dichotom/binär).
Ziel: Vorhersage der Wahrscheinlichkeit des Eintretens einer Kategorie.
Ergebnis wird durch das Chancenverhältnis (Odds Ratio, OR) angegeben.

Question 23

Logistische Regression - Interpretation

Answer 23

OR drückt aus, wie eine Veränderung in X die Wahrscheinlichkeit für das Eintreten einer Kategorie beeinflusst.
Wertebereich der OR: 0 bis +unendlich.
Beispiel: OR = 2 bedeutet, dass sich die Wahrscheinlichkeit für das Eintreten von “1” verdoppelt.

Question 24

Logistische Regression - Ergebnis

Answer 24

Odds Ratios und ein Maß für die insgesamt aufgeklärte Varianz des Kriteriums.
Pseudo-R² als Analogon zu
R² bei der linearen Regression.

Question 25

Zusammenfassung der Regressionsanalyse

Answer 25

Regression ist eine Vorhersageanalyse basierend auf Korrelationen.
Regressionsgerade minimiert Abweichungen und dient der Vorhersage.
Steigung der Geraden wird durch den Regressionskoeffizienten
𝑏
b beschrieben.
Multiple Regression analysiert mehrere Prädiktoren.
Logistische Regression analysiert Kategorien und verwendet Odds Ratios zur Interpretation.

Question 26

Regressionsgleichung - Formel

Answer 26

Die Regressionsgerade kann durch die Gleichung Y=b0+b1X beschrieben werden.
b0 ist der Achsenabschnitt (Intercept), der Wert von Y, wenn X = 0 ist.
b1 ist der Regressionskoeffizient (Slope), der die Veränderung in Y pro Einheit von X angibt.

Question 27

Regressionsgerade - Interpretation

Answer 27

Die Regressionsgerade visualisiert die Beziehung zwischen Prädiktor und Kriterium.
Punkte, die auf der Geraden liegen, entsprechen den vorhergesagten Werten von Y.
Abweichungen von der Geraden (Residuen) repräsentieren die nicht erklärte Varianz.

Question 28

Standardschätzfehler

Answer 28

Der Standardschätzfehler (Standard Error of Estimate) ist die Wurzel der Varianz der Residuen.
Er repräsentiert den durchschnittlichen Fehler beim Schätzen von Y.
Ein kleiner Standardschätzfehler deutet auf eine gute Vorhersagequalität hin.

Question 29

Residuen - Bedeutung

Answer 29

Residuen sind die Differenzen zwischen den beobachteten und den vorhergesagten Werten von Y.
Sie zeigen an, wie gut das Modell die Daten beschreibt.
Große Residuen können auf einen schlecht passenden Regressionsansatz oder auf Ausreißer hinweisen.

Question 30

Standardisierte Regressionskoeffizienten (β)

Answer 30

Standardisierte Koeffizienten (β) erlauben den Vergleich der Stärke des Zusammenhangs zwischen Prädiktoren und Kriterium, unabhängig von der Skalierung der Variablen.
Ein β von 0,9 bedeutet, dass eine Erhöhung des Prädiktors um eine Standardabweichung eine Erhöhung des Kriteriums um 0,9 Standardabweichungen bewirkt.

Question 31

Unstandardisierte vs. Standardisierte Koeffizienten

Answer 31

Unterschiede:

Unstandardisierte Koeffizienten (b) sind abhängig von der Maßeinheit der Variablen.
Standardisierte Koeffizienten (β) sind skalenunabhängig und ermöglichen den Vergleich zwischen verschiedenen Prädiktoren.

Question 32

Regressionsanalyse - Voraussetzungen

Answer 32

Linearität der Beziehung zwischen Prädiktor und Kriterium.
Homoskedastizität: Die Varianz der Residuen sollte über alle Werte von X konstant sein.
Normalverteilung der Residuen.
Keine starke Multikollinearität zwischen Prädiktoren bei multipler Regression.

Question 33

Multikollinearität

Answer 33

Multikollinearität tritt auf, wenn Prädiktoren stark miteinander korrelieren.
Sie führt zu instabilen Schätzungen der Regressionskoeffizienten und erschwert die Interpretation der Ergebnisse.
Kann durch die Berechnung des Variance Inflation Factor (VIF) erkannt werden.

Question 34

Variance Inflation Factor (VIF)

Answer 34

Der VIF misst, wie stark die Varianz eines Regressionskoeffizienten aufgrund der Korrelation mit anderen Prädiktoren aufgebläht wird.
Ein VIF-Wert über 10 deutet auf ein ernsthaftes Multikollinearitätsproblem hin.

Question 35

Homoskedastizität vs. Heteroskedastizität

Answer 35

Homoskedastizität: Die Varianz der Residuen ist konstant über alle Werte von X.
Heteroskedastizität: Die Varianz der Residuen variiert, was zu ineffizienten Schätzungen führt.
Heteroskedastizität kann durch visuelle Inspektion der Residuenplots diagnostiziert werden.

Question 36

Regressionsdiagnostik

Answer 36

Überprüfung, ob die Annahmen der Regression erfüllt sind.
Enthält die Analyse von Residuenplots, Identifikation von Ausreißern und die Prüfung auf Multikollinearität.
Diagnostische Tests wie der Durbin-Watson-Test prüfen Autokorrelation in den Residuen.

Question 37

Logistische Regression - Pseudo-R²

Answer 37

Pseudo-R² ist ein Maß für die Varianzaufklärung in der logistischen Regression.
Es ist nicht direkt vergleichbar mit R² der linearen Regression, aber gibt an, wie gut das Modell die Daten erklärt.

Question 38

Odds Ratio (OR) - Interpretation

Answer 38

Ein OR > 1 bedeutet, dass der Prädiktor die Wahrscheinlichkeit für das Eintreten von “1” erhöht.
Ein OR < 1 bedeutet, dass der Prädiktor die Wahrscheinlichkeit für das Eintreten von “1” verringert.
Beispiel: OR = 3 bedeutet, dass die Wahrscheinlichkeit für das Eintreten des Ereignisses dreimal höher ist.

Question 39

Multiple Regression - Interpretation von R²

Answer 39

R² gibt an, wie viel Varianz im Kriterium durch die Prädiktoren zusammen erklärt wird.
In der multiplen Regression zeigt R² , wie gut das Modell mit allen Prädiktoren die Daten erklärt.
Ein höheres R² deutet auf ein besser passendes Modell hin.

Question 40

Regressionsanalyse in der Praxis

Answer 40

Vorhersage von Ergebnissen, wie z.B. Therapieerfolg, basierend auf bestimmten Prädiktoren.
Analyse der Einflussfaktoren in wissenschaftlichen Studien, um Zusammenhänge zu identifizieren und zu quantifizieren.
Verwendung in Wirtschafts-, Sozial- und Gesundheitswissenschaften zur Modellierung von Beziehungen zwischen Variablen.

Question 41

Lineare Regression vs. Logistische Regression

Answer 41

Lineare Regression: Kriterium ist intervallskaliert, Beziehung wird als lineare Gerade dargestellt.
Logistische Regression: Kriterium ist dichotom, Beziehung wird durch eine s-förmige (logistische) Kurve dargestellt.

Question 42

Regressionsanalyse - Interpretation von b und β

Answer 42

b: Zeigt die Veränderung in Y für eine Einheit Veränderung in X, abhängig von der Skalierung der Variablen.

β: Standardisiert, zeigt die Veränderung in Y für eine Standardabweichungseinheit Veränderung in X, unabhängig von der Skalierung.