Linear Regression Flashcards

1
Q

Was ist das Ziel der linearen Regression

A

Das Ziel der linearen Regression ist es, eine lineare Beziehung zwischen Eingabevariablen und einer kontinuierlichen Ausgabevariable zu bestimmen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Wie wird die Methode der kleinsten Quadrate in der linearen Regression eingesetzt

A

Die Methode der kleinsten Quadrate minimiert die Summe der quadrierten Abweichungen zwischen den beobachteten Werten und den durch das Modell vorhergesagten Werten.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was versteht man unter dem Gradientenabstieg in der linearen Regression

A

Der Gradientenabstieg ist ein Optimierungsverfahren, das durch iterative Anpassung der Modellparameter die Verlustfunktion minimiert.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was ist die Designmatrix in der linearen Regression

A

Die Designmatrix ist eine Matrix, die die Eingabedaten in einer strukturierten Form darstellt, wobei jede Zeile einen Datenpunkt und jede Spalte ein Merkmal repräsentiert​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Wie werden die Parameter in der linearen Regression geschützt

A

Die Parameter werden durch Minimierung der Verlustfunktion geschätzt, wobei die Normalgleichung oder Methoden wie der Gradientenabstieg genutzt werden können​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was ist die Normalgleichung und wie wird sie in der linearen Regression verwendet

A

Die Normalgleichung ist eine analytische Lösung zur Bestimmung der Parameter des linearen Modells, indem sie das System der linearen Gleichungen direkt löst​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was ist der Hauptunterschied zwischen dem Batch-Gradientenabstieg und dem stochastischen Gradientenabstieg

A

Der Batch-Gradientenabstieg aktualisiert die Parameter nach Betrachtung aller Datenpunkte, während der stochastische Gradientenabstieg nach jedem einzelnen Datenpunkt aktualisiert​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wie beeinflusst der Lernratenparameter den Prozess des Gradientenabstiegs

A

Der Lernratenparameter α bestimmt die Schrittgröße bei der Aktualisierung der Parameter und beeinflusst die Konvergenzgeschwindigkeit des Algorithmus​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was sind Residuen in der linearen Regression

A

Residuen sind die Differenzen zwischen den beobachteten Werten und den vom Modell vorhergesagten Werten​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wie funktioniert die Residuenquadratsumme (RSS) als Verlustfunktion in der linearen Regression

A

Die Residuenquadratsumme misst die Summe der quadrierten Differenzen zwischen den vorhergesagten und den tatsächlichen Werten und wird zur Beurteilung der Modellgüte verwendet​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was versteht man unter Überanpassung (Overfitting) in der linearen Regression und wie kann man es vermeiden

A

Überanpassung tritt auf, wenn das Modell zu stark an die Trainingsdaten angepasst ist und bei neuen Daten schlecht generalisiert; vermeidbar durch Regularisierung oder Validierung​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wie trägt die Lernrate zur Effizienz des Gradientenabstiegs bei

A

Eine angemessene Lernrate α hilft, die Konvergenz zu optimieren, indem sie zu große oder zu kleine Schritte im Optimierungsprozess verhindert​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wie wird die Leistung eines linearen Regressionsmodells bewertet

A

Die Leistung wird oft durch den mittleren quadratischen Fehler (Mean Squared Error, MSE) oder den Bestimmtheitsmaß (R²) bewertet​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Welche Rolle spielt die Feature-Selektion in der linearen Regression

A

Die Auswahl relevanter Merkmale verbessert die Modellgenauigkeit und verhindert Überanpassung​​.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was ist die Bedeutung von Multikollinearität in der linearen Regression

A

Multikollinearität beschreibt eine Situation, in der mindestens ein Prädiktor durch einen oder mehrere andere Prädiktoren im Wesentlichen vorhergesagt werden kann.

Problem - Führt zu höheren Standardfehlern, erschwert die Suche nach signifikanten Effekten, weniger verlässlich

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Wie wirkt sich die Heteroskedastizität auf lineare Regressionsmodelle aus

A

Heteroskedastizität, bei der die Varianz der Residuen nicht konstant ist, kann zu ineffizienten Schätzungen und irreführenden Inferenzstatistiken führen​​.

17
Q

Was ist der Unterschied zwischen einfacher und multipler linearer Regression

A

Einfache lineare Regression verwendet einen Prädiktor, während multiple lineare Regression mehrere Prädiktoren zur Vorhersage der Zielvariable verwendet​​.

18
Q

Wie kann Regularisierung in der linearen Regression Overfitting entgegenwirken

A

Regularisierung, wie L1 (Lasso) oder L2 (Ridge), fügt der Verlustfunktion einen Strafterm hinzu, der die Komplexität des Modells reduziert und Overfitting verhindert​​.

19
Q

Was ist der VIF (Variance Inflation Factor) und wie wird er in der linearen Regression verwendet

A

Der VIF misst, wie viel die Varianz eines Regressionskoeffizienten durch Kollinearität erhöht wird, und hilft, problematische Variablen zu identifizieren​​.

20
Q

Was ist der Zweck der Kreuzvalidierung in der linearen Regression

A

Die Kreuzvalidierung wird verwendet, um die Generalisierungsfähigkeit des Modells zu bewerten, indem es auf verschiedenen Teilmengen der Daten trainiert und getestet wird​​.

21
Q

Wie beeinflussen Ausreißer die lineare Regression

A

Ausreißer können die Schätzungen der Regressionskoeffizienten verzerren und die Genauigkeit des Modells verringern​​.

22
Q

Wie wird die lineare Regression in der Zeitreihenanalyse verwendet

A

In der Zeitreihenanalyse wird die lineare Regression eingesetzt, um Trends zu identifizieren und zukünftige Werte basierend auf vergangenen Daten vorherzusagen​​.

23
Q

Was versteht man unter dem Autokorrelationsproblem in der linearen Regression

A

Autokorrelation tritt auf, wenn die Residuen nicht unabhängig sind, was zu irreführenden Standardfehlern und Signifikanztests führen kann​​.