Ausgleichsrechnung

Question 1

Was sind überbestimmte LGS

Answer 1

Es gibt mehr Gleichungen als gesuchte Variablen

Question 2

Was ist da Problem wenn man ein überbestimmtes LGS im Gleitkommazahlen lösen möchte

Answer 2

Wegen der unweigerlich auftretenden Messungenauigkeiten und -fehler in der Praxis kann man dann das LGS nicht genau Lösen.

Question 3

Was kann man tun wenn man für ein überbestimmtes LGS keine Lösung hat?

Answer 3

Man kann das Resiuum r = Ax - b betrachten und x so wählen, dass das Residuum bzgl. einer geeigneten Norm (wir nehmen die Länge des Residumms) möglichst klein wird

Question 4

Wie sollte das Residuum zu den Spaltenvektoren von A stehen?

Answer 4

Das Residuum sollte senkrecht auf jedem Spaltenvektor stehen, denn nehmen wir an r stünde nicht senkrecht auf dem Spaltenvektor. Dann könnte man sich entlang des Spaltenvektors bewegen um die Länge von r zu minimieren.

Question 5

Was kriegen wird aus der Erkenntniss, dass das Residuum auf jedem Spaltenvektor senkrecht sein muss?

Answer 5

Es gilt für alle Spaltenvektoren a_i: a_i^T * r = 0. Daher kriegen wir:

Question 6

Was ist die Normalengleichung?

Answer 6

Question 7

Wie können wir mithilfe der Normalengleichung x berechnen?

Answer 7

Question 8

Projektionsmatrix P

Answer 8

Question 9

Was will man bei der Linearen Regression?

Answer 9

Bei der Linearen Regression hat man Parameterstellen x_i und dazu Messdaten y_i. Diese will man durch eine Funktion f darstellen, die also von den Parameterstellen x auf die Messdaten y abbildet. Bei der Linearen Regression soll f eine lineare Funktion sein. Da es beim Messen von Daten zum Rauschen, beim Rechnen oder durch vereinfachte Modellannahmen zu kleinen Fehler führt, werden nicht alle Messungen nicht alle eine gemeinsame Funktion erfüllen.

Question 10

Was ist die Idee wie man die Lineare Regression lössen möchte.

Answer 10

Mann möchte die Lineare Funktion f wieder durch die Lösung der Normalengleichung errechnen

Question 11

Was ist die Normlengleichung für die Lineare Regression?

Answer 11

Question 12

Wann ist die Normalengleichung lösbar

Answer 12

Die Systemmatrix A^T * A ist quadratisch. Das LGS ist also lösbar wenn A^T * A vollen Rang hat.

Question 13

Wann ist eine Matrix positiv semidefinit (PSD)

Answer 13

Wenn gilt: (x^T)Ax >= 0. Damit mein man das die quaratische Funktion für jede Wahl x nur nicht-negative Werte annehmen kann.

Question 14

Wann ist eine Matrix positiv definit (PD)

Answer 14

Wenn gilt: (x^T)Ax > 0 für alle x != 0

Question 15

Ist (A^T)A eine PSD-Matrix?

Answer 15

Ja

Question 16

Wann ist A^T A regulär (also invertierbar)

Answer 16

Wenn A vollen Spaltenrang hat

Question 17

Was ist der Kern einer Matrix

Answer 17

Alle Vektoren x, die folgende Gleichung erfüllen:
Ax = 0

Question 18

Was gilt für Elemente x aus dem Kern von (A^T)*A

Answer 18

x ist auch im Kern von A

Question 19

Welche Eigenschaft muss für die Spalten von (A^T) * A gelten damit die Matrix Invertierbar ist

Answer 19

Die spalten von A müssenlinear unabhängig sein.

Question 20

Wie können wir die lineare Unabhängigkeit der Spalten von A meist erreichen?

Answer 20

Indem wir weitere Messungen hinzufügen.

Question 21

Wovon können wir für (A^T)*A ausgehen, weil wir die Spalten von A durch hinzufügen weiterer Messdaten linear Unabhängig machen können

Answer 21

• Das (A^T)*A invertierbar ist.
• Das (A^T)*A eine symmetrische PD Matrix ist.

Question 22

P(S)D Matrizen und löschen von Zeilen/Spalten

Answer 22

Wenn man bei einer P(S)D Matrix Zeilen/Spalten löscht, ist die resultierende Matrix auch eine P(S)D Matrix.

Question 23

Was gilt für die Diagonalelemente einer PD Matrix

Answer 23

Die Diagonalelemente sind > 0

Question 24

Was gilt für die Diagonalelemente einer PSD Matrix

Answer 24

Die Diagonalelemente sind >= 0

Question 25

A und B sind PD-Matrizen. Was gilt für die Addition der beiden Matrizen

Answer 25

sA + tB für s,t > 0 ist wiederum eine PD-Matrix

Question 26

A und B sind PSD-Matrizen. Was gilt für die Addition der beiden Matrizen

Answer 26

sA + tB für s,t >= 0 ist wiederum eine PSD-Matrix

Question 27

Was gilt für die Determinante von PD-Matrizen

Answer 27

Die Determinante ist positiv

Question 28

Was gilt für die Determinante von PSD-Matrizen

Answer 28

Die Determinante ist >= 0

Question 29

Wie macht man aus einer PSD Matrix eine PD-Matrix

Answer 29

sA + tB für s,t > 0 ist eine PD -Matrix, wenn A eine PSD und B ein PD Matrix ist. Durch Addition eines kleinen postiven Vielfachen der (PD) Indentitätsmatrix wird aud der PSD-Matrix A eine PD Matrix. Dieser Vorgang wird manchmal Regularisierung genannt.

Question 30

Idee der Choleskly-Zerlegung

Answer 30

Mann kann eine symmetrische PD Matrix B schreiben als L*(L^T), wobei L eine untere Dreiecksmatrix ist. Die Cholesky-Zerlegung berechnet also aus B das L

Question 31

Cholesky-Zerlegung: Diagonalelemente von L berechnen

Answer 31

Question 32

Cholesky-Zerlegung: nicht Diagonalelemente von L berechnen

Answer 32

Question 33

Cholesky-Zerlegung: Vorgehen

Answer 33

Man an den linken oberen Wert der L Matrix zu berechnen und arbeitet sich dann von Zeile zu Zeile und von Spalte zu Spalte. Dabei berechnet man zuerst die Elemente bis zum Diagonalelemente, dann das Diagonalelement und dann macht man mit der nächsten Zeile weiter

Question 34

Wie löst man das Gleichungssystem nach der Cholesky-Zerlegung

Answer 34

Für gut konditionierte Matrizen wird keine Pivotisierung benötigt

Question 35

Was ist der wesentliche Vorteil der Cholesky-Zerlegung mit anschließendem Einsetzen gegenüber der Gaußelimination?

Answer 35

Das Verfahren benötig nur etwa halb so viele Operation, ist also wesentlich schneller.

Das man auf Pivotisierung verzichten kann, erlaubt entweder eine einfache Implementierung oder den möglichen Zeilentausch für andere Optimierungen zu nutzen

Question 36

Welche Eigenschaften muss eine Matrix A haben, damit man die Cholesky-Zerlegung anwenden kann?

Answer 36

Sie muss positiv semidefinit sein und symmetrisch

Question 37

Wie kann man überprüfen ob eine symmetrische Matrix positiv definit ist.

Answer 37

In dem man die Cholesky-Zerlegung anwendet. Falls die Berechnung nicht fehlgeschlagen ist und L keine Null auf der Diagonalen hat, ist A postiv definit.