Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Angewandte Ökonometrie > Theorie > Flashcards

Theorie Flashcards

1
Q

Zeitreihendaten

A

Zeitreihendaten werden für dasselbe Untersuchungsobjekt zu mehreren Zeitpunkten erhoben.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Autokorrelation

A

Korrelation einer Zeitreihe mit ihren eigenen verzögerten Werten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q
A

Erste Autokorrelation

  • beschreiben die Gemeinseme Verteilung von
    (Yt,Yt-1) in der Population
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q
  • h-te Autocovarianz
  • h-te Autokorrelation
  • h-te empirische Autokorrelation
A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Stationarität

A
  • Die Wahrscheinlichkeitsverteilung einer Zeitreihe ändert sich über die Zeit nicht.
  • Erfordert, dass sich Zukunft und Vergangenheit gleich verhalten.
  • Muster (z.B. längere Auf- oder Abwärtsphasen) sind erlaubt, aber es darf keine systemastische Veränderung des Musters im Laufe der Zeit geben.
  • Variabilität/Ausschläge sind über die Zeit konstant
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Schwache Stationarität

(Bedingungen)

A

Kovarianzstationarität

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Autoregression

A

Regressionsmodell, in dem Yt auf eigene Lags Yt-1, Yt-2,… regressiert wird.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

AR(p)-Prozess

(mit und ohne Backshift-Operator)

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

AR(1)-Prozess

A

→ Die Autokorrelationen klingen exponentiell ab für h gegen unendlich.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Moving Average Prozess

(mit und ohne Backshift-Operator)

A

→ einfaches Zeitreihenmodell

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

MA(1)-Prozess

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

AR(1) als MA(∞)

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

ARMA(p,q) Prozess

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Lag Polynome als Filter

A
  • Wir können Lag Polynome als Filter interpretieren: Angewendet auf eine Zeitreihe, entsteht eine neue Zeitreihe.
  • Transformation einer Zeitreihe mit zwei Lag Polynomen nacheinander ist gleichbedeutend mit der einmaligen Transformation einer Zeitreihe mit dem Lag Polynom, welches das Produkt der beiden ursprünglichen Lag Polynome darstellt.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Inverse eines Filters

A
  • Inverse des Lag Polynoms
  • Im Allgemeinen existiert die Inverse eines Polynoms φ(B) sofern bestimmte Bedingungen für die Parameter erfüllt sind.
    • In diesem Fall ist φ(B) invertierbar.
  • Existiert die Inverse von θ(B) also θ−1(B), lassen sich MA Prozesse als AR(∞) Prozesse formulieren.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Inverse eines Filters

(im AR(1)-Prozess)

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Inverse eines Filters

(im MA(1)-Prozess)

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Redundanz von Parametern

A

Ziel: die Dynamik einer Zeitreihe mit wenigste möglich Parametern zu modellieren

  • ”Sparsamkeit” bei der Modellierung ist wichtig, um Schätzfehler zu minimieren und präzise Prognosen zu erreichen.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Invertierbarkeit von Lag Polynomen

A
  • Modelle mit MA Komponente → MA Lag Polynom muss invertierbar sein.
  • Modelle mit AR Komponente →AR Lag Polynom muss invertierbar sein
    • nur genau dann ist der Prozess stationär
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Überprüfung der Invertierbarkeit von Lag Polynomen

A

φ(z)=1−φ1z−φ2z2…−φpzp =0.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Überprüfung der Invertierbarkeit von Lag Polynomen

AR(1)

A
  • φ(z) = 1− φ1z − φ2z2… − φpzp = 0
  • Das AR Lag Polynom ist invertierbar, wenn die Wurzeln von φ(z) außerhalb des Einheitskreises liegen
    • φ(z) = 0 für |z| > 1
    • Falls |z| = 1 → Prozess nicht stationär
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Stationäre Lösung AR(2) Prozess

A
  • (1 − φ1B − φ2B2)Yt = c + wt
  • Charakteristische Gleichung:
    1 − φ1z − φ2z2 = 0
  • Stationär, wenn:
    • −1 < φ2 <1
    • φ1 + φ2 <1
    • φ2 − φ1 <1
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Invertierbarkeit bei ARMA(p,q) Prozessen

A
  • Ist das MA Lag Polynoms invertierbar, kann der Prozess als AR(∞) geschrieben werden und die Koeffizienten πj bestimmt werden
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

ARIMA(p,d,q) Prozess

A
  • Integrationsgrad I(1) → einmaliges Differenzieren (d=1) reicht aus, um einen stationären Prozess zu erhalten
  • Integrationsgrad I(2)→ d=2 wird benötigt, um einen stationären Prozess zu erhalten
  • Stationär, wenn d=0
  • Überdifferenzieren kann Abhängigkeiten induzieren, wo keine sind
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Dickey Fuller (DF) Test

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Augmented Dickey Fuller (ADF) Test

A

Allgemeiner und erlaubt mehr Lags (p>1)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Testspezifikationen

ADF-Test

A

Drei verschiedene Testspezifikationen sind zu unterscheiden:

  • Ohne Konstante, ohne deterministischen Zeittrend:
    • ∆Yt = δYt−1 +γ1∆Yt−1 +…+γp−1∆Yt−p+1 +wt
      ​
  • Mit Konstante, ohne deterministischen Zeittrend:
    • ∆Yt =c+δYt−1+…+γp−1∆Yt−p+1+wt
    • H1: Y ist stationär um eine Konstante​
  • Mit Konstante, mit deterministischen Zeittrend:
    • ∆Yt =c+ζt+δYt−1+…+γp−1∆Yt−p+1+wt
    • H1: Y ist trendstationär
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Welches Schätzverfahren bei welchem Modell?

A
  1. Momentenmethode
  2. KQ Methode
  3. Maximum Likelihood Methode
  • bei AR Modellen führen alle Modelle asymptotisch zur gleichen Verteilung (konsistent, asymptotisch normalverteilt).
  • Sind MA Terme involviert:
    • Momentenmethode nicht effizient
      • höhere Schätzvarianz)
      • Manchmal erhalten wir keine Lösung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Momentenmethode bei AR Modellen

A

Cov (Yt,Yt−h) =
φ1Cov (Yt−1,Yt−h)+φ2Cov (Yt−2,Yt−h)+Cov (wt,Yt−h)

Yule-Walker Gleichungen bei einem AR(p) Prozess:

γh =φ1γh−1+…+φpγh−p

σ2 =γ0−φ1γ1−…−φpγh−p

Daraus können die Modellparameter φ1, φ2 und σ2 bestimmt werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Momentenmethode bei MA Modellen

A
  • nichtlinear in den Koeffizienten
  • Das Verhältnis der Varianzen zwischen Momentenschätzer und Maximum Likelihood Schätzer in großen Stichproben z.B. θ = 0.5 ist ca. 3.5.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Modellidentifikation

AR(p), MA(q), ARMA(p,q)

anhand ACF und PACF

A
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Partiellen Autokorrelationsfunktion

A
  • X, Y und Z seien Zufallsvariablen.
  • Die partielle Korrelation zwischen X und Y, gegeben Z, erhalten wir durch Regression von X auf Z (um Xˆ zu erhalten) und Regression von Y auf Z (um Yˆ zu erhalten)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Bayes Information Criterion

A
    1. Term: ↑p (# Lags) → bessere Anpassung an die Daten, ↓SSR
    1. Term ↑ mit ↑p (da Strafterm ist)
  • Je kleiner BIC(p), desto besser
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
34
Q

Akaike Information Criterion

A
  • Der ”Strafterm” beim Akaike Kriterium ist geringer als beim Bayes Kriterium (2 < lnT) für T ≥ 8.
  • AIC schätzt eine höhere Ordnung p als BIC.
    • AIC überschätzt p, ist also keine konsistente Schätzfunktion
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
35
Q

Fehlerdiagnosen

A

Ziel:

  • Identifikation und statistische Erfassung von Fehlern
  • weißes Rauschen (keine Stuktur oder Abhängigkeiten) für die Störterme → i.i.d. Annahme
  • Weist die Fehlerdiagnose auf verbliebene Struktur in den Residuen hin, muss man den Prozess der Modellidentifikation neu beginnen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
36
Q

ARMAX Modelle

A
  • nutzt eine oder mehrere exogene Variablen, Xi, um die Zeitreihe zu modellieren
  • Xi müssen stationär sein
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
37
Q

Saisonale ARIMA Modelle

A
38
Q

Verhalten der ACF und PACF in reinen SARMA Prozessen

A
39
Q

Der optimale Prädiktor (optimale Punktprognose)

A
  • ŶT+h|T (die Vorhersage für YT+h zum Zeitpunkt T) ist eine Funktion der Informationsset
  • Der beste Prädiktor ist die bedingte Erwartung von YT+h
  • Kriterium: Minimierung des erwarteten quadrierten Vorhersagefehlers
40
Q

Optimale Prädiktor

AR(1)

A
  • Allgemein: yT+h|T= φhyT
    • der letzte beobachtete Wert yT enthält alle benötigten Informationen, um den Prädiktor zu bestimmen.
  • wenn h groß ist, konvergiert der Prädiktor gegen 0 (unbedingte Erwartung von yT)
41
Q

Optimale Prädiktor

MA(1)

A

nicht informativ für Prognosen mit h>1→ auch an der ACF erkennbar, die nach einem Lag abreißt

42
Q

Optimale Prädiktor

ARMA(p,q)

A
43
Q

Genauigkeit der Prognosen

A
  • Die Genauigkeit nimmt nicht weiter ab, wenn man beim MA(1) mehr als 2 Schritte in die Zukunft prognostiziert
  • Unbedingte Varianz → obere Schranke für die Ungenauigkeit
  • Langfristig klingt also der Informationsgehalt ab und der bedingte Prädiktor konvergiert zum unbedingten Präadiktor (also zum Mittelwert)
44
Q

Evaluation von Prognosen

A
  • Für (pseudo) out-of-sample Prognosen dürfen wir zur Modellspezifikation und Parameterschätzung nur Daten verwenden, die bis zu diesem Zeitpunkt verfügbar gewesen wären.
  • Das Modell mit dem besten in-sample Fit oder dem niedrigsten AIC/BIC Kriterium muss keinesfalls auch out of sample am besten abschneiden!
45
Q

Warum können in-sample Fit und out-of-sample Performance deutlich unterschiedlich sein?

A
  • Schätzfehler der Parameter in endlichen Stichproben (selbst wenn die Modellspezifikation stimmt).
  • Modellunsicherheit (Modellspezifikation stimmt nicht).
  • Datengenerierender Prozess ändert sich über die Zeit (z.B. aufgrund von Strukturbrüchen oder graduellen Veränderungen).
46
Q

Qualitätskriterium von Prognosen

A

Für unverzerrte Prognosen erwarten wir β2 = 1 und β1 = 0.

47
Q

Verlustfunktion/Kostenfunktion

A
  • Funktion, die den Verlust/die Kosten des Handelns basierend auf falschen Prognosen quantifiziert.
  • L(eT+h) ≥ 0 nimmt an, dass der Verlust nicht von yT+h und auch nicht von der Periode selbst abhängt.
  • Oft: symmetrische quadratische Verlustfunktion
    L(eT+h) = eT+h 2
  • Asymmetrische Verlustfunktionen sind auch denkbar
    • z.B. wenn Überschätzung zu gravierenderen Konsequenzen führt als Unterschätzung und umgekehrt.
48
Q

Diebold-Mariano Test

A

Die durchschnittliche Differenz in den Verlustfunktionen der beiden Prognosen vergleichen, um 2 oder mehr Prognosenmodelle zu vergleichen.

  • d muss als Voraussetzung für den Test auf (schwache)
    Stationarität überprüft werden
  • H0: d=0 → gleiche Prognosegenauigkeit
  • d>0, wenn Modell 2 besser aös 1 prognostiziert
49
Q

Volatilitätscluster

A

gilt besonders für hohe Beobachtungsfrequenzen, zum Beispiel täglich oder wöchentlich

50
Q

ARCH-Modellen

A

Konzept der autoregressiven bedingten Heteroskedastizität vor (AutoRegressive Conditional Heteroskedasticity)

  • Die bedingte Varianz des Störterms zum Zeitpunkt t hängt von den quadrierten Störtermen vergangener Perioden ab.
51
Q

ARCH(1)

A
  • Damit σt2 ≥ 0, muss ω ≥ 0 und α ≥ 0.
  • Auf einen (betragsmäßig) großen Schock in Periode t − 1 folgt tendenziell ein (betragsmäßig) hohes εt.
  • Die ARCH(1) Spezifikation impliziert nicht, dass der Prozess für εt nicht-stationär ist.
  • Sie impliziert, dass die quadrierten Werte ε2t und ε2t−1 korreliert sind.
52
Q

ARCH(p)

A
53
Q

Breusch-Pagan Test

A

Damit stellt man (formal) fest, ob die Störterme bedingt heteroskedastisch sind

  • Nullhypothese: Homoskedastizität (α1 = … = αp = 0)
  • Hilfsregression der quadrierten Residuen auf verzögerte quadrierte Residuen und eine Konstante.
  • Teststatistik: T ·R2
  • Unter H0 :T·R2 ∼ χ2(p)
    • Der Test ist nur gültig, wenn die Fehler nicht autokorreliert sind
      • (also Autokorrelation zuerst prüfen).
54
Q

GARCH Modelle

A
55
Q

GARCH(1,1)

A
  • Stationarität erfordert, dass α + β < 1.
  • Falls α + β nur knapp unter 1 ist, impliziert dies, dass die Persistenz in der Volatilität hoch ist.
    ​
  • Falls α + β = 1, erhalten wir das sogenannte IGARCH Modell, in dem Volatilitätsschock einen permanenten Effekt haben.
    • I: Integrated
      ​
  • Das GARCH(1, 1) Modell kann auch als ARCH(∞) Prozess ausgedrückt werden.
    • Da das GARCH(p, q) als ARMA(p, q) für ε2t interpretiert werden kann, kann man die (P)ACF für die quadrierten Residuen anwenden.
56
Q

Leverage-Effekt

A

Asymmetrische Verhalten, in denen gute und schlechte Nachrichten einen unterschiedlichen Effekt auf die zukünftige Volatilität haben.

57
Q

TGARCH-Modell

A

Threshold GARCH (TGARCH)
σt2 =ω+αεt-12 +βσt-12 +ηIt-1εt-12

wobei It−1 = 1, falls εt−1 < 0, und sonst 0 ist.

Falls η > 0, haben negative Schocks eine höhere Auswirkung auf die zukünftige Volatilität als positive Schocks gleichen Ausmaßes.

58
Q

GARCH: Modellschätzung

A
  • Maximum Likelihood Methode
  • Die Parameter θ, ω, α, β werden so gewählt, dass die (Log)-Likelihood maximiert wird.
  • Falls wt nicht normalverteilt ist, kann Maximum Likelihood auch bei inkorrekter Normalverteilungsannahme konsistente Schätzwerte liefern.
    • Die Bedingungen erster Ordnung bei Maximum Likelihood sind auch gültig , wenn wt nicht normalverteilt ist (→Quasi-Maximum-Likelihood).
  • Alternative Verteilungsannahme: t-Verteilung
59
Q

GARCH: Prognosen

A
  • Die Volatilitätsprognosen konvergieren zur unbedingten Varianz σ2 für h → ∞.
  • Die Persistenz der Volatitätsschocks hängt von α + β ab.
60
Q

ML Methoden

A
  • eine vielfältige Sammlung von hochdimensionalen Modellen für statistische Vorhersagen,
  • kombiniert mit “Regularisierungs“-Methoden für die Modellauswahl und die Abschwächung der Überanpassung sowie
  • effiziente Algorithmen für die Suche unter einer großen Anzahl potenzieller Modellspezifikationen.
61
Q

In welchen Bereichen sind ML Methoden stark?

A
  • In großen Datenmengen generalisierbare Muster identifizieren
  • Bei “überwachten” (supervised) ML Methoden geht es um Prognosen: Prognostiziere y gegeben x.
  • Erfolgreiche ML Methoden schaffen es, komplexe und äußerst flexible funktionale Formen f (x) ohne Overfitting an die Daten anzupassen;
    • es werden Funktionen gefunden, die out of sample gut funktionieren.
  • Externe Validität steht im Vordergrund
62
Q

Bias-Varianz Tradeoff

A
  • Wenn die Flexibilität vom Modell ansteigt, steigt typischerweise ihre Varianz und der Bias nimmt ab.
  • Deshalb spricht man bei der Auswahl des Grades an Flexibilität basierend auf dem durchschnittlichen Fehler in den Testdaten vom Bias-Varianz Tradeoff.
63
Q

Tuningparameter

A
  • In allen ML Methoden wird der Grad an Flexibilität/Komplexität durch Hyperparameter (oder auch ”Tuningparameter” genannt) gesteuert.
  • Die Wahl der Hyperparameter ist essenziell und entscheidet über den Erfog/Misserfolg eines Algorithmus!
  • Typischerweise werden Hyperparameter mittels Kreuzvalidierung (cross validation) bestimmt.
64
Q

Cross Validation (CV)

A
  • Wir nutzen Trainingsdaten (in sample), um Schätzungen über die Genauigkeit der Prognosen in den Testdaten (out of sample) zu erhalten.
  1. Splitten das verfügbare Datenset nach dem Zufallsprinzip in zwei Teile auf: ein Trainingsset und ein Validierungsset
  2. Das Modell wird basierend auf den Trainingsdaten angepasst.
  3. Das angepasste Modell wird verwendet, um auf dem Validierungsset zu prognostizieren.
  4. Der resultierende Fehler im Validierungsset liefert eine Schätzung des Fehlers auf den Testdaten.
  • Für Zeitreihendaten ist Cross Validation komplizierter aufgrund der Abh ̈angigkeit der Daten.
65
Q

Shrinkage-Schätzer

(Regularisierung oder penalized regressions)

A
  • die geschätzten Koeffizienten werden im Vergleich zu OLS gegen Null gedrückt
  • Shrinkage verringert die Varianz und kann auch (unter bestimmten Voraussetzungen) zur Variablenselektion verwendet werden
  • Implementierungsvarianten:
    • LASSO
    • Ridge Regression
    • Elastic Net.
66
Q

Ridge Regression

A
  • Im Vergleich zu OLS sind die geschätzten Koeffizienten βR die Werte, die RSS + shrinkage penalty (L2) minimieren.
  • Shrinkage Penalty → λ∑βj<strong>2</strong> ist klein, wenn die Betas nah an Null sind
    • Effekt: drückt die geschätzen Werte von Beta gegen Null
  • Tuningparameter λ dient dazu, die relative Auswirkung der beiden Terme auf die geschätzten Regressionskoeffizienten zu regeln.
    • Einen geeigneten Wert ist erfolgskritisch, dazu verwendet man Cross Validation.
67
Q

LASSO

A
  • Die LASSO Koeffizienten, βL, minimieren RSS+shrinkage penalty (L1)
  • Bei LASSO werden durch den L1 penalty einige der Koeffizienten auf exakt 0 gedrückt, sofern der Tuningparameter λ ausreichend groß ist.
    • Damit führt LASSO Variablenselektion durch.
68
Q

Ridge Regression vs. LASSO

A
  • LASSO führt zu sparse Modellen − das heißt, zu Modellen, die nur einen Teil der Variablen beinhalten (die Koeffizienten der anderen Variablen werden auf exakt 0 gesetzt).
  • Ridge Regression führt zu dense Modellen − das heißt, zu Modellen, in denen die Koeffizienten gegen 0 gedrückt werden, aber nicht exakt auf 0.
    • Somit werden die Variablen nicht komplett aus dem Modell entfernt.
69
Q

Elastische Netze

A
  • Elastische Netze kombinieren Shrinkage und Variablenselektion
  • Die Idee elastischer Netze ist es, das ”Fischernetz so auszudehnen”, dass alle “großen Fische”, also die wichtigen Variablen, eingefangen werden.
70
Q

Baum-basierte Verfahren

A
  • Baum-basierte Verfahren → nicht-linearen Methoden.
  • Baum-basierte Verfahren teilen den Prädiktorenraum in viele einfache Segmente ein.
  • Der Wert in jedem Endknoten ist einfach der Mittelwert, der in das jeweilige Segment passen
71
Q

Baum-basierte Verfahren

(Konstruktion)

A
  • Wir unterteilen den Prädiktorenraum in verschiedene und nicht-überlappende Regionen
  • Für jede Beobachtung, die in die Region fällt, ist die Vorhersage identisch und entspricht dem Mittelwert der vorhergesagten Variablen der Trainingsbeobachtungen in Rj .
  • Das Ziel besteht darin, die Rechtecke so zu bilden, dass die Residuenquadratsume (RSS) minimiert wird
  • Wir splitten nicht den ganzen Prädiktorenraum, sondern nur eine der beiden zuvor identifizierten Regionen.
  • Der Prozess wird solange fortgeführt, bis ein Stopkriterium erreicht wird
    • z.B, bis keine Region mehr als 5 Beobachtungen mehr enthält.
72
Q

Baum-basierte Verfahren

(top-down, ”greedy” Ansatz)

A
  • Es ist unmöglich, jede mögliche Partitionierung des Prädiktorenraums in J Rechtecke durchzugehen.
  • Bekannt als rekursives binäres Splitting.
  • Der Ansatz ist top-down, weil er an der Spitze des Baumes beginnt und dann sukzessive Splits des Prädiktorenraumes durchführt; jeder Split wird durch zwei neue Äste, die nach unten fu ̈hren, angezeigt.
  • Der Ansatz ist ”greedy”, weil der beste Split im Konstruktionsverfahren im jeweiligen Schritt gesucht wird (keine dyamische Optimierung).
73
Q

Pruning von Bäumen

A
  • Das Anpassen großer kann zu Overfitting führen und damit zu schlechter Generalisierbarkeit auf neuen Daten.
  • Ein kleinerer Baum mit weniger Splits könnte zu niedrigerer Varianz und besserer Interpretierbarkeit führen, der Bias wird allerdings bei kleineren Bäumen tendenziell zunehmen.
  • Mögliche Strategie: den Baum nur weiter wachsen zu lassen, solange jeder Split zur Reduzierung der RSS über einem gewissen vorher festgelegten Schwellenwert liegt.
    • Diese Strategie ist allerdings zu kurzsichtig: ein scheinbar nutzloser Split relativ am Anfang kann später einen sehr erfolgreichen späteren Split nach sich ziehen.
  • Cost Complexity Pruning: einen sehr großen Baum T0 wachsen zu lassen und anschließend nicht besonders sinnvolle Verzweigungen (im Sinne der Reduktion der Fehlermetrik) abzuschneiden (pruning), um einen subtree zu erhalten.
74
Q

Wie findet man den besten subtree?

A
  • Der Tuningparameter α regelt den Tradeoff zwichen der Komplexität des subtree und seiner Anpassung an die Trainingsdaten.
  • Wir ermitteln den Wert anhand Cross Validation.
75
Q

Klassifikationsbäume

A
  • Klassifikationsbäume → prognostizierende Variable qualitativ statt quantitativ
  • Jede Beobachtung gehört zur der Klasse, die wir am häufigsten in der Region beobachten, zu der die Beobachtung gehört.
  • RSS kann bei Klassifikationsbäumen nicht als Fehlermetrik verwendet werden.
  • Gini Index oder Maß für node purity − geläufige Fehlermetrik
    • ein kleiner Wert weist darauf hin, dass der Knoten überwiegend Beobachtungen aus einer Klasse enthält.
76
Q

Vor- und Nachteile baumbasierter Verfahren

A

Vorteil:

  • Baum-basierte Verfahren sind einfach, erfassen nicht-lineare Beziehungen zwischen den Prädiktoren und die Ergebnisse lassen sich gut interpretieren.

Nachteil:

  • Nicht gut bei Prognosegenauigkeit
    • Besser: Bagging, Random Forests und Boosting
    • Kombination einer hohen Anzahl an Bäumen resultiert in erheblichen Verbesserungen hinsichtlich der Prognosegenauigkeit, allerdings werden die Ergebnisse schwieriger zu interpretieren.
77
Q

Bootstrap aggregation oder Bagging

A
  • Verfahren zur Reduzierung der Varianz einer statistischen Lernmethode
    • besonders nützlich und beliebt im Kontext von Regressionsbäumen
  • Das Mitteln über ein Set an Beobachtungen reduziert die Varianz.
  • Durch das Bootstrap Verfahren kann man sich künstlich mehrere Trainingsdatensets generieren, indem man wiederholt und mit Zurücklegen aus einem (einzigen) Trainingsdatenset zieht.
    • In diesem Ansatz generieren wir B verschiedene ”bootstrapped” Trainingsdatensets.

Man trainiert die Methode auf dem b-ten ”bootstrapped” Trainingsdatenset, um f∗b(x) zu erhalten. Anschließend bildet man den Durchschnitt über alle B Prognosen

78
Q

Bagging bei Klassifikationsbäumen

A

Für jede Beobachtung halten wir die von jedem der B Bäume prognostizierte Klasse fest, folgen dem Mehrheitsbeschluss (majority vote): die Gesamtprognose ist die unter den B Vorhersagen am häufigsten vorkommende Klasse.

79
Q

Out-of-bag (OOB) Fehlerschätzung

A
  • Ein Schlüsselelement beim Bagging ist, wiederholt Bäume an bootstrapped Subsets der Beobachtungen anzupassen.
  • Ca. 2/3 der Beobachtungen → Anpassung eines einzelnen Baumes
  • restliche 1/3 der Beobachtungen→ out-of-bag (OOB) Beobachtungen
    • Man kann y für die i-te Beobachtung prognostizieren, indem man alle Bäume nutzt, in denen die i-te Beobachtung OOB war.
    • Dieses Vorgehen liefert ca. B/3 Vorhersagen für die i-te Beobachtung.
    • Der Durchschnittswert dieser Prognosen bildet die Gesamtprognose.
80
Q

Random Forests

A
  • Verfeinerung des Bagging Verfahrens
  • Ziel: Die Bäume zu de-korrelieren.
    • reduziert die Varianz, wenn man die Prognosen der einzelnen Bäume aggregiert.
  • Man erzeugt die Bäume auf Basis von bootstrapped Trainingsdatensets.
81
Q

Unterschied zwischen Random Forests und Bagging

A

Bei jedem Split wird eine zufällige Auswahl von m Prädiktoren aus dem Set der kompletten p Prädiktoren erwogen.

82
Q

Effekt von Random Forests

A
  • Effekt: für jeden Split steht eine neue Auswahl an Prädiktoren zur Auswahl.
  • Die Anzahl der Prädiktoren an jedem Split entspricht in etwa der Wurzel der Anzahl der gesamten Prädiktoren
83
Q

Boosting

A
  • Boosting funktioniert ähnlich wie Random Forests, allerdings werden die Bäume hier sequentiell erzeugt, nicht unabhängig voneinander:
    • Jeder Baum wird basierend auf Informationen der vorher erzeugten Bäumeerstellt.
  • Der Boosting-Algorithmus macht es aus, langsam und schrittweise aus den Daten zu lernen.
  • Jeder der angepassten Bäume kann eher klein sein, mit nur wenigen Endknoten.
84
Q

Tuningparameter beim Boosting

A
  • Anzahl der Bäume B. Beim Boosting kann es zu Overfitting kommen, wenn B zu hoch ist.
    • Man nutzt Cross Validation, um B zu bestimmen.
  • Shrinkage-Parameter λ. Dieser Parameter regelt die Lerngeschwindigkeit.
    • Typische Werte sind 0.01 oder 0.001, und der optimale Wert ist problemabhängig.
    • Sehr kleine Werte können sehr hohe Werte von B erfordern, um gute Prognosen zu erzielen.
  • Anzahl der Splits d in jedem Baum, die die Tiefe der Bäume regelt.
    • Oft funktioniert d = 1 gut − in diesem Fall ist jeder Baum nur ein Baumstumpf mit einem einzigen Split, was in einem sogenannten ”additiven” Modell resultiert.
85
Q

Neuronale Netze

A
  • Feed-Forward neuronale Netze: Struktur
    • Links: neuronales Netz ohne verborgene Schicht
    • Rechts: neuronales Netz mit einer verborgenen Schicht (hidden layer)
  • Jedes Signal wird verstärkt oder gedämpft auf Basis eines Parametervektors
    • Signalen gehen von den Prädiktoren aus
    • Die Parametervektoren sind multidimensional und erhalten pro Prädiktor:
      • einen Achsenabschnitt
      • einen Gewichtsparameter
    • Die Anzahl der Einheiten in der Eingabeschicht ist gleich der Dimension der Prädiktoren
86
Q

Neuronale Netze

Deep Learning & Shallow Networks

A
  • Deep learning wird mit einer hohen Anzahl verborgener Schichten assoziiert.
    • Komplexe Architekturen sind erfolgreich in Aufgaben wie Bildverarbeitung.
  • Neuronale Netze mit einer geringen Anzahl an verborgenen Schichten (shallow networks) schneiden in ökonomischen Anwendungen typischerweise besser ab als komplexere Architekturen.
    • Das liegt an der geringen Signal-to-Noise Ratio in ökonomischen Daten.
87
Q

Neuronale Netze

nichtlineare Aktivierungsfunktionen

A
  • Rectified linear unit (ReLU)
  • Sigmoide Aktivierungsfunktion
88
Q

Principal Component Regressions (PCR)

A
  • bekannteste Dimensionsreduktionsmethode
  • Dabei werden die Prädiktoren transformiert und ein lineares Regressionsmodell an die transformierten Variablen angepasst
  • Dimensionsreduktionsverfahren restringieren die geschätzten βj Koeffizienten, indem sie eine bestimmte Struktur annehmen müssen.

PCR ersetzt vielen korrelierte (originale) Prädiktoren mit einer geringeren Anzahl an Principal Components, die die gemeinsame Variation der ursprünglichen Prädiktoren erfassen.

89
Q

PCR Komponente

A

1. Principal Component → Linearkombination der Variablen mit der größten Varianz.

  1. Principal Component → größte Varianz, gegeben dass sie unkorreliert mit der ersten ist.
90
Q

Partial Least Squares (PLS)

A
  • Dimensionsreduktionsmethode, die ein Set von Komponenten, die Linearkombinationen der ursprünglichen Prädiktoren sind, identifiziert und anschließend ein lineares Modell an die M neuen Komponenten anpasst.
  • identifiziert die neuen Komponenten in überwachter Weise (supervised)
    • die zu prognostizierende Variable Y wird verwendet, um neue Komponenten zu identifizieren, die nicht nur die Struktur der ursprünglichen Prädiktoren geeignet zusammenfasst, sondern die zudem Y erklären können.

Angewandte Ökonometrie (1 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions