3b - Validazione e backtesting Flashcards
Qual è la logica del backtesting su VaR?
Valutare un modello VaR significa valutare se la frequenza delle perdite superiori al VaR è coerente con il livello di confidenza.
Attenzione
Valutazioni basate sulla dimensioni delle perdite, per quanto rilevanti, non sono coerenti con la logica sottostante i modelli VaR
Confronto tra VaR parametrico e storico
Il VaR ottenuto con le simulazioni storiche sovrappesa il passato remoto. Inoltre si presenta con una evoluzione stabile interrotta da “salti” perché il percentile dei dati storici corrispondente al livello di confidenza prescelto rimane costante fino a quando:
1. sopraggiunge una perdita più importante
2. una perdita elevata esce dal campione di stima
Come calcoliamo il DeltaV reale?
Digressione dagli argomenti
Come calcolare la DeltaV “reale” da confrontare con il VaR?
- Includendo profitti e perdite legate alle sole posizioni liquidate (risultato economico effettivo)
– contrario alla logica del mark-to-market - Rivalutando il nuovo portafoglio ai nuovi prezzi
– contrario alla logica del modello, che stima il VaR alla fine di una giornata in base alla composizione di quel momento e non “conosce” la composizione del periodo successivo - Rivalutando il “vecchio portafoglio” (settimana, o giorno precedente) ai nuovi prezzi
– coerente con la logica del modello (la perdita potenziale relativa al periodo successivo è calcolata ipotizzando che la composizione del portafoglio resti immutata)
– detta “risultato economico statico” o “static P&L”
Qual è il numero ideale di eccezioni nel VaR?
Dato un livello di confidenza p e un numero N di osservazioni, il numero ideale di eccezioni è pN. (es. se ci sono 100 osservazioni e il livello di confidenza è 5%, allora 5 è il numero ideale di eccezioni)
– Ma qual è il numero massimo di eccezioni coerente con p?
– Qual è il numero minimo di eccezioni non coerente con p?
– Qual è il numero N di osservazioni necessario per trarre conclusioni statisticamente affidabili?
Sono necessari alcuni test inferenziali
* Ipotesi nulla: il numero di eccezioni generate dal modello è
effettivamente p (a meno di un disturbo casuale)
* Se l’ipotesi nulla non è rifiutata,il modello è accurato
Tipi di errore nei test statistici e implicazioni di essi. Inoltre, quale accettiamo di più nel risk management?
- Due tipi di errori
1. primo tipo: rifiutare un modello corretto
2. secondo tipo: accettare un modello scorretto - Riducendo la probabilità di commettere errori del primo tipo, si aumenta la probabilità degli errori del secondo tipo
- Rispetto a questo trade-off, la scelta dipende da quanto “costosi” sono i due tipi di errori
– i costi connessi agli errori del secondo tipo (fidarsi di un modello non corretto) sono ritenuti molto elevati
– nel risk management si tollerano dunque errori del primo tipo abbastanza elevati, attorno al 10%
Approcio di Kupiec: copertura non condizionale
Esempio approccio di Kupiec
In cosa consiste l’Accordo di Basilea?
L’accordo di Basilea sul patrimonio delle banche consente che i requisiti a fronte del rischio di mercato siano calcolati con modelli VaR sviluppati internamente
– semplificando un po’, il requisito corrisponde a k=3 volte la media dei VaR a 10 giorni, al 99% di confidenza, calcolati negli ultimi 60 giorni
Tuttavia, è obbligatorio che la banca assoggetti i propri modelli interni a backtesting
I risultati del backtesting devono essere in linea con il livello di confidenza del modello (pigrego è circa p)
– se non lo sono, il coefficiente k viene incrementato, fino a 4, a seconda del livello di pigreco
– l’incremento è fissato in base alla distribuzione binomiale
Zone del Comitato di Basilea
Test LR (likelihood ratio)
E’ possibile valutare la correttezza del nostro modello mettendo a confronto la binomiale “empirica”, che massimizza la funzione di verosimiglianza per il nostro campione (quella basata sulla frequenza empirica pigreco) e la binomiale teorica (quella vincolata ad avere probabilità p) con un test del likelihood ratio.
Più il LR aumenta più è peggio, e viceversa.
Se H0 (ipotesi nulla) è vera allora LR si distribuisce come una Chi-quadro con un grado di libertà. E a quel punto prendiamo il valore di LR, lo inseriamo nella Chi-quadro e se ci da un valore entro circa il 90% percentile, allora accettiamo il modello VaR. Se va oltre il 90% percentile allora rifiutiamo il modello VaR.
Caratteristiche del test di Kupiec
- Il test di Kupiec richiede un campione composto da un numero elevato di dati (circa 10 anni di dati giornalieri) per poter generare risultati affidabili
- Per questo motivo, la potenza statistica del test è piuttosto bassa
– vi è un’alta probabilità di accettare H0 (“il modello è corretto”) quando invece è vera un’ipotesi alternativa e questa probabilità è tanto maggiore quanto più il valore p dell’ipotesi nulla diminuisce, ossia quanto maggiore è il livello di confidenza del modello VaR oppure quanto più piccola è la dimensione del campione - Inoltre, per piccoli valori di p è più difficile definire le regioni di rifiuto e di accettazione, infatti per livelli di confidenza elevati le eccezioni divengono, a parità di dimensione del campione, eventi più rari
Qual è un limite del test di Kupiec e come lo sorpassiamo?
- Il test di Kupiec si focalizza unicamente sull’abilità di un modello VaR di generare un numero di eccezioni coerente con il relativo livello di confidenza, infatti:
– non considera la distribuzione temporale di tali eccezioni
– un modello che alterna periodi sottostima il numero reale di eccezioni a periodi in cui lo sovrastima è ok - La qualità di un modello è dunque valutata indipendentemente dalla sua capacità di reagire a nuove condizioni di mercato
- Invece, se un modello sa reagire correttamente alle nuove informazioni, la probabilità che si verifichi un’eccezione nel giorno t dovrebbe essere indipendente dal fatto che il giorno precedente (t-1) si sia verificata un’eccezione. Quindi è utile verificare anche l’indipendenza
Logica del test di indipendenza
Stima delle probabilità condizionate nel test di indipendenza
Funzioni di verosimiglianza e rapporto di verosimiglianza per testare l’ipotesi nulla di indipendenza
Nel frame de l test di indipendenza
Se il test ci da valori nella regione di rifiuto, allora c’è correlazione seriale, altrimenti no
Test di copertura condizionale
Per sottoporre a verifica congiuntamente la copertura non condizionale e l’indipendenza, occorre combinare fra loro i due test.
Nella regione di accettazione (il 90%) il modello è coerente (con il numero di eccezioni) e non c’è correlazione.
