2.16 Predictie modellen

Question 1

Wat is het verschil tussen verklarend en voorspellend onderzoek?

Answer 1

Verklaren
* Onderzoeken van de ‘causale’ relatie tussen een specifieke prognostische factor (centrale determinant waarin je geinteresseerd bent) en de uitkomst

Voorspellen
* Identificeren van de (combinatie van) prognostische factoren die zo goed mogelijk de uitkomst voorspellen

Question 2

Wat zijn mogelijke voorspellers in prognostisch onderzoek?

Answer 2

• Kenmerken van individu;
• vastgesteld bij voormeting (eenmalig?);
• geassocieerd met de uitkomst

Question 3

Wat zijn mogelijk uitkomsten in prognostisch onderzoek?

Answer 3

1. Incidentie van klacht of ziekte (etiologie)
2. Aanwezigheid van ziekte (diagnose)
3. Beloop van klacht of ziekte (prognose)

Question 4

Waarom is prognostisch onderzoek van belang? / Wat zijn mogelijke beweegredenen voor het uitvoeren van dergelijk onderzoek?

Answer 4

1. Inschatten prognose
   Geeft info over de kans of duur van de ziekte
2. Prognostische stratificatie
   Bijvoorbeeld indeling o.b.v. hoog/ laag risico
3. Beslissingen betreffende behandeling
   Wel/ niet behandelen of ‘targeting treatment’ voor bepaalde patiënten(groepen)

Question 5

Welke stappen worden er doorlopen bij het ontwikkelen van een predictiemodel?

Answer 5

1) Selecteren cohort van patiënten met een bepaalde klacht of ziekte (bij voorkeur vroeg in het beloop / inceptiecohort)
2) Baseline meting van prognostische factoren
3) Selectie variabelen en bouwen model
3) Follow-up deelnemers en uitkomstmeting
4) Vaststellen prestaties (calibratie en discriminatie)
5) Prestaties testen in externe setting (externe validiteit)
6) Onderzoek naar relevantie en impact

Bij een inceptiecohort worden deelnemers gerekruteerd op het moment dat ze een bepaalde ziekte of aandoening ontwikkelen, of wanneer ze beginnen met blootstelling aan een risicofactor.

Question 6

Wat zijn belangrijke uitgangspunten van een predictiemodel?

Answer 6

• Combinatie van ‘beste’ predictoren
• Een zo klein mogelijk aantal predictoren (parsimonious)
• Moet gemakkelijk toepasbaar zijn in de praktijk
• Voorspelling moet accuraat zijn
• Generaliseerbaarheid (externe validatie)

Question 7

Hoe worden potentiële predictoren vastgesteld?

Answer 7

Op basis van:
- Klinische expertise
- Literatuur

Bij een groot aantal mogelijke predictoren kan er een voorselectie gedaan worden middels univariatie analyse of slectie in ‘blocks’

Question 8

Wat zijn twee methoden van analyse voor het maken van een predictiemodel?

Answer 8

• Forward selectie
• Backward selectie

Leiden vaak tot verschillende modellen omdat er verschillende selectiecriteria worden gebruikt

Question 9

Wat zijn andere kwesties om rekening mee te houden bij de analyse van een predictiemodel?

Answer 9

1) De omvang van de populatie
Beinvloed stabiliteit van het model; vuistregel voor aantal factoren t.o.v. ‘events’ = 1:10/15
2) Invloed van missende waarden predictoren/uitkomsten
imputeren heeft invloed op de samenstelling en prestatie van het model

Question 10

Hoe bereken je de odds (als je de kans weet)?

Answer 10

odds = kans / (1 - kans)

Staat op formuleblad

Question 11

Hoe bereken je de kans (als je de odds weet)?

Answer 11

kans = odds / (1 + odds)

Question 12

Hoe beoordeel je de prestaties van een predictiemodel?

Answer 12

1) Calibratie
= overeenstemming tussen de geobserveerde waarden en voorspellingen (middels Hosmer-Lemeshow)

2) Discriminatie
= de mate waarin de predictieregel onderscheid kan maken tussen patiënten met of zonder de uitkomst (middels ROC-curve en AUC)

Question 13

Wat zijn methoden om de interne validiteit van een predictiemodel te testen?

Answer 13

Interne validiteit = het testen van de validiteit binnen de populatie die gebruikt is voor predictiemodel

Methoden:
- Split-half (trainingsset voor ontwikkelen en testset voor validatie)
- Bootstrapping (correctie voor overfitting/ ‘optimism’)

Question 14

Wat zijn methoden om de externe validiteit van een predictiemodel te testen?

Answer 14

Externe validiteit = het testen van de validiteit buiten de populatie die gebruikt is voor predictiemodel

Methode:
- Sampling variation: 1) Toepassen predictieregel in andere datasets en/of (2) Toepassen van predictieregel in de (klinische) praktijk

Een predictief model zal in een nieuwe populatie altijd minder goed presteren

Question 15

Welke vragen kun je stellen om na te gaan in hoeverre de predictieregel relevant en toepasbaar is?

Answer 15

Leidt het predictiemodel tot..
- andere behandelbeslissingen?;
- betere uitkomsten voor de patiënt?;
- meer efficiënte zorg?

Question 16

Wat zijn meer concrete methoden om de relevantie en toepasbaarheid van een predictieregel te meten?

Answer 16

RCT + Economische Evaluatie
Bij RCT randomisatie behandelaars (wel toepassen predictieregel versus ‘usual care’), waarna patiëntuitkomsten en kosten met elkaar vergelijken