H8 Flashcards
PND
Percentage niet-overlapgegevens. 70%-criterium. Weergeven niet de grootte van het verschil tussen fasen van een experiment
PEM
Percentage dat mediaan overschrijft
Replicatie:
- Informatie genereren en verstrekken over robuustheid van mogelijk causaal verband tussen interventie en uitkomst in individueel geval
- Zowel binnen (intra) als tussen (inter) subjecten
- Minimaal 3 intra subject replicaties volgens WWC
Soorten replicatie (2)
1) Systematische replicatie (theoretische replicatie)
* Systematisch variëren condities
* Gaandeweg meer leren over een onderwerp
* Bevindingen kunnen worden waargenomen onder andere omstandigheden dan die van oorspronkelijke experiment
* Systematisch: geplande reeks experimenten
* Pogingen om fenomeen te repliceren waarbij contextuele variabelen systematisch en kwantitatief werden veranderd
* Moeilijk te bereiken in klinische context
2) Directe replicatie (letterlijke replicatie)
- Herhalen zelfde experiment binnen of tussen personen
- Zelfde condities
- Kan binnen (intra) en tussen (inter) subject
- Replicatie van een bepaald experiment door dezelfde onderzoeker met behulp van nieuwe onderwerpen of herhaalde observaties over hetzelfde onderwerp onder elk van verschillende experimentele condities, ook wel intra- of inter-subject
- Elk design kan informatie genereren over robuustheid van mogelijke oorzakelijk verband tussen interventie en uitkomst
WWC:
- What Works Clearinghouse
- Instituut onderwijs VS
- Meetmomenten:
- With reservation (voorbehoud): Min. 3 meetmomenten
- Without reservation: Min. 5 meetmomenten
- Uitkomsten onderzoek:
1) Voldoet aan de norm
2) Voldoet niet aan de norm of in sommige gevallen
3) Voldoet aan de norm met voorbehoud - Graden bewijs:
- Sterk, gematigd, geen bewijs
- Bewijs causale relatie interventie en uitkomst
- Conclusie van sterk bewijs kan alleen worden bereikt als 2 (gecertificeerde) WWC-beoordelaars,
- 3 meetmomenten van effect nodig zijn om een oorzakelijk verband vast te stellen
- ABAB heeft 3 pogingen om interventie te testen: A1B1, B1A2, A2B2
- Multiple baseline moet min. 3 baselines hebben
- Changing criterion design (CCD) minimaal 3 verschuivingen in criterium
- ATD 5 herhalingen van alternerende reeks
- AB-design niet
WWC criteria (5-3-20 criteria):
5)
-Minimaal 5 onderzoeksrapporten die voldoet aan bewijsnormen
-Aantal gerapporteerde single-case designs onderzoeken
-Minimaal 5 onderzoeken
3)
-Minimaal 3 verschillende onderzoeksteams op verschillende geografische locaties
-Extern repliceerbaar
-Aantal onafhankelijke onderzoeksteams
20)
-Minimaal 20 experimenten in onderzoeksrapporten
-Meer dan 20 totale aantal deelnemers
-Aantal experimenten
Belangrijk klinische problemen: (2)
1) Elke klinische interventie moet effectief zijn voor individuen, therapeuten en instellingen
2) Verkrijgen van kennis van factoren die aangeven wanneer interventie dreigt te mislukken is cruciaal
- Mislukkingen worden niet altijd gerapporteerd, maar zijn juist wel van belang
–> Systematische replicatie lastig in klinische context, vooral m.b.t. tweede doelstelling
Reviewstudies
Veel onderzoeken samenpakken en tot één conclusie te komen. Tegenstrijdige onderzoeken om tot een antwoord te komen
Soorten reviews: (2)
1) Narratieve reviews:
* Overzicht van meerdere (gepubliceerde) onderzoeken
* Geen systematische analyse
* Verhalende samenvatting
2) Systematische review:
* Overzicht van meerdere (gepubliceerde) onderzoeken o.b.v. systematische selectie
* Vaak met meta-analyse
- Samenvoegen van resultaten van meerdere (gepubliceerde) onderzoeken
- Meta-analyse biedt manier om gegevens van een reeks onderzoeken wiskundig te combineren om waarschijnlijke werkelijke effect van behandeling in te schatten
* Krachtig hulpmiddel om waarschijnlijke impact behandeling te bepalen
- Verschil tussen gemiddelden van behandelings- en vergelijkingsgroep
- Verschil uitgedrukt als verhouding van gepoolde SD (maatstaaf effectgrootte)
* Ontwikkeling methodologie voor systematische review en meta-analyse overwint:
- Mogelijke vertekeningen in selectie van primaire bron waarop review is gebaseerd
- Verschaffen repliceerbare meeteenheid om de uitkomst van individuele zaakgegevens te beoordelen
* Methodologie van systematische review is uitputtend zoeken in relevante literatuur en beoordeling van kwaliteit van onderzoek op mogelijke vooroordelen
* Systematische replicatie is in wezen een zoektocht naar uitzonderingen
Niveaus multilevel analyse (3)
1) Studie
2) Subject
3) Herhaalde meting
Evaluatie:
- Single case research op waarde schatten
- Kijken naar interne validiteit
- Bedreigingen (hoorcollege 1) zoveel mogelijk uitsluiten
- Boordeling WWC
- What Works Clearinghouse (WWC)
- Wordt door instituut gedaan, getrainde beoordelaars
- Toegepaste gedragsanalyse
- Beoordeling RoBiNT
- Op elk onderdeel aantal punten scoren
- Afhankelijk van aantal punten welke beoordeling je krijgt
- Mag je zelf doen
- Medische wetenschap (ontwikkeld neuropsychologen)
- Ontwikkeld op basis van de SCED-schaal (Single Case Experimental Design)
Criteria beoordelen kwaliteit design WWC: (4)
1) Systematische manipulatie/ experimentele ingreep
- Interventies die toevallig zijn en niet onder de controle van de onderzoeker vallen zijn uitgesloten
- Het item vereist een dichotome beslissing (wel voldaan of niet voldaan aan bewijsnorm)
2) De kwaliteit van de meting van de afhankelijke variabele (uitkomst)
- De uitkomst moet door meer dan één persoon worden geobserveerd
- In de aanvullende tekst moet de minimale niveaus van de interbeoordelaarsbetrouwbaarheid of de Kappa-waarden aangeven zijn
- Studies waarin de onafhankelijke variabele zelfrapportage is, niet aan de norm kunnen voldoen
- Dichotome beslissing
3) Het aantal replicaties van een effect binnen een onderzoek dat nodig is om het effect van de interventie aan te tonen
- Minimaal drie replicaties
- Hoe meer, hoe hoger vertrouwen in de experimentele controle van het effect
- Dichotome beslissing
4) Aantal vereiste datapunten dat in elke fase
- Minimale drie datapunten
- Ontwerpen met drie of vier punten per fase kunnen alleen voldoen aan de standaard met reservering
- Om volledig te voldoen aan de standaard minimaal 5
- Voor een alternating treatment design zijn 5 herhalingen van de afwisselende reeks nodig om aan de norm te voldoen en vier herhalingen voldoen aan de norm met voorbehoud
Criteria beoordelen kwaliteit resultaten WWC: (3)
1) Documenteren consistentie/stabiliteit van niveau, trend en variabiliteit binnen fase
2) Documenteren directheid van effect, mater overlap, consistentie over fasen en vergelijking waargenomen en geprojecteerde patronen van uitkomstvariabele.
3) Onderzoek expliciet externe factoren en afwijkingen, zoals plotselinge niveauverschillen binnen fase
–> Geen informatie over statistische analyse
Beoordeling criteria RoBiNT (2/7/8)
1) Interne validiteit
a) Design
- Voldoende gericht om causale relaties vast te stellen
- ABAB en multiple baseline
- AB-design uitgesloten
- 3 behandelingseffecten vereist volgens WWC-criteria
b) Randomisatie
- Randomiseren van volgorde fase of begin van elke fase
- Niet altijd mogelijk
c) Sampling van gedrag
- Volgens richtlijnen WWC minimaal 5 gegevenspunten voor volledig
- 3 of 4 gegevenspunten leveren 1 punt op
d) Blind onderzoek
- Niet weten wie interventie krijgt en wie niet
e) Blinde beoordelaar
- 1 punt als beoordelaar onafhankelijk is
- Extra punt als beoordelaar blind is voor fase interventie
f) Interbeoordelaarsbetrouwbaarheid
- Volgens WWC-norm
g) Behandeling aanhankelijkheid
- Onderzoekers hebben stappen ondernomen om te controleren of behandeling is uitgevoerd zoals bedoel
2) Externe validiteit en interpretatie
a) Baseline kenmerken
- Wordt goedgekeurd als er aanwijzingen zijn dat is overwogen waarop het doelgedrag in baseline wordt gehandhaafd en dat deze beoordeling de daaropvolgende interventie informeert
b) Therapeutische setting
- Gedetailleerde informatie over therapeutische instelling
c) Afhankelijke variabele (doelgedrag)
- Duidelijke definitie
d) Onafhankelijke variabele (interventie)
- Interventie in details beschreven
- Frequentie, duur, aantal interventiesessies
e) Ruwe data
- Volledige sessie record van alle fasen
f) Gegevens analyse
- Visuele analyse volgens WWC-criteria
- Systematische visuele analyse beschreven door WWC
- Bij statistische methode reden geschiktheid toelichten
g) Replicatie
- Generaliseerbaarheid van effecten
- Minimaal 3 replicaties van oorspronkelijke experiment
h) Generalisatie
§ Onderzoek omvat pogingen om generalisatie van het effect op ander gedrag of omgevingen aan te tonen
§ Ingebouwd en geëvalueerd in alle fasen
Interne validiteit RoBiNT (7)
a) Design
- Voldoende gericht om causale relaties vast te stellen
- ABAB en multiple baseline
- AB-design uitgesloten
- 3 behandelingseffecten vereist volgens WWC-criteria
b) Randomisatie
- Randomiseren van volgorde fase of begin van elke fase
- Niet altijd mogelijk
c) Sampling van gedrag
- Volgens richtlijnen WWC minimaal 5 gegevenspunten voor volledig
- 3 of 4 gegevenspunten leveren 1 punt op
d) Blind onderzoek
- Niet weten wie interventie krijgt en wie niet
e) Blinde beoordelaar
- 1 punt als beoordelaar onafhankelijk is
- Extra punt als beoordelaar blind is voor fase interventie
f) Interbeoordelaarsbetrouwbaarheid
- Volgens WWC-norm
g) Behandeling aanhankelijkheid
- Onderzoekers hebben stappen ondernomen om te controleren of behandeling is uitgevoerd zoals bedoel
Externe validiteit en interpretatie RoBiNT (8)
a) Baseline kenmerken
- Wordt goedgekeurd als er aanwijzingen zijn dat is overwogen waarop het doelgedrag in baseline wordt gehandhaafd en dat deze beoordeling de daaropvolgende interventie informeert
b) Therapeutische setting
- Gedetailleerde informatie over therapeutische instelling
c) Afhankelijke variabele (doelgedrag)
- Duidelijke definitie
d) Onafhankelijke variabele (interventie)
- Interventie in details beschreven
- Frequentie, duur, aantal interventiesessies
e) Ruwe data
- Volledige sessie record van alle fasen
f) Gegevens analyse
- Visuele analyse volgens WWC-criteria
- Systematische visuele analyse beschreven door WWC
- Bij statistische methode reden geschiktheid toelichten
g) Replicatie
- Generaliseerbaarheid van effecten
- Minimaal 3 replicaties van oorspronkelijke experiment
h) Generalisatie
§ Onderzoek omvat pogingen om generalisatie van het effect op ander gedrag of omgevingen aan te tonen
§ Ingebouwd en geëvalueerd in alle fasen
Minimale eisen enkel single-case studie (Morley) (6)
1) Specificatie/motivatie experimenteel design
2) Heldere beschrijving afhankelijke variabelen en bewijs validiteit/betrouwbaarheid
3) Heldere beschrijving interventie
4) Voldoendedata punten
* Visuele analyse: Detectie van trend, variatie, niveau
* Statistische analyse: Voldoende gegevenspunten voor de kracht van de test
5) Plan data analyse over wie/hoe het is uitgevoerd
6) Volledige dataset in grafiek of tabel van hoge kwaliteit
Elliott’s Hermeneutics single case efficacy design (HSCED) & alternatieve verklaringen uitsluiten (2/4/4)
- Vaststellen dat er een effect is
- In therapie setting
- Het is belangrijk om duidelijk verband tussen proces en inhoud van therapie en uitkomst vast te stellen (proces-uitkomst mapping)
- Alternatieve verklaringen uitsluiten
- Waargenomen verandering geen klinische verbetering:
1) Triviale of negatieve veranderingen, kunnen worden geëvalueerd met behulp van betrouwbare en klinische veranderingsberekeningen
2) Statistische artefacten, zoals meetfouten of regressie naar gemiddelde
3) Relationele artefacten, waarbij cliënt ‘beter’ handelt om de therapeut tevreden te stellen
4) Verwachtingsartefacten, waarbij de verwachtingen van de klant hebben geleid tot een duidelijke verandering - Wel verandering, maar oorzaken niet gerelateerd aan therapie:
5) Zelfcorrectie
6) Levensgebeurtenissen
7) Psychobiologische factoren
8) Reactieve effecten van deelname aan onderzoek
Systematische review
- Overzicht van meerdere (gepubliceerde) onderzoeken o.b.v. systematische selectie
- Vaak met meta-analyse
- Samenvoegen van resultaten van meerdere (gepubliceerde) onderzoeken
- Meta-analyse biedt manier om gegevens van een reeks onderzoeken wiskundig te combineren om waarschijnlijke werkelijke effect van behandeling in te schatten
- Krachtig hulpmiddel om waarschijnlijke impact behandeling te bepalen
- Verschil tussen gemiddelden van behandelings- en vergelijkingsgroep
- Verschil uitgedrukt als verhouding van gepoolde SD (maatstaaf effectgrootte)
- Ontwikkeling methodologie voor systematische review en meta-analyse overwint:
- Mogelijke vertekeningen in selectie van primaire bron waarop review is gebaseerd
- Verschaffen repliceerbare meeteenheid om de uitkomst van individuele zaakgegevens te beoordelen
- Methodologie van systematische review is uitputtend zoeken in relevante literatuur en beoordeling van kwaliteit van onderzoek op mogelijke vooroordelen
- Systematische replicatie is in wezen een zoektocht naar uitzonderingen
- Vaak met meta-analyse
