ROC - käyrä Flashcards
TPF
Sensitiivisyys
TNF
Spesifisyys
FPF
1 - Spesifisyys
FNF
1 - Sensitiivisyys
PPV
TP/TP+FP
NPV
TN/TN+FN
LP+
TPF/FPF
LP-
FNF/TNF
Mikä on ROC käyrän piste?
(FPF,TPF)
Millä kaavalla saadaan tietää mikä piste ROC käyrällä on lähimpänä pistettä (0,1)?
d = sqrt((1-TPF)^2)+(1-TNF)^2)
tai vaihtoehtoisesti
d^2 = (1-TPF)^2+FPF^2
Miten Youdenin indeksi tulkitaan?
Missä kohdassa käyrä on mahdollisimman kaukana referenssiviivasta
Mitä arvoja Youdenin indeksi voi saada?
kuuluu reaalilukujen joukkoon [0,1]
Miten voidaan laskea Youdenin indeksi?
TPF-FPF = TPF-TNF-1
Millainen on sensitiivisyyden yhteys spesifisyyteen?
Käänteinen
Golden standard
Toista tarkempaa ja kallimpaa tai invasiivisempaa testiä
P(positiivinen tulos | sairas ) =
sensitiivisyys = TPF
P(negatiivinen tulos | sairas) =
1-sensitiivisyys = FNF
P(negatiivinen tulos | ei sairas) =
spesifisyys = TNF
P(positiivinen tulos | ei sairas) =
1-spesifisyys = FPF
P(havaitaan ärsyke | ärsyke esitetty ) =
TPF
P(ei havaita ärsykettä | ärsyke esitetty ) =
FNF
P(ei havaita ärsykettä | ärsykettä ei esitetty ) =
TNF
P(havaitaan ärsyke | ärsykettä ei esitetty ) =
FPF
P(sairas|positiivinen tulos)
PPV
P(ei sairas|positiivinen tulos)
1-PPV
P(ei sairas|negatiivinen tulos)
NPV
P(sairas|negatiivinen tulos)
1-NPV
Mitä tapahtuu PPV:lle kun prevalenssi kasvaa?
Se kasvaa
Mitä tapahtuu NPV:lle kun prevalenssi kasvaa?
Se pienenee
Minkä avulla PPV ja NPV lasketaan?
Posteriorisen todennäköisyyden avulla
Määrittele uskottavuusosamäärä
Kahden tiheysfunktion suhde testien tuloksessa joko sairaiden tai ei sairaden osalta
Tulkitse LR+ = 6.3
Satunnaisesti valitulla sairaalla potilaalla on 6.3 oddsit saada positiivinen tulos verrattuna ei sairaaseen
Tulkitse LR- = 0.1
Satunnaisesti valitulla sairaalla potilaalla on 0.1 oddsit saada negatiivinen testi verrattuna ei-sairaaseen
Satunnaisesti valitulla ei-sairalla on 1/0.1 = 10 oddsit saada negatiivinen testi verrattuna sairaaseen henkilöön
Mitä tarkoittaa suurempi arvo negatiiviselle uskottavuusosamäärälle?
vähemmän informaatioarvoa
Mitä tarkoittaa suurempi arvo positiiviselle uskottavuusosamäärälle?
enemmän informaatioarvoa
Mitä tarkoittaa pienempi arvo negatiiviselle uskottavuusosamäärälle?
enemmän informaatioarvoa
Mitä tarkoittaa pienempi arvo positiiviselle uskottavuusosamäärälle?
vähemän informaatioarvoa
Miten posterioriset oddsit lasketaan sairaudelle?
Uskottavuusosamäärä x prioritodennäköisyys
Miksi konventionaaliset analyysit pitävät TPF ja TNF ensisijaisina tarkkuuden tunnuslukuina?
Koska ne ovat riippumattomia prioritodennäköisyydestä
Miksi pelkästään TPF ja TNF käyttö yksittäisinä tunnuslukuina on ongelmallista?
Koska ne riippuu diagnostisesta kriteeristä (joka usein on subjektiivisesti valittu
Mistä lähtien ROC analyysia on käytetty?
1950-luvulta
Minkä teorian kanssa ROC analyysi ilmestyi 1950 luvulla?
signaalidetektioteorian
Miten ROC analyysia käytettiin tutkissa?
erottamaan havainnoijan vaihtelevuus sisäsyntyisestä signaalista
Mihin ROC analyysia käytettiin psykologiassa 1950 luvulla?
Yhteyksien päätöksien tekemiseen fyysisen ärsykkeen ja psykologisten kokemusten ominaisuuksista
Missä sovellusalalla alettiin käyttämään ROC analyysia 1960 luvulla?
Radiologiassa ja radionuklidi kuvantamisessa
Mikä on “separator” scale
Päätöskriteereistä muodostettu vektori
Mitä tunnuslukuja käytetään useimmiten tarkastelemaan testin diagnostista tarkkuutta?
- AUC
- Partial Area Index
- TPF_ {FPF}
Mitä tarkoittaa “latent” tai ei-havaittavissa oleva muuttuja
Subjektiivisesti määritelty muuttuja
Mitä pistettä ROC käyrän tulee lähestyä, jotta se olisi mahdollisimman hyvä?
(0,1)
Mitä diagonaaliviiva yksikköneliössä tarkoittaa?
satunnaisen testin ROC-käyrää
Mikä on satunnaisen testin ROC käyrän funktio?
f(x)=x
Huomaa F(FPF)=FPF, eli kaikki pisteet ovat muotoa (FPF,FPF)
Minkälainen on monotonisesti kasvavan uskottavuusosamäärän ROC-käyrä?
konkaavinen
Mitä AUC kuvaa?
Kuvaa testin luonnollista validiteettia
AUC tiivistää…
ROC-käyrän sijainnin
Miten AUC voidaan tulkita?
- todennäköisyys, että satunnaisesti valittu sairas henkilö on todennäköisemmin testin avulla luokitelu positiiviseksi kuin ei-sairas satunnaisesti valittu henkilö (perustuu Mann-whitneyn U-jakaumaan)
- sensitiivisyyden keskiarvo kaikilla mahdollisilla spesifisyyden arvoilla
Mitä AUC = 1 tarkoittaa?
Täydellisesti erottavaa testiä
Mitä AUC = 0,5 tarkoittaa?
Satunnaisesti erottavaa testiä
Mitä AUC = 0 tarkoittaa?
Täydellisesti väärin erottavaa testiä, pitää kääntää
Milloin Partial Area Index:iä halutaan käyttää?
Kun kahden testin ROC-käyrät risteävät jossakin pisteessä
Voivatko AUC:t olla yhtäsuuret vaikka niiden ROC-käyrät risteävät?
Kyllä
Milloin halutaan käyttää TPFfpf testiä?
Kun kahden testin ROC-käyrät risteävät jossakin pisteessä
Miten TPFfpf kuvaajasta voidaan nähdä mikä testi on paras?
Se testi, joka saa suurempia arvoja (x= kriteerivektori, y= TPFfpf)
Mikä on TPFfpf heikkous?
eri tutkijat voivat antaa eri arvon TPF:lle samalla FPF:n arvolla –> tällöin testejä ei voida vertailla
Mitkä ovat ROC-käyrän vahvuudet?
- Analyysi ei riipu kriteeristä eikä prioritodennäköisyydestä (eli prevalenssista)
- Voidaan vertailla eri testien tarkkuutta
- Voidaan helposti selvittää FPF kuvaajasta
- Voidaan selvittää optimaalinen rajapiste=kriteeri
Miten tarkastellaan, että mikä piste ROC-käyrällä on lähimpänä pistettä (0,1)?
d^2 = (FNF)^2-(FPF)^2
Miten Youdenin indeksi lasketaan?
TPF-FPF = TPF+TNF-1
Mikä Youdenin indeksin kaavassa halutaan maksimoida?
TPF+TNF
Miten Youdenin indeksi tulkitaan matemaattisesti?
Mikä piste ROC-käyrällä on kauimpana funktiosta f(x)=x
Mitkä ovat hypoteesit kun halutaan tietää, erosiko testin tulos sattumasta?
H0: AUC = 0,5
H1: AUC ei yhtäkuin 0,5
Mikä on yhden normaaliapproksimoidun AUC tunnusluvun z-testin kaava?
Z= (AUC-AUC0)/SE(AUC)
Miten saadaan tietää SE(AUC)
Tilasto-ohjelman avulla
Voidaanko laskea AUC:lle luottamusväli
Kyllä
Milloin kahden muuttujan kovarianssi on 0
Kun niiden välillä ei ole yhteyttä, eli r = 0
Minkälainen testiasetelma on, kun kovarianssi on 0
Mittauskerrat tehdään eri ryhmille, joissa on siis eri henkilöt
Minkälainen testiastelma on, kun kovarianssi ei ole 0
Mittauskerrat tehdään samoille henkilöille
Mitkä ovat hypoteesit kun verrataan kahden eri testin tarkkuutta?
H0: AUC1 = AUC2
H1: AUC ei ole sama kuin AUC2
Miten Cov(AUC1,AUC2) lasketaan?
r*SE(AUC1)SE(AUC2)
Miten SE(AUC1-AUC2) lasketaan?
sqrt(Var(AUC1)+Var(AUC2)-2Cov(AUC1,AUC2))
“spectrum”
miten tarkoituksenmukainen tapauksien ja kontrollien määrä on
Mitkä kaksi heikkoutta liittyvät diagnostisiin tutkimuksiin?
- ” Spectrum”
2. Vinoumien esiintyvyys
Minkälaisia vinoumia diagnostisissa tutkimuksissa esiintyy?
- “Work up bias”: diagnoosien antaminen peräkkäin lisää todennäköisyyttä saada diagnoosi
- “Non-blind design”: tutkija on tietoinen tutkimushenkilöiden diagnooseista
- “Incorporating bias”: tulokset ovat sisällytetty osana näyttöä, jota käytetään diagnoosin tekemisessä
Kovariaatti
Tutkittavassa ryhmässä oleva muuttuja / selittävä muuttuja
Milloin kovariaatti voi olla sekoittava tekijä?
Kun sillä on yhteyttä sairauden olemassaoloon ja testitulokseen
Miten sekoittava tekijä vaikuttaa ROC-käyrään?
Muuttamalla sen sijaintia/muotoa
Johtaa yli- tai alidiagnosointi tarkkuuteen
Miten sekoittavien tekijöiden vaikutusta voidaan tutkimusasetelmassa ottaa huomioon?
Rajoitteilla ja ryhmien vertaistamisella sekä tilastollisten menetelmien avulla