Ocenjevanje uspesnosti Flashcards
Kaj vključuje ocenjevanje uspešnosti inteligentnega sistema?
Ocenjevanje vključuje primernost modela samega in uporabnost v realnem svetu.
Katere tri vrste pristopov k učenju modelov poznamo v strojnih učenju?
Makroskopski (simbolični), mikroskopski (konektivistični) in hibridni pristopi.
Zakaj je navzkrižna tabela pomembna pri ocenjevanju klasifikacijskega modela?
Omogoča izračun mer, kot so natančnost, občutljivost, specifičnost in preciznost, ki ocenijo uspešnost klasifikacije.
Kaj so True Positives (TP) in False Negatives (FN) v kontekstu navzkrižne tabele?
TP so pravilno klasificirani pozitivni primeri, FN pa so pozitivni primeri, klasificirani kot negativni.
Kako izračunamo specifičnost (specificity) modela?
Specifičnost = tn / (tn + fp), kjer je tn število pravilno klasificiranih negativnih primerov.
Zakaj je potrebno pri delitvi na učno in testno množico poskrbeti, da je vzorec reprezentativen?
Reprezentativen vzorec zagotavlja, da model ni pristranski in da rezultati odražajo resnično delovanje.
Kaj pomeni, če ima klasifikator visoko preciznost, a nizko priklic?
Model ima malo napačno pozitivnih, vendar veliko napačno negativnih, kar pomeni, da pogosto spregleda pozitivne primere.
Naštej glavne metrike za ocenjevanje klasifikacijskih modelov.
Natančnost, preciznost, priklic, F1-metrika, specifičnost, ROC in AUC.
Kako validacijska množica pomaga zmanjšati preoptimistično oceno uspešnosti?
S testiranjem modela na podatkih, ki niso bili uporabljeni za učenje, zmanjšuje pristranskost zaradi prileganja.
Kakšna je razlika med občutljivostjo (sensitivity) in specifičnostjo (specificity)?
Občutljivost meri delež pravilno klasificiranih pozitivnih primerkov, specifičnost pa delež pravilno klasificiranih negativnih primerkov.
Pojasni razliko med fiksno in variabilno delitvijo podatkov na učne in testne množice ter navedi primere, kdaj uporabiti posamezni pristop.
Fiksna delitev je primerna za večje množice (npr. 2/3 za učenje in 1/3 za test), medtem ko variabilna (n-fold) delitev večkrat preizkusi model na vseh podatkih, kar je koristno pri manjših množicah.
Kako deluje metoda “leave-one-out” in zakaj se uporablja?
Model se trenira na n-1 objektih, nato se preizkusi na enem objektu. Ta metoda se uporablja pri majhnih množicah za zmanjšanje pristranskosti.
Zakaj je pomembno meriti AUC (Area Under Curve) pri ROC krivuljah?
AUC meri površino pod ROC krivuljo in ponazarja, kako dobro model ločuje med pozitivnimi in negativnimi primeri.
Kako navzkrižna validacija (cross-validation) zmanjša pristranskost v rezultatih?
Navzkrižna validacija preizkusi model na različnih delih podatkov, s čimer pridobimo stabilnejše ocene uspešnosti.
Kako lahko vključimo toleranco na šum v procesu gradnje modela?
Z uporabo tehnik, kot so robustni klasifikatorji ali filtri za odstranjevanje šuma.
Kateri parametri vplivajo na konvergenčno hitrost pri strojno učenih modelih?
Velikost učne množice, kompleksnost modela, izbira algoritma in hitrost učenja.
Na primeru razloži razliko med preciznostjo (precision) in priklicem (recall).
Preciznost meri, koliko pozitivnih klasifikacij je pravilnih, priklic pa, koliko pozitivnih primerov je model zaznal.
Kako se uporablja matrika zmede (confusion matrix) za oceno natančnosti po razredih?
Iz matrike zmede se izračuna natančnost za vsak razred posebej, kar pomaga ugotoviti, kateri razredi so najpogosteje napačno klasificirani.
Razloži, zakaj bi bil klasifikator z višjim F1-score lahko bolj uporaben v nekaterih primerih kot tisti z višjo natančnostjo.
F1-score uravnoteži priklic in preciznost, zato je uporaben v primerih, ko je enakomerno zaznavanje vseh primerov pomembnejše od splošne natančnosti.
Kako bi interpretirali model, ki ima visoko ROC-AUC vrednost, vendar slabo splošno natančnost?
Model dobro ločuje pozitivne in negativne primere, vendar je morda pristranski do enega od razredov ali napačno kalibriran.
