Ocenjevanje uspesnosti

Question 1

Kaj vključuje ocenjevanje uspešnosti inteligentnega sistema?

Answer 1

Ocenjevanje vključuje primernost modela samega in uporabnost v realnem svetu.

Question 2

Katere tri vrste pristopov k učenju modelov poznamo v strojnih učenju?

Answer 2

Makroskopski (simbolični), mikroskopski (konektivistični) in hibridni pristopi.

Question 3

Zakaj je navzkrižna tabela pomembna pri ocenjevanju klasifikacijskega modela?

Answer 3

Omogoča izračun mer, kot so natančnost, občutljivost, specifičnost in preciznost, ki ocenijo uspešnost klasifikacije.

Question 4

Kaj so True Positives (TP) in False Negatives (FN) v kontekstu navzkrižne tabele?

Answer 4

TP so pravilno klasificirani pozitivni primeri, FN pa so pozitivni primeri, klasificirani kot negativni.

Question 5

Kako izračunamo specifičnost (specificity) modela?

Answer 5

Specifičnost = tn / (tn + fp), kjer je tn število pravilno klasificiranih negativnih primerov.

Question 6

Zakaj je potrebno pri delitvi na učno in testno množico poskrbeti, da je vzorec reprezentativen?

Answer 6

Reprezentativen vzorec zagotavlja, da model ni pristranski in da rezultati odražajo resnično delovanje.

Question 7

Kaj pomeni, če ima klasifikator visoko preciznost, a nizko priklic?

Answer 7

Model ima malo napačno pozitivnih, vendar veliko napačno negativnih, kar pomeni, da pogosto spregleda pozitivne primere.

Question 8

Naštej glavne metrike za ocenjevanje klasifikacijskih modelov.

Answer 8

Natančnost, preciznost, priklic, F1-metrika, specifičnost, ROC in AUC.

Question 9

Kako validacijska množica pomaga zmanjšati preoptimistično oceno uspešnosti?

Answer 9

S testiranjem modela na podatkih, ki niso bili uporabljeni za učenje, zmanjšuje pristranskost zaradi prileganja.

Question 10

Kakšna je razlika med občutljivostjo (sensitivity) in specifičnostjo (specificity)?

Answer 10

Občutljivost meri delež pravilno klasificiranih pozitivnih primerkov, specifičnost pa delež pravilno klasificiranih negativnih primerkov.

Question 11

Pojasni razliko med fiksno in variabilno delitvijo podatkov na učne in testne množice ter navedi primere, kdaj uporabiti posamezni pristop.

Answer 11

Fiksna delitev je primerna za večje množice (npr. 2/3 za učenje in 1/3 za test), medtem ko variabilna (n-fold) delitev večkrat preizkusi model na vseh podatkih, kar je koristno pri manjših množicah.

Question 12

Kako deluje metoda “leave-one-out” in zakaj se uporablja?

Answer 12

Model se trenira na n-1 objektih, nato se preizkusi na enem objektu. Ta metoda se uporablja pri majhnih množicah za zmanjšanje pristranskosti.

Question 13

Zakaj je pomembno meriti AUC (Area Under Curve) pri ROC krivuljah?

Answer 13

AUC meri površino pod ROC krivuljo in ponazarja, kako dobro model ločuje med pozitivnimi in negativnimi primeri.

Question 14

Kako navzkrižna validacija (cross-validation) zmanjša pristranskost v rezultatih?

Answer 14

Navzkrižna validacija preizkusi model na različnih delih podatkov, s čimer pridobimo stabilnejše ocene uspešnosti.

Question 15

Kako lahko vključimo toleranco na šum v procesu gradnje modela?

Answer 15

Z uporabo tehnik, kot so robustni klasifikatorji ali filtri za odstranjevanje šuma.

Question 16

Kateri parametri vplivajo na konvergenčno hitrost pri strojno učenih modelih?

Answer 16

Velikost učne množice, kompleksnost modela, izbira algoritma in hitrost učenja.

Question 17

Na primeru razloži razliko med preciznostjo (precision) in priklicem (recall).

Answer 17

Preciznost meri, koliko pozitivnih klasifikacij je pravilnih, priklic pa, koliko pozitivnih primerov je model zaznal.

Question 18

Kako se uporablja matrika zmede (confusion matrix) za oceno natančnosti po razredih?

Answer 18

Iz matrike zmede se izračuna natančnost za vsak razred posebej, kar pomaga ugotoviti, kateri razredi so najpogosteje napačno klasificirani.

Question 19

Razloži, zakaj bi bil klasifikator z višjim F1-score lahko bolj uporaben v nekaterih primerih kot tisti z višjo natančnostjo.

Answer 19

F1-score uravnoteži priklic in preciznost, zato je uporaben v primerih, ko je enakomerno zaznavanje vseh primerov pomembnejše od splošne natančnosti.

Question 20

Kako bi interpretirali model, ki ima visoko ROC-AUC vrednost, vendar slabo splošno natančnost?

Answer 20

Model dobro ločuje pozitivne in negativne primere, vendar je morda pristranski do enega od razredov ali napačno kalibriran.