8. predavanje: Označavanje podataka i metrike

Question 1

Što je označavanje podataka (engl. data labeling)?

Answer 1

Označavanje podataka je proces dodavanja oznaka na sirove podatke (npr. neoznačene slike, video, tekst, audio).

Question 2

Objasniti pojam podataka za učenje (engl. training data).

Answer 2

Podaci koji su prikupljeni i pomoću kojih model strojnog učenja uči o podacima. Mogu biti anotirani ili neanotirani - kada su anotirani uzimaju se kao referentna vrijednost (engl. ground truth).

Question 3

Navesti vrste strojnog učenja.

Answer 3

• Nadzirano: anotirani podaci, predikcija
• Nenadzirano: neanotirani podaci, analiza
• Polunadzirano: anotirani i neanotirani podaci

Question 4

Objasniti princip i upotrebu HITL sustava (engl. Human-in-the-loop).

Answer 4

Stalni nadzor (npr. praznine u podatcima) i provjera rezultata (npr. predikcije) AI modela od strane čovjeka. Upotreba: označavanje podataka za učenje, učenje modela.

Question 5

Navesti pristupe označavanju podataka.

Answer 5

1. In-house data labeling: označavaju znastvenici ili
   osobe u organizaciji
2. Crowdsourcing: uz pomoć velikog broja
   freelancera registriranih na crowdsourcing
   platformi
3. Outsourcing: zadatak označavanja prepušta se
   pojedincu ili organizaciji koja ima trenirane
   anotatore
4. Machine-based annotation: korištenjem alata za anotiranje i automatizacije

Question 6

Navesti postupak mjerenja kvalitete označavanja.

Answer 6

1. Zlatni standard: točan odgovor
2. Pregled uzorka: uzorak dovršenih zadataka
3. Konsenzus: odgovor od većine autora
4. Intersection over union

Question 7

Navesti izraz kojim se računa mjera kvalitete označavanja Cronbach alpha i objasniti ga na primjeru (vidi slajd 19.).

Answer 7

alpha = (N*r) / (1 + (N-1) * R),

• N - broj stavki
• r - srednja korelacija između stavki

Question 8

Što je klasifikacija slika i kako se dijeli klasifikacijski problem?

Answer 8

Klasifikacija slika je proces dodavanja oznake slici. Klasifikacijski problem može se podijeliti na binarnu klasifikaciju i višeklasnu klasifikaciju.

Question 9

Koji je cilj kod segmentacije slika?

Answer 9

Odvojiti objekte slike od njihove pozadine i drugih objekata na slici.

Question 10

Nabrojiti i objasniti neke metrike za praćenje izvedbe modela.

Answer 10

• Matrica zabune: dijagonala-točno, van
  dijagonale-pogrešno
• Točnost: (TP+TN) / (TP + TN + FP + FN)
• Preciznost: TP / (TP + FP), TN / (TN + FN)
• Recall: TP / (TP + FN), TN / (TN + FP)
• F1 score: 2PRRE / (PR + RE)
• Fb score = (1+b^2)PRRE / (b^2*PR + RE)

Question 11

Objasniti ROC krivulju.

Answer 11

Grafički prikaz izvedbe binarnog klasifikatora kao funkcija različitih pragova korištenih pri klasifikaciji.

Question 12

Objasniti AUC krivulju.

Answer 12

Površina ispod ROC krivulje, iznosi između 0 i 1.

Question 13

Definirati izraz za srednju kvadratnu pogrešku i kod kakvih problema se koristi.

Answer 13

MSE = (1/N) * sum_i ( (yi - yi^)^2 )

• regresija (kontinuirane vrijednosti)

Question 14

Definirati izraz za srednju aposlutnu pogrešku i kod kakvih problema se koristi.

Answer 14

MAE = (1/N) * sum_i( |yi - yi^| )

Question 15

Navesti neke od algoritama za rangiranje.

Answer 15

• point-wise modeli: pokušavaju predvidjeti
  podudarni rezultat za svaki par upit-dokument
  u skupu podataka i koriste ga za rangiranje
  stavki
• pair-wise modeli: pokušavaju naučiti binarni
  klasifikator koji će reći koji je dokument
  relevantniji za upis, za zadani par dokumenata
• list-wise modeli: pokušavaju izravno
  optimizirati vrijednost jedne od navedenih
  mjera evaluacije, prosječne po svim upitima u
  podacima za učenje

Question 16

Navesti izraz za srednji recirpočni rang, MRR i objasniti na primjeru (vidi slajd 51.).

Answer 16

MRR = (1 / |Q|) * sum_i( 1 / rang_i )

• |Q| - broj upita
• rang_i - rang najrelevantnije stavke

Question 17

Navesti izraz za preciznost pri k (p@k).

Answer 17

P@k = broj predviđenih stavki @k koje su relevantne / broj predivđenih stavki @k

Question 18

Navesti izraz za kumulativnu dobit, CG.

Answer 18

CG_p = sum_i ( rel_i ),

• ocjena relevantnosti za svaki dokument upita