7. predavanje: Uvod u nadzirano strojno učenje

Question 1

Navesti vrste nadziranog storjnog učenja.

Answer 1

Klasifikacija: izlaz y je diskretan
Regresija: izlaz y je kontinuiran

Question 2

Navesti vrste strojnog učenja.

Answer 2

Nadzirano, nenadzirano, podržano.

Question 3

Nabrojati tehnike nadziranog strojnog učenja.

Answer 3

k-NN, Naive Bayes, linearna i logistička regresija, stroj potpornih vektora, slučajne šume, nadzirane neuronske mreže.

Question 4

Nabrojati tehnike nenadziranog strojnog učenja.

Answer 4

Grupiranje, redukcija dimenzionalnosti, modreliranje tema, matrična faktorizacija, skriveni Markovljevi modeli.

Question 5

Nabrojiti i definirati izraze kojima se računaju mjere udaljenosti za algoritam k-NN.

Answer 5

• euklidska udaljenost: d(x,y) = ||x - y||
• cosine udaljenost: d(x,y) = 1 - (x⋅y) / (||x|| * ||y||)
• Jaccard udaljenost: d(X,Y) = 1 - |X∩Y| / |X∪Y|
• Hamming udaljenost: d(x,y) = sum_i (xi != yi)
• Manhattan udaljenost: d(x,y) = sum_i( |xi - yi| )
• Mahalanobis udaljenost

Question 6

Kako izbor parametra k utječe na iznos pristranosti (engl. bias) i varijance?

Answer 6

Mali k -> mala pristranost, visoka varijanca

Veliki k -> visoka pristranost, mala varijanca

Question 7

Definirati pojam pristranosti.

Answer 7

Pristranost = srednja vrijednost odstojanja (engl. offset), razlike između predviđene i opažene vrijednosti.

Question 8

Objasniti fenomen kletve dimenzionalnosti.

Answer 8

Kletva dimenzionalnosti odnosi se na fenomen koji se događa u visokim dimenzijama kada su zbog povećanja broja dimenzija podaci u višim dimenzijama rijetki, odnosno manje gusti nego u manjim dimenzijama.

Question 9

Definirati komponente strukture stabla odluke.

Answer 9

• čvor: test pojedinog atributa
• grana: vrijednost atributa
• list: oznaka klasa (labela)

Question 10

Objasniti top-down divide-and-conquer strategiju za kontruiranje sabla odluke.

Answer 10

1. svi primjeri za učenje pripadaju korijenu
2. primjeri se dijele rekurzivno na temelju
   atributa koji najviše diskriminira

*diskriminativna snaga se temelji na 
 informacijskoj dobiti
*particioniranje prestaje kada:
     a) svi primjeri pripadaju istoj klasi
     b) nema atributa za dijeljenje

Question 11

Navesti izraz kojim se računa entropija za zadani skup s P pozitivnih i N negativnih primjera.

Answer 11

H(P,N) = -P/(P+N ) * log_2(P/(P+N)) -

N/(P+N) * log_2(N/(P+N))

Question 12

Na primjeru objasniti postupak izgradnje stabla odluke.

Answer 12

Vidi slajd 54.

Question 13

Zašto se provodi i koje su moguće tehnike orezivanja kod stabla odluke?

Answer 13

Budući da se u postupku generiranja stabla ne filtrira šum to može dovesti do prenaučenost zbog čega se provodi orezivanje. Tehnike: zaustavljanje dijeljenja čvorova kad broj preostalih primjera padne ispod određene granice, bottom-up unakrsna provjera.

Question 14

Nabrojiti neke slabosti stabala odluke.

Answer 14

Osjetljiva na male perturbacije u podatcima (visoka varijanca), skloni prenaučenosti, nisu inkrementalni (potrebno je ponoviti cijeli postupak ispočetka ako se pojavi novi podatak).

Question 15

Kako se mijenjaju pristranost i varijance povećanjem dubine stabla?

Answer 15

Povećanjem dubine stabla pristranost se smanjuje, varijance se povećava.

Question 16

Koja je ideja iza zajednice metoda?

Answer 16

Uzmia se skup jednostavnih ili slabih algoritama i kombiniraju se da bi se dobio jedan bolji.

Question 17

Koje su vrste zajednice metoda?

Answer 17

• Bagging: traniranje learnersa paralelno na
  različitim uzorcima, zatim kombiniranje
  glasova
• Stacking: kombiniranje izlaza iz različitih
  modela korištenjem learnera na drugoj razini
• Boosting: ponvaljanje učenja, ali nakon
  filtriranje/otežavanja primjera temeljeno na
  prethodnom ouptutu

Question 18

Objasniti princip rada slučajnih šuma.

Answer 18

1. izvući K bootstrap uzoraka veličine N
2. izgraditi K stabala odluke slučajnim izborom m
   od p značajki u svakom čvoru i izborom
   najbolje značajke za podjelu
3. agregirati predviđanja stabala da bi se dobio
   odgovor za labelu klase ili vrijednost

Question 19

Kako je osigurana raznolikost u pojedinim stablima kod slučajnih šuma?

Answer 19

1. izvlačenjem K bootstrap uzoraka veličine N: svako stablo je trenirano na različitom skupu
2. izgradnjom svakog stabla odluke slučajnim izborom m od p značajki u svakom čvoru i izborom najbolje značajke za podjelu: odgovarajući čvorovi u različitim stablima obično ne koriste iste atribute za podjelu

Question 20

Kako se Boosted trees razlikuju od slučajnih šuma?

Answer 20

Za razliku od RF, čija su stabla trenirana nezavisno, BDT stabla su trenirana sekvencijalno koristeći boosting: Svako stablo je trenirano da predviđa korektno, ali korigira se pogreška (rezidual) iz prethodnog stabla (redukcija pristranosti).