10. predavanje: Uvod u duboko učenje

Question 1

Navesti središnji problem u strojnom/dubokom učenju.

Answer 1

Središnji problem u strojnom/dubokom učenju je smislena transformacija podataka - učenje smislene reprezentacije.

Question 2

Navesti funkcije gubitka koje se koriste kod problema klasifikacije i regresije.

Answer 2

• Binarna klasifikacija: unakrsna entropija
  -(1/N) * sum_i ( y_ilog(y_i’) + (1-y_i)log(1-y_i’) )
• Regresija: srednja kvadratna pogreška, srednja
  apsolutna pogreška

Question 3

Objasniti motivaciju uvođenja aktivacijske funkcije i navesti primjere.

Answer 3

Bez nje imamo linearnu transformaciju ulaznih podataka. Za bogatiji prostor hipoteza treba nelinearnosti, odnosno aktivacijske funkcije. Primjeri: ReLu, Sigmoida.

Question 4

Objasniti važnost sloja modela dubokog učenja.

Answer 4

Svaki sloj radi jednu jednostavnu geometrijsku transformaciju na podacima koji prolaze kroz njega.

Question 5

Objasniti pojam optimizacije.

Answer 5

Optimizacija je proces prilagođenja modela u cilju postizanja najboljih performansi za podatke za učenje.

Question 6

Objasniti pojam poopćenja.

Answer 6

Poopćenje je kvaliteta kako se trenirani model ponaša na podacima koje prije nije vidio. Ne možemo ju kontrolirati. Možemo jedino prilagoditi model podacima.

Question 7

Navesti posljedicu induktivne pristranosti.

Answer 7

Induktivna pristranost dopušta algoritmu za učenje da prioritizira jedno rješenje pred rguima, neovisno o podacima.

Question 8

Navesti glavne klase neuronskih mreža.

Answer 8

• MLP: potpuno povezane mreže
• CNN: konvolucijske mreže
• RNN: povratne mreže

Question 9

Kada se koristi potpuno povezana mreža (MLP)?

Answer 9

• ulazni podatci sa sastoje od uzoraka fiksne
  veličine
• MLP izvodi podudaranje uzorka za fiksnu
  ulaznu veličinu
• odlično za po dijelovima linearne podatke

Question 10

Kada se koristi konvolucijska mreža (CNN)?

Answer 10

• ulazni podatci imaju rešetkastu strukturu poput
  2D/3D slika i videa
• hvata svojstva slika: lokalna i globalna
  invarijantnost na rešetci
• odlično za rešetkasto strukturirane podatke

Question 11

Kada se koristi povratna mreža (RNN)?

Answer 11

- ulazni podaci su uređeni slijedovi (mogu 
  varirati veličinom)
- rekurzivna formula sumira sekvencu s 
  vektorom h
- ne mogu naučiti dugotrajne zavisnosti

Question 12

Na koji način stopa učenja utječe na postupak učenja modela?

Answer 12

Premala stopa: polagano učenje i mogućnost da zaglavimo u lokalnom minimumu. Prevelika stopa: prilikom osvježavanja možemo završiti u slučajnom dijelu krivulje (divergencija).

Question 13

Navesti osnovne probleme kod postupka učenja modela.

Answer 13

1. učenje nije počalo, gubitak učenja ne opada s
   vremenom
2. učenje je počelo u redu, ali model ne
   poopćava dovoljno - ne postižemo bolje od
   podrazumijevane osnovne točnosti
3. gubitak učenja i validacije opada, postižu se
   rezultati bolji od podrazumijevane osnovne
   točnosti, no ne može se pretrenirati

Question 14

Navesti moguća rješenja osnovnih problema kod postupka učenja modela.

Answer 14

1. podešavanje parametara gradijentnog spusta
2. korištenje adekvatne arhitekture
3. povećanje kapaciteta modela

Question 15

Definirati proces ručne konstrukcije značajki.

Answer 15

Proces korištenja vlastitog znanja o podacima i korištenom algoritmu strojnog učenja u cilju postizanja da algoritam radi bolje primjenom rukom kodiranih transformacija podataka.