2. predavanje: Rukovanje podacima

Question 1

Što je rukovanje podacima?

Answer 1

Općeniti naziv za sve operacije nad podacima koje slijede nakon preuzimanja izvornih podataka s mjesta pohrane sve do početka analize statističkim postupcima i postupcima strojnog učenja.

Question 2

Koje su posljedice korištenja sirovih podataka u daljnjoj statističkoj analizi?

Answer 2

• Može onemogućiti ispravno postavljanje cilja analize
• Može srušiti algoritme strojnog učenja ili davati nevjerodostojne rezultate
• Može dovesti do neispravnih zaključaka

Question 3

Rukovanje podacima sastoji se od sljedećih koraka:

Answer 3

1. Pregled skupa podataka: vizualna i statistička dijagnostika
2. Transformacija skupa podataka: modela, formata i dimenzija
3. Čišćenje skupa podataka: uklanjanje pogrešaka, duplikata, sinonima, stršećih i nedostajućih vrijednosti
4. Provjera skupa podataka
5. Učitavanje skupa podataka: u prigodnu strukturu
   - ———————————————————
6. Poboljšavanje skupa podataka
7. Inženjerstvo značajki

Question 4

Nabrojiti vrste čestih problema u podacima.

Answer 4

Nedostajući, netočni, nekonzistentnosti u podacima, stršeći, rijetki, šumoviti, monotoni atributi, nebalansirani skupovi podataka.

Question 5

Nabrojiti glavne vrste nedostajućih podataka.

Answer 5

• Nedostajuće (ali poznate) vrijednosti: nisu
  unesene, ali postoje
• Prazne (nepoznate) vrijednosti: ne može se
  pretpostaviti vrijednost u stvarnom svijetu

Question 6

Na koji se način rješava problem nedostajućih podataka?

Answer 6

Zanemarivanjem svih primjera koji ih sadrže, zamijenom nedostajuće vrijednosti nekom drugom (mjera sredine, mediana ili najčešćom kategorijom).

Question 7

Na koji način se detektiraju netočni podaci?

Answer 7

Detaljnim pregledom skupa podataka, vizualizacijom i promišljanjem o podacima.

Question 8

Navesti dva tipa nekonzistentnosti u podacima.

Answer 8

Različiti atributi mogu biti predstavljeni istim imenom u različitim sustavima i jedan atribut može imati više sinonima (npr. Merc, Mercedes, M-Benz, Mrcds).

Question 9

Opisati pojavu stršećih podataka.

Answer 9

Podaci koji odudaraju daleko izvan uobičajenih vrijednosti za određene atribute.

Question 10

Navesti korištene postupke otkrivanja stršećih podataka.

Answer 10

Vizualizacija podataka, statistički postupci (z-skor, vjerojatnosni modeli, linearna regresija), algoritmi nenadziranog strojnog učenja, normalizacija podataka.

Question 11

Opisati pojavu rijetkih podataka i problem koji uzrokuju.

Answer 11

Slučaj kada za neke atribute samo mali broj primjera ima vrijednost različitu od 0, većina algoritama strojnog učenja loše radi s rijetkim podacima.

Question 12

Opisati pojavu šumovitih podataka.

Answer 12

Šum u podacima je u nekoj mjeri prisutan u svim podacima koji su rezultat mjerenja putem određenih senzora, iako šum može biti i rezultat utjecaja prirodnih procesa.

Question 13

Opisati pojavu monotonih atributa.

Answer 13

Monotoni atributi su takvi atributi čija vrijednost raste (ili se smanjuje) bez ograničenja.

Question 14

Opisati idealne skupove podataka.

Answer 14

Skupovi podataka koje prati dokumentacija/stručni članak i programski kod, format podataka koji je lako obraditi, ranije očišćeni i pripremljeni skupovi podataka.

Question 15

Opisati poboljšavanje skupa podataka.

Answer 15

Proces umjetnog povećavanja broja primjera: generiranje novih sintetskih primjera.

Question 16

Definirati inženjerstvo značajki.

Answer 16

Inženjerstvo značajki je proces kojim se nastoje odabrati ili transformirati najbitnije značajke iz pripremljenog skupa podataka s ciljem uspješnog modeliranja. Cilj je pronaći optimalni skup značajki za neki problem.

Question 17

Navesti pristupe inženjerstvu značajki.

Answer 17

• Ručni pristup: računanje značajki iz sirovih
  podataka
• Poluatomatizirani pristup
• Potpuno automatizirani pristup

Question 18

Navesti načine ručnog pristupa inženjerstvu značajki.

Answer 18

• Dodavanje novih značajki na temelju
  postojećih: binning, one-hot encoding,
  normalization (decimalno skaliranje, min-max,
  z-skor), ručno kombiniranje više značajki
  u jednu
• Uklanjanje nebitnih značajki: monotone,
  konstantne, statistički redundantne

Question 19

Navesti tehnike poluautomatiziranog pristupa inženjerstvu značajki.

Answer 19

• Odabir značajki: zadržava se interpretacija
  značajki (filteri, omotači, ugrađeni postupci,
  hibridni) - najmanji mogući broj značajki koji
  daje najbolje rezultate
• Izgradnja značajki: iterativna primjena različitih
  operatora za izgradnju novih značajki
• Redukcija dimenzionalnosti.

Question 20

Opisati filterske postupke za odabir značajki.

Answer 20

Filterski postupci definiraju kriterij koliko je određena značajka bitna za opis ciljne varijable. Obično se značajke rangiraju s obzirom na taj kriterij.

Question 21

Opisati postupke omotača za odabir značajki.

Answer 21

Koriste algoritam strojnog učenja za evaluaciju određenog posdskupa značajki kako bi donijeli odluku o tome je li taj podskup bolji/isti/lošiji od nekog nadskupa.

Question 22

Opisati ugrađene postupke za odabir značajki.

Answer 22

Izbor značajki koji se temelji na nekom algoritmu strojnog učenja.

Question 23

Opisati hibridne postupke za odabir značajki.

Answer 23

Kombiniraju najbolja svojstva filtera i postupaka omotača.

Question 24

Opisati potpuno automatizirani pristup inženjerstvu značajki.

Answer 24

Pristup kojim se zaoblilazi ekspretno izlučivanje značajki uz pretpostavku da se radi nad sirovim ulaznim podacima. Neki poznati algoritmi za učenje značajki: PCA, ICA, višeslojni perceptron, CNN, autoenkoderi, ograničeni Boltzmanovi strojevi.

Question 25

Što se sve smatra privatnim podatkom?

Answer 25

Medicinski, financijski i osobni podaci (OIB, broj osobne iskaznice, putovnice).