Lecture 3

Question 1

Predobrada podataka

Answer 1

• čišćenje podataka (nedostajući podaci, buka, outlier-i, nekonzistentni podaci): prvi korak
• transformacija podataka (normalizacija, agregacija - kombinovanje 2 ili više atributa/objekata u jedan, zbog smanjenja podataka, promene skale, i stabilnijih podataka)
• integracija podataka (integracija više baza podataka, kocki ili fajlova)
• smanjivanje podataka (smanjen broj zapisa, atributa ili vrednosti)

Question 2

Dimenzionalnost podataka

Answer 2

Ako je velika, to su podaci ređi u prostoru koji zauzimaju, pa su definicije gustine i udaljenosti manje relevantne.

Question 3

Smanjenje dimenzionalnosti

Answer 3

Da se izbegne prethodno, smanji vreme i memorija potrebni za data mining algoritme, za lakšu vizuelizaciju podataka, pri izbacivanju nebitnih podataka i smanjenju buke

Tehnike: PCA, SVD, nadgledane i nelinearne tehnike

Question 4

PCA

Smanjenje dimenzionalnosti

Answer 4

Principal Components Analysis: cilj je naći projekciju koja obuhvata najveći nivo varijacije u podacima.
Radi samo sa numeričkim podacima, koriste se ortogonalni vektori i mogu biti teški za interpretaciju.

Question 5

Uzorkovanje

Answer 5

Glavna tehnika za smanjenje podataka (često se koristi i za preliminarnu analizu i za finalnu)
Najčešće se koristi u data mining-u (procesiranje celog skupa podataka je previše skupo ili oduzima previše vremena)

Question 6

Ključni princip uzorkovanja

Answer 6

Uzorak mora da bude reprezentativan, tada ima slične osobine kao i originalni skup podataka.

Question 7

Tipovi uzorkovanja

Answer 7

• Prosto nasumično uzorkovanje: jednaka verovatnoća biranja elementa -> uzorkovanje bez zamene (svaki izabrani element je izbačen iz populacije), uzorkovanje sa zamenom (izabrani element je i dalje u populaciji, pa može biti izabran više puta)
• Stratifikovano uzorkovanje: podaci su podeljeni u nekoliko particija (nasumični uzorci iz svake particije)

Question 8

Izbor podskupa atributa

Answer 8

Smanjenje dimenzionalnosti podataka
Uklanja nebitne podatke i duplikate
Tehnike: brute-force (svi mogući načini podskupova kao input za data mining), ugrađene (odabir atributa je prirodan deo data mining algoritma), filtriranja (jedan prolazak kroz podatake, atributi izabrani pre početka algoritma), wrapper (više prolazaka kroz podatke, data mining algoritam kao crna kutija za najbolji podskup atributa)

Question 9

Kreiranje atributa

Izbor podskupa atributa

Answer 9

Kreiranje novih atributa koji bolje predstavljaju bitne podatke u skupu;
1. Ekstrakcija atributa
2. Konstrukcija atributa
3. Mapiranje podataka u novi prostor (Furijeove i Wavelet transformacije)

Question 10

Diskretizacija

Answer 10

Proces pretvaranja neprekidnog atributa u redni (beskonačan broj vrednosti mapiran u mali broj kategorija; koristi se u klasifikaciji; algoritmi za klasifikaciju najbolje rade kada (ne)zavisni atributi imaju malo vrednosti).
- nesupervizirana diskretizacija nalazi prekide u vrednostima podataka
- supervizirana diskretizacija koristi labele klasa za nalaženje prekida (zasnovano na entropiji)

Question 11

Bučni podaci

Answer 11

• Sortiranje podataka i particionisanje u “kante” iste frekventnosti (posle toga smooth proces kroz srednje, granične vrednosti…)
• Regresija (fit-ovanje podataka u funkcije regresije)
• Klasterovanje (detekcija i uklanjanje outlier-a)
• Kombinovana računarska i ljudska inspekcija (detekcija sumnjivih vrednosti i ljudska provera)

Question 12

Sortiranje u kante

Proste metode diskretizacije

Answer 12

• Jednake distance: najjednostavnije, ali outlier-i mogu da budu dominantni; iskrivljeni podaci nisu dobro obrađeni
• Jednaka frekvencija: dobro skaliranje podataka, kategorički podaci mogu biti problematični

Question 13

Transformacija atributa

Answer 13

Funkcija mapira ceo skup vrednosti atributa u novi skup vrednosti
Standardizacija i normalizacija
Podaci izgledaju kao normalna distribucija, za zadovoljavanje algoritama
Normalizacija:
- Min-Max
- Z-score
- Decimalno skaliranje