Lecture 2

Question 1

Podaci

Definicija

Answer 1

Kolekcija objekata i njihovih atributa.
- Podaci mogu imati delove
- Mogu biti povezani
- Mogu biti nekompletni

Question 2

Atribut

Definicija

Answer 2

Svojstvo ili karakteristika objekta.
Skup atributa opisuje objekat.

Promenljiva, polje, karakteristika…

Primer: boja očiju, temperatura…

Question 3

Vrednosti atributa

Answer 3

Brojevi ili simboli dodeljeni atributu nekog objekta.

Question 4

Tipovi atributa

Answer 4

• Nominalni (imenski): string, poređenje po vrednosti
• Ordinalni (redni): brojevi, uređen tip
• Intervalni: datumi, temperature; imaju jedinicu mere, +,-
• Razmerni: dužina, vreme; *,/

Question 5

Tipovi atributa

Po broju vrednosti

Answer 5

• Diskretni: konačan ili prebrojivo beskonačan skup vrednosti; integer; specijalno: binarni atributi
• Neprekidni: realni brojevi; predstavljeni kao floating-point vrednosti

Question 6

Asimetrični atributi

Answer 6

Ne-nula vrednost atributa je bitna; potrebne su dve binarne vrednosti za jedan binarni atribut
Obično dolaze iz objekata koji su skupovi.

Question 7

Kritike/Nedostaci

Answer 7

• nekompletni atributi
• pravi podaci su približni i “bučni” (komplikovano prepoznavanje pravog tipa atributa)
• nisu dobri za statističku analizu (ograničava operacije i rezultate; transformacije česte ali ne očuvavaju skale/razmere)

Tip operacije i atributa treba da bude izabran u zavisnosti od potreba i tipa podataka.

Question 8

Skupovi podataka

Tipovi

Answer 8

• Zapisi (matrica podataka, dokumenti i transakcije)
• Grafovi (WWW, molekularne strukture…)
• Uređeni skupovi (prostorni, vremenski, sekvencijalni podaci)

Question 9

Karakteristike podataka

Answer 9

• Dimenzionalnost (broj atributa)
• Retkost (samo neprazni podaci i vrednosti atributa se računaju)
• Rezolucija/Odlučivanje (obrasci zavise od skale)
• Veličina (tip analize zavisi od veličine podataka)

Question 10

Matrica podataka

Zapisi

Answer 10

Za podatke koji se mogu posmatrati kao tačke u multidimenzionalnom prostoru;
Matrica veličine m×n, m redova za svaki objekat, n kolona za svaki atribut.

Sastoji se od skupa zapisa, a svaki se sastoji od fiksnog skupa atributa

Question 11

Transakcije

Zapisi

Answer 11

Svaka transakcija ima skup stavki.

Question 11

Dokumenti

Zapisi

Answer 11

Svaki dokument je term vektor;
Svaki term je komponenta/atribut vektora;
Vrednost svake komponente je broj puta koliko se term pojavljuje u dokumentu.

Question 12

Problemi kvaliteta podataka

Answer 12

• Outlier-i i “buka”
• Nedostajuće vrednosti
• Duplikati
• Pogrešni podaci

Question 13

Outlier-i i “buka”

Answer 13

Za objekte: buka su spoljašnji (nebitni) objekti
Za atribute: buka je modifikacija originalnih vrednosti
Outlier-i: objekti sa drastično različitim karakteristikama u odnosu na ostatak skupa podataka (mogu biti buka, a mogu se samo oni i posmatrati)

Question 14

Nedostajuće vrednosti

Answer 14

Razlozi: nisu prikupljeni podaci, atributi nisu primenljivi na sve slučajeve
Rešavanje: ignorisanje tokom analize, aproksimacija nedostajućih podataka, eliminacija objekata i varijabli

Question 15

Tipovi nedostajućih vrednosti

Answer 15

MCAR (Missing completely at random): nedostatak vrednosti je nezavisan od atributa; dopunjuje se vrednostima na osnovu atributa; analiza takvih podataka može biti bez bias-a.
MAR (Missing at Random): zavisi od drugih atributa; na osnovu drugih vrednosti se dopunjuje, i uvek ima bias u analizi.
MNAR (Missing not at random): zavisi od neprimećenih merenja, može biti informativna ili neignorljiva.
Ne može se uočiti iz podataka.

Question 16

Rešenja nedostajućih vrednosti

Answer 16

1. Pokušaj da se pronađu nedostajući podaci (uglavnom nerealno)
2. Educated guess (nije preporučljivo)
3. Odbacivanje podataka
   - brisanje čitavog objekta (CCA): najčešće, ako MCAR nije zadovoljen ili nije dovoljno veliki set, nije optimalno
   - po parovima (ADA): čuva više podataka nego CCA, manje biased za MCAR ili MAR, analize su svaki put drugačije
   - izbacivanje celog atributa: zavisi od situacije, poslednja opcija
4. Čuvanje svih podataka (Mean, Median, Mode se koriste kao vrednosti imputacije; poslednja vrednost u NA (LOCF), sledeća vrednost u NA (NOCB), linearna interpolacija, dodavanje kategorije za NA, česta imputacija kategorije, imputacija proizvoljne vrednosti, dodavanje promenljive za NA, imputacija pri random sampling-u)

Question 17

Duplikati

Answer 17

Javlja se kada se sastavljaju podaci iz različitih izvora. Treba ih obrisati tokom čišćenja.

Question 18

Mere sličnosti i različitosti

Answer 18

Mera sličnosti: numerička vrednost predstavlja koliko su dva objekta slična, veća kada su sličniji, u rasponu 0,1
Mera različitosti: numerička vrednost poredstavlja koliko su dva objekta različita, manja kada su sličniji, 0 kao minimum, max. vrednost varira.
Približnost označava sličnost, odnosno, različitost
Koriste se: Euklidska i Minkoviski distanca

Question 19

Osobine distance

Answer 19

s(x,y)=1, maksimalno, kada je x=y
s(x,y)=s(y,x), simetrija