Dodatne metode klasifikacije Flashcards
Прецизност и одзив правила
Одзив правила: проценат броjа слогова коjи
задовољаваjу леву страну правила
Прецизност правила: проценат броjа слогова коjи
задовољаваjу десну страну правила од слогова коjи
задовољаваjу леву страну правила
Ogranicenja pravila skupa
Uzajamno iskljuciva pravila:
-ne postoje 2 pravila koja pokrivaju istu instancu
-svaki slog je pokriven najvise jednim pravilom
Pravila pokrivaju sve mogucnosti:
-svaki slog je pokriven sa bar 1 pravilom
Problemi i resenja klasifikacije zasnovane na pravilima
1.Pravila nisu uzajamno iskljuciva
2.Neke slogove moze da pokriva vise pravila–>skup pravila uredjen po redosledu,
neuredjen skup pravila(glasacki sistem)
3.Pravila ne moraju da pokrivaju sve mogucnosti –>moze se desiti nepokriven slog niti jednim pravilom, koristi se predefinisana klasa
C4.5 algoritam
formira pravila na osnovu drveta odlucivanja formiranog c4.5 algoritmom ,predstavlja indirektnu metodu
Direktna metoda(1R,CN2,RIPPER)
1.1R(one rule)
Za svaki atribut u skupu podataka formira se jedno pravilo ,a zatim bira pravilo sa najvecom preciznoscu.
Nepoznate vrednosti tretira kao izdvojene vrednosti u skupu vrednosti atributa
2.CN2
formira uredjen skup pravila,prema kvalitetu.Koristi sekvencijalno pakovanje i odredjuje naredno pravilo bez fiksiranja klase unapred
Posledica = pravila za razlicite klase su pomesana
3.RIPPER
Koristi sekvencijalno pakovanje,formira uredjen skup pravila,unapred se fiksira klasa i odrede sva pravila za tu klasu .Na narednu klasu se prelazi tek kada se kompletira prethodna klasa .Redosled pravila unutar grupe koja odredjuje jednu klasu nije bitan,bok je redosled pravila u uredjenoj listi direktan velicinom klase odnosno redosledom odredjivanja pravila
Osobine sekvencijalnog pakovanja(CN2,RIPPER)
porast skupa pravila,uklanjanje odredjenih instanci,provera pravila,kriterijum zaustavljnja ,potkresivanje pravila
CN2 algoritam:
1.{}
2.dodaj konjukte koji minimizuju entropiju:
3.odredi redosled pravila uzimajuci u najbolje klase instance koje pokrivaju pravilo
RIPPER
1.pocni od {}
2.Dodaj konjukte koji maksimizuju FOIL-ovu meru dobiti kvalitet informacije
uklanjanje instanci:
bez eliminacije instanci naredno pravilo bi bilo identicno prethodnom pravilu
Eliminacijom pozitivnih insanci obezbedjuje se da se sledece pravilo razlicito od postojecih
Eliminacijom negativnih instanci omoguceno je smanjene preciznosti pravila
Kriterijumi zaustavljanja i potkresivanje pravila
Izracunavanje dobiti, ako dobit nije znacajna odbaci pravilo
Potkresivanje pravila:
Slicno potkresivanju drveta odlucivanja ,smanjivanje gresake potkresivanjem
Prednosti klasifikatora zasnovanih na pravilima
Imaju istu moc kao i drveta odlucivanja,jednostavna interpretacija,jednostavno formiranje , mogu brzo da klasifikuju nove instance,uporedive sa drvetima odlucivanja
Klasifikatori zasnovani na instancama
Ne postoji model,lenji klasifikatori..
Osnovna ideja:
Potrebno -skup sacuvanih slogova,metrika za racunanje ,vrednost k koja predstavlja broj najblizih suseda
Izbor vrednosti k
Ako je k jako malo klasifikacije je osetljiva na sum
Ako je k veliko susedi mogu da ukljuce tacke iz drugih klasa
