11) Umjetne neuronske mreže Flashcards
Razlikovati izmedu simboličke i konekcionističke UI
Od prvih dana razvoja umjetne inteligencije (rane ‘50) postoje dva pristupa razvoju inteligentnih sustava:
I Simbolički pristup: znanje iz neke domene nastoji se obuhvatiti skupom atomičkih semantičkih objekata (simbola) i zatim manipulirati tim simbolima pomoću algoritamskih pravila
I Konektivistički pristup: temelji se na izgradnji sustava arhitekture slične arhitekturi mozga koji, umjesto da ga se programira, uči samostalno na temelju iskustva
Simbolički pristup je dobar u mnogim područjima (osobito isplativ postao je razvojem ekspertnih sustava), ali nije ispunio rana ekstravagantna obećanja.
Neuspjeh leži u pogrešnoj pretpostavci da je svako znanje moguće formalizirati i da je mozak stroj koji podatke obrađuje formalnim pravilima.
Objasniti osnovne koncepte UNM (UNM, unaprijedna i unaprijedna slojevita UNM)
Umjetna neuronska mreža je skup mđusobno povezanih jednostavnih procesnih elemenata (neurona) čija se funkcionalnost temelji na biološkom neuronu i koji služe distribuiranoj paralelnoj obradi podataka. Dvije faze rada s ANN:
1 Faza učenja (treniranja) i
2 Faza obrade podataka (iskorištavanja, eksploatacije).
Učenje je iterativan postupak predo£avanja ulaznih primjera (uzoraka, iskustva) i eventualno o£ekivanog izlaza pri £emu dolazi do postupnog prilagođavanja težina veza između neurona.
Jedno predočavanje svih uzoraka naziva se epohom
Razlikujemo:
1 Pojedinačno učenje (engl. on-line): učenje se događa nakon svakog predočenog uzorka
2 Učenje s minigrupama (engl. mini-batches): učenje se događa nakon više predočenih uzoraka
3 Grupno učenje (engl. batch): učenje se događa tek nakon svih predočenih uzoraka
Znanje o izlazu kao funkciji ulaza pohranjeno je implicitno
u težinama veza neurona
Skicirati, objasniti i formalno definirati McCulloch-Pittsov model umjetnog neurona
TLU Perceptron (Threshold Logic Unit). Vrijednost sa svakog ulaza xi množi se osjetljivošću tog ulaza wi i akumulira u tijelu. Ukupnoj sumi dodaje se pomak w0 (još se označava i b od engl. bias). Time je definirana akumulirana vrijednost net = suma od 1 do n wi*xi + w0.
Ta se vrijednost propu²ta kroz prijenosnu funkciju čime nastaje izlazna vrijednost: o = step(net)
Navesti i definirati različite prijenosne funkcije
Često korištene prijenosne funkcije su:
I Identitet (ADALINE-neuron) - propušta ono što je na ulazu
I Funkcija skoka (TLU-perceptron) 0 ili 1
I Sigmoidalna funkcija (sigmoidalni neuron) = 1/1+e^(-net)
I Tangens hiperbolni (2/1+e^(-2net)) - 1
I Zglobnica (Rectied Linear Unit, ReLU) max(0, net)
I Propusna zglobnica (Leaky Rectied Linear Unit, LReLU) net ako veće jednako od 0, alfa * net inače
Objasniti TLU-perceptron
model umjetnog neurona omogu¢ava da se akumulirana
vrijednost propusti kroz neku prijenosnu funkciju f.
Objasniti kako ide kroz njega i kako je spojen s drugima.
TLU-perceptron ima linearnu decizijsku
granicu. Takvim neuronom ne možemo riješiti
problem klasifkacije linearno-nerazdvojivih razreda. Da bismo pove’ali ekspresivnost mreže i omogućili joj modeliranje nelinearnih odnosa, korišteni neuroni moraju imati prijenosne funkcije koje su nelinearne.
Definirati i objasniti Rosenblattov algoritam učenja perceptrona
Mijenjanjem jačina neuron uči.
Ciklički prolazi kroz svih N uzoraka za učenje, jedan po jedan.
Klasifciraj trenutni uzorak.
Ako se klasifcira korektno, ne mijenjaj težine i
ako je to N-ti uzastopni uzorak klasifciran korektno, prekini učenje,
inače prijeđi na sljedeći uzorak.
Ako se ne klasifcira korektno, korigiraj težine perceptrona prema sljedećem izrazu:
wi(k + 1) ← wi(k) + η · (t − o) · xi
Parametar η (eta) naziva se stopa učenja
I To je pozitivan broj malog iznosa (primjerice, između 0.001 i 0.5) koji regulira u kojoj će se mjeri ažurirati trenutne vrijednosti težina
I Ako je η premali, postupak učenja će napredovati vrlo sporo
I Ako je η preveliki, postupak može divergirati
Primijeniti Rosenblattov algoritam učenja perceptrona na dani skup podataka
Tablica: epoha (x1, x2, y) net faktor o
korekcija-da/ne?
Objasniti potrebu za nelinearnim prijenosnim funkcijama
Identiteta tj izlaz iz neurona može modelirati samo linearne funkcije između -1 i 1, pa nam, ako želimo modelirati nelinearne funkcije ili trebamo drugačiji izlaz koristimo prijenosne funkcije.
Objasniti notaciju za strukturu unaprijedne slojevite neuronske mreže
Slojevi međusobno povezanih neurona - ulazni, skriveni i izlazni slojevi. U svakom sloju je n neurona, u svaki ulaze pragovi i težine
Objasniti problem dodjele odgovornosti i kako algoritam BP rješava taj problem
Postupak u£enja neuronskih mreºa koji se temelji na u£inkovitom izra£unu
svih parcijalnih derivacija i njihovoj primjeni na odreivanje iznosa kojim
korigiramo svaku od teºina zove se Postupak propagacije pogre²ke unatrag
(engl. Error Backpropagation)
Definirati izraze za pogreške i ažuriranje težina algoritma BP
Primijeniti algoritam BP na danu UMN i jedan primjer za učenje
