Nevrosnke mreze (NEO) Flashcards
Kaj je nevronska mreža?
Nevronska mreža je povezava več umetnih nevronov, ki delujejo skupaj, da obdelujejo podatke in izvajajo različne naloge, kot so razpoznavanje vzorcev in odločanje.
Kako je sestavljen umetni nevron?
Nevron je sestavljen iz dveh komponent:
- Vhodna funkcija (f): Linearna komponenta, ki predstavlja seštevek produktov vhodov in uteži.
- Aktivacijska funkcija (o): Funkcija, ki pretvori izhod vhodne funkcije v diskreten ali analogen izhod (npr. sigmoidna funkcija).
Kaj je topologija nevronske mreže?
Topologija nevronske mreže določa število in način povezave nevronov v mreži. Delimo jih na:
- Mreže s povezavami nazaj (rekurentne).
- Mreže s povezavami naprej (feedforward), kjer:
+ Povezave med nevroni na istem nivoju niso dovoljene.
+ Povezave nazaj na prejšnje nivoje niso dovoljene.
+ Preskakovanje nivojev pri povezavah naprej ni dovoljeno.
Kakšne so zmogljivosti nevronskih mrež glede na število nivojev?
- Brez skritih nivojev: Mreža lahko loči prostor na dve polravnini (perceptroni).
- Z enim skritim nivojem: Lahko omeji poljubno konveksno področje.
- Z dvema skritima nivojema: Lahko omeji poljubno področje.
Kakšne so razlike med feedforward in rekurentnimi nevronskimi mrežami?
- Feedforward mreže:
+ Izhodi nevronov se prenašajo naprej (od vhodov proti izhodom).
+ Povezave nazaj niso dovoljene. - Rekurentne mreže:
+ Povezave so lahko v obe smeri.
+ Bolj posnemajo delovanje bioloških nevronskih mrež.
Naštej tipe učenja v nevronskih mrežah.
- Nadzorovano učenje (supervised learning): Sistem učenja z učiteljem, ki mreži poda pravilen odgovor.
- Nenadzorovano učenje (unsupervised learning): Mreža se organizira sama brez idealnih odgovorov.
- Prisilno učenje (reinforcement learning): Mreža dobi oceno uspeha občasno, ne za vsak učni objekt.
Katere vrste aktivacijskih funkcij poznamo?
- Linearna
- Stopnicasta
- Sigmoidna
Pojasni postopek učenja z metodo backpropagation.
- Določimo topologijo mreže.
- Za vsak učni objekt primerjamo izhod mreže (y) s pričakovanim rezultatom (t).
- Če sta y in t različna, popravimo uteži, da zmanjšamo napako E.
- Ponavljamo, dokler napaka ni dovolj majhna ali ne dosežemo največjega števila ciklov.
Kakšni so cilji metode backpropagation?
- Zmanjšati napako
E tako, da optimiziramo uteži mreže.
-Izboljšati ujemanje med izhodnim vektorjem y in pričakovanim rezultatom t
Kaj so Hopfieldove nevronske mreže in za kaj jih uporabljamo?
- So organizirane kot asociativni pomnilnik.
- Shrani množico učnih objektov kot stabilna stanja.
- Uporabljajo se za razpoznavanje vzorcev in konvergirajo k najbližjemu stabilnemu stanju.
Kako delujejo Kohonenove nevronske mreže?
- Delujejo na podlagi samoorganizacije in nenadzorovanega učenja.
- Nevroni tekmujejo, zmagovalci krepijo uteži, poraženci jih oslabijo.
- Po dovolj iteracij klasificirajo podatke v skupke (clusters).
Kako izberemo ustrezni model nevronske mreže za problem?
- linearno locljivi problemi - (perceptroni, nm brez skirtih nivojev)
- linearno nelocljivi problemi -> (vecnivojske backpropagation nm)
- razpoznavanje vzorcev -> (hopfieldove nevrosnke mreze)
- nenadzorovano, samoorganizirano, tekmovalno ucenje -> (kohonenove nm)
- razpoznavanje objektov (velike kolicine podatkov) -> globoke nevronske mreze
Kaj sta parametra
η (hitrost učenja) in
α (moment) pri metodi backpropagation?
η: Določa hitrost prilagajanja uteži; z manjšimi spremembami lahko preprečimo, da se mreža ujame v lokalni minimum.
α: Doda vztrajnost pri spreminjanju uteži, da se izognemo prevelikim oscilacijam.
Kakšni tipi vhodnih spremenljivk obstajajo v nevronskih mrežah?
- Binarni (0 ali 1).
- Bipolarni (-1 ali 1).
- Realna števila.
Kako deluje feedforward v metodi backpropagation?
Feedforward pomeni, da se vrednosti premikajo od vhodnega nivoja preko skritih nivojev do izhodnega nivoja. Na vsakem nivoju izračunamo izhod vsakega nevrona.
Kakšne omejitve ima feedforward topologija?
- Povezave med nevroni na istem nivoju niso dovoljene.
- Povezave nazaj na prejšnje nivoje niso dovoljene.
- Ni možno preskakovanje nivojev pri povezavah naprej.
Kaj pomeni, da so Hopfieldove nevronske mreže enodimenzionalne?
To pomeni, da so nevroni v Hopfieldovi mreži razporejeni v eno dimenzijo, kar zahteva, da vsak vzorec predstavimo kot enodimenzionalni vektor.
Kako Kohonenove nevronske mreže definirajo sosesko za določen nevron?
Soseska se določi glede na radij r, ki je odvisen od dimenzij mreže (enodimenzionalna, dvodimenzionalna ali trodimenzionalna). Soseska vključuje nevrone, ki so v določenem radiju okrog izbranega nevrona.
Kaj je asociativni pomnilnik in kako je povezan s Hopfieldovimi mrežami?
Asociativni pomnilnik omogoča, da mreža shrani več vzorcev kot stabilna stanja. Če mreža prejme nov vzorec, bo konvergirala k stabilnemu stanju, ki je najbližje temu vzorcu.
Kako Kohonenove nevronske mreže razvrstijo podatke?
Z učenjem mreža spreminja uteži nevronov glede na pogostost pojavljanja vhodnih vzorcev. Po zadostnem številu iteracij razvrsti podobne vzorce v skupke (clusters).
Zakaj perceptroni ne morejo rešiti linearno neločljivih problemov?
Perceptroni lahko ločijo podatke le z eno linearno mejo. Linearno neločljivi problemi zahtevajo nelinearne meje, ki jih lahko ustvarijo samo mreže z vsaj enim skritim nivojem.
Kakšne prednosti imajo večnivojske nevronske mreže pred enonivojskimi?
Večnivojske mreže lahko:
- Razlikujejo bolj kompleksne vzorce.
- Rešujejo linearno neločljive probleme.
- Ustvarijo poljubno kompleksne ločilne meje.
Kako deluje tekmovalno učenje v Kohonenovih mrežah?
Tekmovalno učenje pomeni, da nevroni tekmujejo za aktivacijo pri določenem vhodu.
- Zmagovalni nevron prilagodi svoje uteži, da se bolje prilega vhodnemu vzorcu.
- Preostali nevroni zmanjšajo svoje uteži.
Kakšne so glavne razlike med nadzorovanim in nenadzorovanim učenjem?
- Nadzorovano učenje: Mreža prejme učni vzorec in pričakovani rezultat, da prilagodi svoje uteži.
- Nenadzorovano učenje: Mreža prejme le učni vzorec in sama organizira svoje uteži glede na podobnosti med podatki.
Kaj pomeni “lokalni minimum” pri metodi backpropagation in kako ga lahko premagamo?
Lokalni minimum je točka, kjer napaka
E ni globalno najmanjša, ampak se zdi optimalna za trenutno stanje. Premagamo ga z:
- Spremembo parametra
η (hitrost učenja). - Dodajanjem parametra
α (moment).
Zakaj so Kohonenove nevronske mreže primerne za klasifikacijo podatkov?
Ker delujejo na podlagi samoorganizacije in klasificirajo podatke v skupine glede na podobnost, brez potrebe po nadzoru ali idealnih odgovorih.
Kaj je vektor značilk in kakšna je njegova vloga v nevronskih mrežah?
Vektor značilk je niz vhodnih podatkov (atributov), ki se poda v nevronsko mrežo za obdelavo. Predstavlja opis objekta, ki ga mreža obravnava.
Kakšna je razlika med sigmoidno in stopničasto aktivacijsko funkcijo?
- Sigmoidna funkcija: Ima gladek prehod med vrednostmi in vrača rezultate med 0 in 1 (ali med -1 in 1).
- Stopničasta funkcija: Ima oster prehod in vrne diskretne vrednosti (npr. 0 ali 1).
Kako Hopfieldove mreže shranjujejo vzorce in zakaj jih po enem učenju ne spreminjamo več?
Hopfieldove mreže shranjujejo vzorce z nastavitvijo uteži glede na matriko povezav. Ko so uteži določene, jih ne spreminjamo več, da ohranimo stabilna stanja za shranjene vzorce.
