College 5 - Connectionisme Flashcards
Connectionisme
Een versie van het functionalisme
Een alternatief voor de klassieke seriële, stapsgewijze, regelgeleide kijk op intelligentie en informatieverwerking
Het plan van de connectionisten
Ze stellen dat ons brein een neuraal netwerk is en dat als we een kunstmatig brein willen maken, dat we dan zo dicht mogelijk bij de architectuur van het brein moeten blijven als dat kan
Units (connectionistisch netwerk)
Units zijn de AI ‘neuronen’ –> ze ontvangen input en verzenden output
Weights (connectionistisch netwerk)
De sterkte van de output die een unit verzendt (gerelateerd aan een bepaalde input) is telkens anders –> dit noemt men the weight (hij kan zowel remmend als stimulerend zijn)
Connectionistische netwerk verdeling
Parallel
Parallel
Elke unit kan in principe met elke andere unit verbonden worden (oplossing voor schade gevoeligheid van serieel netwerk)
Connectionistisch netwerk bestaat uit
Input units - hidden units - output units
Functie van laag van hidden units
Hierin wordt de input geïnterpreteerd en doorgestuurd naar de output units
Functie van laag van output units
Hierin wordt onderscheid gemaakt tussen de verschillende uitkomsten en kan je de informatie aflezen
Betekenis drempelwaarde
O wordt pas actief als hij van beide units input krijgt
Eenvoudig netwerk
2 input units, 1 output unit
Connectionistisch netwerk maken
- De sterkte van de frequenties bepalen
- Voer dit in een PDP netwerk in
- Het systeem trainen (via backpropagation)
Backpropagation
Steeds iets aanpassen, kijken naar het effect op de uitkomst. Is het effect een vooruitgang richting de gewilde uitkomst? dan houd je deze aanpassing. Is het geen vooruitgang dan die je weer een stapje terug en probeer je weer iets anders.
–> We weten niet waarom dit het juiste antwoord is
Gradient descent learning
Dat het stapje voor stapje verloopt
Speelt geheugen een rol in de goede werking van het systeem?
Nee, de gezichtsherkenning werkt ook super goed bij het gebruiken van verschillende foto’s
Probleem 1e generatie modellen
Snapshot reasoning
Snapshot reasoning
Tijd is uit het model gelaten
Oplossing snapshot reasoning
Recurrent pathways –> het model kan rekening houden met de input zelf en met de eerder gegeven input, een soort korte termijn geheugen
Goede dingen aan het connectionisme
- Biologisch realistischer dan functionalisme
- Economische manier van representeren
- Schade tolerantie
- Patroonafmaking
- Gratis generalisatie
Economische manier van representeren
Je kan dezelfde units en verbindingen gebruiken om vele representaties op te slaan/te activeren
Schade tolerantie
Doordat het systeem parallel is en niet serieel kan je wel een unit missen en dan toch nog de juiste output verkrijgen
Graceful degradation
Het systeemm gaat slechts langzaamaan stuk –> het heeft dus een hoge tolerantie voor schade (damage tolerance)
Patroon afmaking
Zelf als de input niet compleet is, is de output vaak toch nog wel correct, patronen worden dus afgemaakt
Gratis generalisatie
Als je een input A2 hebt, die lijkt op input A1, dan kan je adequaat handelen, zelfs als de situatie facto nieuw is
