HC 5 --> connectionisme Flashcards
Hoe past de geest in de fysische wereld?
Dualisme & idealisme en wat is het interactieprobleem?
!!!!!
Nemen de wetenschap niet serieus, ze steunen op het bestaan van God om uit te leggen hoe de fysieke wereld kan blijven bestaan en hoe interactie kan blijven bestaan tussen fysieke en niet fysieke materie zoals mentale toestanden en lichaamstoestanden.
- Interactieprobleem: Hoe interageren (to interact) fysieke en mentale dingen?
Hoe past de geest in de fysische wereld?
Wat is een betere positie om de geest te benaderen dan dualisme en idealisme?
Materialisme/fysicalisme: enkel de fysieke substantie bestaat en mentale toestanden superveniëren op fysieke toestanden.
!!!!
Hoe past de geest in de fysische wereld?
Behaviorisme
Neemt de wetenschap wel serieus, maar de geest niet. Intuïtief gaan we ervan uit dat de geest in de blackbox zit, we zien niet welke mentale processen in ons hoofd gebeuren en negeren dit dus –> willen er niets over zeggen omdat ze denken dat het onwetenschappelijk is –> daarom kijken ze naar gedrag en missen ze de geest.
Hoe past de geest in de fysische wereld?
Geest-lichaam identiteitstheorie (Mind Body Identity Theory)
Mentale toestanden zijn bepaalde hersentoestanden
- bv pijn is identiek aan c-vezels vuren
Hoe past de geest in de fysische wereld?
Wat is het probleem voor identiteitstheorie?
De geest zou wel eens MR kunnen zijn –> probleem omdat
Hoe past de geest in de fysische wereld?
(Machine) functionalisme
- Neemt de geest, wetenschap en MR serieus
- Mentale toestanden (onze geest) worden gerealiseerd door fysieke toestanden (ons brein) die functioneren als een Turing machine
MAAR:
- Turing machine biologisch niet realistisch: Filing cabinet methode (shakey de robot: verwerkt geen nieuwe info) en is serieel geschakeld (1 ding tegelijk), lage schadetolerantie
- Chinese kamer argument: wel syntax, maar geen semantiek –> Niet denken alleen verwerker van info, heeft geen betekenis
Wat is Connectionisme?
- Neemt MR serieus (op eerste zicht)
- Biologisch meer realistisch dan machine functionalisme / klassieke Al
Connectionisme als alternatief voor het klassieke machine functionalisme
Gelijkenissen en verschillen
Gelijkenissen:
- Neemt MR serieus.
- Computationalistische visie op de geest: brein is hardware, geest software
Verschillen:
- Hoe informatie verwerkt wordt / computaties uitgevoerd worden: niet serieel, als een Turing machine, maar parallel, als een neuraal netwerk.
- Biologisch realistischer: gebaseerd op werking menselijke brein!
Wat zijn andere termen voor connectionisme?
Parallel Distributed Processing (PDP) en (kunstmatige) neurale netwerktheorie
Geef een voorbeeld van filosofisch connectionisten en wat zij stellen
- Paul & Patricia Churchland zijn filosofisch connectionisten.
- Zij bouwen geen netwerken, maar stellen dat ons brein een neuraal netwerk is: netwerk van eenheden dat informatie verwerkt op parallelle wijze.
- Als we een kunstmatig brein willen maken, moeten we zo dicht mogelijk bij de architectuur van het brein blijven: biologisch geïnspireerd!
Connectionisten aanvaarden de meervoudige realiseerbaarheid van de geest / mentale toestanden, MAAR:
Restrictie: het fysieke materiaal dat de geest kan realiseren moet in taat zijn een neuraal netwerk te realiseren!
(Kaas kan dat niet!)
Wat zijn biologische neurale netwerken?
- Ons brein is opgebouwd uit eenheden: neuronen.
- Deze ontvangen en verzenden informatie van/naar naburige neuronen door synapsen.
- Elke neuron heeft zeer lokale werking! Input — output.
- Centraal voor intelligentie is de werking van het hele netwerk.
- Dit vormt de inspiratie voor artificiële connectionistische of neurale netwerken.
Waaruit bestaat een connectionistisch netwerk?
- Eenheden / units. Dit zijn de Al “neuronen”, ze ontvangen input en verzenden output.
- Deze units zijn verdeeld over 3 layers of lagen: input - hidden - output.
- Connecties tussen units. De sterkte van de connectie tussen twee units is telkens anders: dit noemt men ‘the weight’ of het gewicht van de connectie. Die kan zowel remmend als stimulerend zijn.
- Units zijn parallel geschakeld: ze hoeven niet één voor één geactiveerd te worden (VS Turing Machine serieel!!)
Waar hangt de activatie van de unit vanaf?
- De activatie van geconnecteerde units in de voorgaande laag (bv 6/3/1)
- De gewichten van de connecties tussen deze unit en de eenheden in de voorgaande laag (bv 0,5/0,3/0,9)
- De activatiefunctie: hoe de unit activatie verwerkt (bijvoorbeeld: drempelwaarde: als <2 dan 0)
Voorbeeld activatiewaarde: (6 x 0,5) + (3 x 0,3)) + (1 x 0,9) = 3
Een netwerk moet getraind worden om de juiste output te krijgen, wat houdt dit in?
Connectie-gewichten worden aangepast
(VS Turing Machine: geprogrammeerd)
Vergelijk (artificiële) neurale netwerken met biologisch brein
Input = perceptie (bv lichtgevoelige cellen op netvlies)
Hidden = interne verwerking
Output = Motorische output / beslissingen
Wat zijn logische neuronen
vroeg connectionisme
- McCulloch & Pitts, 1943: Verklaren breinfuncties aan de hand van eenvoudige connectionistische netwerken: “logische neuronen” of “perceptrons”.
- Dit zijn ondiepe neurale netwerken van drie eenheden georganiseerd in twee lagen (input en output)
- Units zijn wel (waarde: 1) of niet (waarde: O) geactiveerd.
- Eenheden hebben een drempelwaarde: minimumwaarde die nodig is voor activering.
- Idee: elke logische operatie (zoals “en” en “of”) kan worden geïmplementeerd in een neuraal netwerk.
Wat is een probleem voor de Voorbeeld: logische neuronen?
vroeg connectionisme
PROBLEEM: “XOR”-functie
- Exclusieve disjunctie: Het één of het ander, niet beide…
- Bv “De kat is dood OF levend.” –> O mag enkel activeren als I1 OF I2 geactiveerd is, maar niet als beide geactiveerd zijn!
Oplossing:
- Complexer netwerk: Meer lagen.
- Training via backpropagatie
Wat is backpropagatie?
Op basis van informatie over het verschil tussen de juiste output en de gegeven output, past het het leer-algoritme connectiegewichten aan om de juiste output te bereiken.
OF
Leeralgoritme dat de gewichten van de verbindingen tussen de eenheden van een netwerk aanpast en zo het verschil tussen huidige output en gewenste output verkleint.
Het is erg moeilijk om na te gaan hoe neurale netwerken hun resultaten precies bekomen! Ze zijn opaak (niet transparent).
Wat neurale netwerken leren is afhankelijk van de data waarop ze worden getraind –> Overnemen van vooroordelen!
Wat is Gradient descent learning?
Stap voor stap, trial-and-error
- Slechtere output: Ongedaan maken, andere verandering uitproberen.
- Betere output: connectiegewichten aangepast.
Evaluatie van connectionisme
Idee: de geest wordt gerealiseerd door fysieke materie die de functie van een neuraal of connectionistisch netwerk uitvoert.
Wat zijn de uitdagingen voor connectionisme?
- Snapshot reasoning
- Verschillen brein/connectionistisch netwerk wat betreft leren
Wat is snapshot reasoning?
Uitdagingen voor connectionisme
Een probleem met eerste generatie connectionistische netwerken is dat ze enkel
aan “snapshot reasoning” kunnen doen: tijd is uit het model weggelaten.
Input –> hidden –> output
Veranderingen in input niet herkend als gerelateerd aan voorgaande input (geen geheugen)!
Deze worden simpelweg beschouwd als geheel nieuwe input…
Wat is de oplossing voor snapshot reasoning?
Uitdagingen voor connectionisme
Recurrent networks:
- Net als de hersenen, zowel feedforward- als feedbackverbindingen.
- Informatie uit latere lagen vertelt ons over het verleden.
- Door deze informatie terug te koppelen naar eenheden in de verborgen laag, wordt informatie over het verleden opgenomen in het systeem (als een soort kortetermijn-geheugen).
(Output –> hidden)
Wat zijn de verschillen brein / connectionistisch netwerk wat betreft leren?
Uitdagingen voor connectionisme
Hoewel biologisch geïnspireerd, is er een significant verschil tussen de (leer)prestaties van connectionistische netwerken en de hersenen.
- Gebrek aan anatomisch bewijs voor backpropagatie.
- Groot aantal herhalingen dat nodig is om te leren (VS kinderen).
- Catastrofale interferentie. Het systeem leert omgaan met nieuwe data, maar connectiegewichten worden hierbij zodanig aangepast dat oude data niet langer op juiste manier wordt geëvalueerd.
Wat zijn mogelijke oplossingen voor de verschillen in brein / connectionistisch netwerk wat betreft leren?
Uitdagingen voor connectionisme
- Het ontwikkelen van alternatieve leeralgoritmen.
- Het ontwikkelen van architecturen waardoor meerdere netwerken kunnen samenwerken.
(Hierboven zijn technische oplossingen: kernideeën over wat neurale netwerken doen blijven hetzelfde)
Hoe is de evolutie van neurale netwerken gegaan?
EERST: Shallow neural networks
- Ondiep: 3 tot 4 verborgen lagen
- Uniform: knooppunten implementeren slechts één soort functie
- Volledig verbonden (elke unit in één laag verbonden met elke unit in volgende)
DAARNA: Deep neural networks
- Diep: bevat vijf tot honderden lagen
- Heterogeen: eenheden voeren verschillende soorten functies uit
- Spaarzaam: units van verborgen lagen zijn verbonden met selectie units uit voorgaande lagen.
Nieuwe architecturen (LLM’s), meer efficiëntie, maar basis idee hetzelfde.
Wat zijn voordelen van connectionisme ten opzichte van klassieke Al?
Laat zien dat het inderdaad biologisch realistischer is dan machine functionalisme.
- Economische manier van representeren
- Bestand tegen schade
- Patroonafmaking
- Vrije generalisatie
Casus: Herkennen van geschreven letters
Biologisch realisme: Connectionisme VS klassieke Al
Herinner je: klassieke Al maakte gebruik van de “filing cabinet” methode: Je geeft het systeem alle nodige informatie/symbolen om tot gewenste output te komen.
- Bij klassieke Al zouden we alle mogelijke manieren om de letter A te schrijven aan het systeem moeten geven. Dat is een immense hoeveelheid data. Erg inefficiënt (of simpelweg onmogelijk).
- Maar onze geest / brein kan het wél!
- Neurale netwerken zijn goed in taken waarin klassieke Al slecht presteerde.
- Dankzij verdere ontwikkelingen kunnen netwerken steeds beter om met oude uitdagingen!
Wat is de economische manier van representeren?
- Informatie wordt opgeslagen in de vorm van activatiepatronen en connectiegewichten doorheen het hele systeem.
- Representaties zijn gestapeld: dezelfde units/verbindingen kunnen vele verschillende dingen representeren.
- Voorbeeld: netwerk dat geschreven letters kan herkennen kan ook leren om, via dezelfde units, geschreven cijfers te herkennen. Je hoeft hiervoor geen nieuwe units toe te voegen.
- Informatie is gedistribueerd over het hele systeem: Proposities/representaties zijn niet op één plek bewaard, maar gerepresenteerd door activatiepatronen doorheen het hele netwerk
- Propositionele attitudes zijn geen discrete entiteiten!
- Oud (volkspsychologisch) idee: PA’S zijn op zichzelf staande dingen (symbolen) –> Connectionisme: Nee! Veranderingen in één PA kunnen de representatie van een andere PA wijzigen!
- “Een kat is een zoogdier” –automatisch–> “Een hond is een zoogdier”
Wat houdt bestand tegen schade in?
- Klassieke Al: Serieel geschakeld. Één foutje in het systeem en het werkt niet meer.
-
Connectionistisch netwerk: Parallel geschakeld, informatie gedistribueerd over hele systeem.
–> Graceful degradation, hoge tolerantie voor schade (zoals brein!): je kan een unit missen en toch nog de juiste output krijgen.
Wat houdt patroonafmaking in?
- Zelfs als neurale netwerken incomplete input krijgen, is de output vaak toch nog wel correct.
- Patronen worden dus afgemaakt.
Wat houdt vrije generalisatie in?
- Connectionistische netwerken kunnen nieuwe data verwerken op basis van gelijkaardige data die ze in het verleden verwerkten.
- Voorbeeld: Als je een input (vb. tijger) hebt die lijkt op voorgaande input A1 (panter), waarop het systeem al getraind is, dan kan het systeem adequaat handelen, zelfs als de situatie nieuw is.
- Zoals wij, maar in tegenstelling tot klassieke Al.
Wat zegt Searle over de vrije generalisatie vs neurale netwerken?
- Denken/intelligentie is meer dan computatie (manipuleren van symbolen op basis van regels)!
- De Chinese kamer kent syntax, maar geen semantiek.
- Al kan niet echt denken, want kent geen betekenis.
- Neurale netwerken doen het een beetje beter dan klassieke Al: Op basis van syntactische gelijkenissen, zijn deze netwerken in staat semantisch gerelateerde dingen correct te verwerken.
–> Ze kunnen semantiek ‘per ongeluk’ correct verwerken, op basis van syntax.
AI om kwaadaardige cellen te onderscheiden
Geef een overzicht/uitdagingen/biologisch realisme van connectionisme
Connectionisme: Mentale toestanden zijn computaties uitgevoerd door een neuraal network (ons brein).
Uitdagingen
- Snapshot reasoning
- Verschillen leerprocessen brein
Biologisch realisme van connectionisme VS klassieke Al
- Economische manier van representeren
- Schadetolerantie
- Patroonafmaking
- Vrije generalisatie
Wat is de conclusie van connectionisme?
- Een meer biologisch realistische theorie van de geest dan machine functionalisme.
- De geest lijkt eerder te superveniëren op fysieke materie (ons brein!) die is gestructureerd als neuraal/connectionistisch netwerk dan als klassieke Al/Turing machine.
- Maar net als de theorieën die we al hebben besproken, is connectionisme erg brein-centrisch.
