Connectionisme Flashcards
(Filosofisch) Connectionisme:
Ookwel Parralel Distributed Processing, Kunstmatige neurale netwerktheorie genoemd.
Het idee is dat de geest wordt gerealiseerd door een neuraal model van knopen met verbindingen met verschillende gewichten.
Alternatief voor machine functionalisme.
Is connectionisme of functionalisme biologisch realistischer?
Connectionisme.
Juist of onjuist:
Zowel het Functionalisme als het Connectionisme nemen meervoudige realiseerbaarheid serieus.
- Juist
Juist of onjuist:
Het Functionalisme gebruikt geen seriële verwerking, het Connectionisme wel.
onjuist.
Het connectionisme gebruikt geen seriële verwerking, het functionalisme wel.
Juist of onjuist:
Het functionalisme ziet de geest op een computationalistische manier, mentale toestanden zijn berekeningen. Het brein is de hardware en de geest de software. Het connectionisme niet.
Onjuist. Beide zien het brein op een computationalistische manier
Wat is de restrictie die het connectionisme legt op meervoudige realiseerbaarheid?
Het fysieke materiaal dat de geest kan realiseren moet in staat zijn een neuraal netwerk te realiseren.
Beschrijf connectionistisch netwerk.
- Eenheden/units: AI “neuronen”. Input en outut
o Units zijn verdeeld over 3 layers: input – hidden – output. - Connecties tussen units: sterkte van de connectie heet gewicht. Connecties kunnen remmend of stimulerend werken.
- Units zijn parallel geschakeld: hoeven niet serieel te werken, hoeven niet 1 voor 1 geactiveerd te worden. Dit is een groot verschil met functionalisme.
- Activatiewaarde: waarde van input
Units in een connectionistisch model zijn … geschakeld.
- Parallel
- Serieel
- Lateraal
- Parallel.
Tijdens het trainen van een connectionistisch model veranderen de …
Gewichten tussen de verschillende eenheden.
Een Turing machine is …, een connectionistisch model is …
- Geprogrammeerd
- Getraind
Of een unit activeert hangt af van 3 factoren:
- De activatie van connected units in de voorgaande laag
- De gewichten van de connecties tussen deze unit en de eenheden in de vorige laag
- De activatiefunctie: hoe de unit activatie verwerkt. B.v. drempelwaarde. Of “als deze unit een activatie van een unit met een waarde onder 2 krijgt, dan moet deze unit een activatiewaarde van 0 krijgen”.
Units van het (connectionisme/functionalisme) zijn parallel geschakeld: dit betekent..
Connectionisme.
Ze hoeven niet serieel te werken, hoeven niet 1 voor 1 geactiveerd te worden. Dit is een groot verschil met functionalisme.
Juist of onjuist:
Volgens het connectionisme is het brein een neuraal netwerk.
Juist
Juist of onjuist:
Volgens het functionalisme moet het brein biologisch geïnspireerd zijn, en dus dichtbij de architectuur van het brein blijven.
Onjuist, dit gaat over het connectionisme.
Logische neuronen (perceptrons)
Beschrijf
Vroege vorm van connectionisme. 2 inputs en 1 output
Deze kan verwerken:
- OF-functies: 1 EN 2 zijn nodig voor de output
- EN-functies: 1 OF 2 is nodig voor de output
Juist of Onjuist:
XOR-functies kunnen worden verwerkt door Logische Operaties.
Onjuist.
XOR-functie: het een of het ander mag, maar niet beide. Dus alleen 1 wordt geaccepteerd, maar 2 niet. Logische neuronen met 3 eenheden kunnen dit niet uitrekenen.
McCulloch & Pitts: verklaren breinfuncties aan eenvoudige netwerken genaamd logische neuronen of perceptrons.
Het idee is dat …
Alle logische operaties uitgevoerd kunnen worden door dit netwerk.
Neuraal netwerk voor mijndetectie:
Neuraal netwerk dat de subtiele verschillen van de echo van een mijn en de echo van een steen te onderscheiden.
3 input-units voor 3 frequentiewaarden. 2 outputs. MIJN: 0,1 en ROTS: 1,0.
Backpropagatie:
Soort leeralgoritme.
Op basis van informatie over het verschil tussen de juiste output en de verkregen output, past het leer-algoritme de connectiegewichten aan om de juiste output te bereiken.
Gradient-descent learning:
stap voor stap, trial and error leren van model. Verandering wordt gemaakt. Slechtere output: verandering ongedaan maken. Betere output: behouden.
Wat neurale netwerken leren is afhankelijk van …
De data waarop ze worden getraind. Dus vooroordelen etc. uit de datasets nemen ze over.
Uitdagingen connectionisme:
- Snapshot reasoning
- Verschillen leren tussen het brein en neuraal model
Yes
Juist of onjuist:
Backpropagatie ondersteunt het biologisch realisme van het connectionisme, want er is anatomisch bewijs voor dit fenomeen in het brein.
Onjuist.
Er is een gebrek aan anatomisch bewijs voor backpropagatie in brein.
Juist of onjuist:
Er is een groot aantal herhalingen nodig voor leren in neurale netwerken, dit geldt niet voor kinderen. Hierdoor is de leerstijl een uitdaging voor het biologisch realisme van het connectionisme.
Juist.
Herhalingen: Groot aantal herhalingen nodig voor leren, mensen (vooral kinderen) niet.
Catastrofale interferentie:
als je het systeem nieuwe data geeft moet het de gewichten aanpassen, waardoor de oude data kan hierdoor niet meer correct worden verwerkt. Het moet dus opnieuw getraind worden.
Catastrofale Interferentie is een uitdaging voor het connectionisme omdat het …
Biologisch onrealistisch is.
Recurrent networks:
zowel feed-forward als feedback verbindingen. Informatie uit output-layer terugkoppelen naar de hidden layer, waardoor informatie uit het verleden opgenomen wordt in het systeem.
Recurrent networks zijn een oplossing voor het probleem van …
Snapshot Reasoning
Mogelijke oplossing van het connectionisme voor biologisch onrealisme van backpropagatie?
Het ontwikkelen van andere leeralgoritmen dan backpropagatie.
Het ontwikkelen van architecturen zodat meerdere netwerken kunnen samenwerken is een mogelijke oplossing voor het probleem …
Dat neurale modellen verschillen van het brein in termen van leren.
Shallow neural network:
3 tot 4 verborgen lagen. Uniform: knooppunten implementeren slechts 1 soort functie. Volledig verbonden: elke unit in 1 laag is verbonden met elke unit in de volgende laag.
Deep neural networks:
bevat 5 tot 100 lagen. Heterogeen: eenheden voeren verschillende functies uit. Spaarzaam: units in verborgen laag zijn niet verbonden met alle units in de vorige lagen.
