Cours 13: Les modèles connexionnistes et l'étude de la cognition chez le bébé Flashcards
Pour Aristote, les connaissances sont quoi?
Elles ne sont pas données aux gens, ce sont des associations entre les perceptions qui, éventuellement, vont faire des association entre elles. Donc les connaissances sont vues comme des réseaux d’associations.
Qu’est-ce que Alan Turing avait proposé quant aux cognitions et à l’étude de celles-ci?
Alan Turing avait proposé d’étudier sa machine universelle divisée en réseau d’unités de traitement qui est inspiré des neurone. Il croyait que les opérations logiques simples qui forment le substrat (le support, la base) de la cognition pouvaient être réalisées en format neuronal. Ainsi, une machine qui simule les connections pourrait simuler le cerveau, les cognitions.
Dans les années 1950 et 1960, comment se développait le connexionnisme?
Il y avait des ambitions et une arrogance similaire au développement des l’intelligence artificielle, les connexionnistes prétendaient qu’ils allaient «expliquer toute la cognition». Dans les années 1960 il y a eu un cul-de-sac, il n’y avait pas d’outils mathématiques pour apprendre les problèmes linéaires. Puis, en 1969 il y a eu le livre de Minsky et Papert qui a eu un effet marteau sur le connexionnisme (le livre était en faveur de l’intelligence artificielle).
Dans les années 1970, comment se développait le connexionnisme?
Dans les années 1970, le connexionnisme était plus discret, les travaux étaient surtout concentrés sur le perception/mémorisation. Les pionniers sont: Anderson, Kohonen, Rumelhart.
En quelle année le connexionnisme a-t-il fait son retour en force? Que s’est-il passé?
En 1986, la publication des volumes «Parallel Distributed Processing» par Rumelhart, McClelland et collègues proposent:
- Des variétés d’achitecture de réseaux de neurones.
- Des règles d’apprentissage plus sophistiquées dont le modèle/théorie Backdrop (Werbos).
- Un cadre théorique général pour l’étude de la cognition.
Depuis son retour en force en 1986, quel est la place du connexionnisme dans l’étude de la cognition?
- Le connexionnisme est dans presque tous les congrès sur la cognition.
- Le connexionnisme est dans presque tous les périodiques sur la cognition.
- Le connexionnisme est dans presque tous les départements de psychologie.
- Le connexionnisme est considéré par certains comme un changement de paradigme (un changement dans la manière de voir les choses).
Quelles sont les 5 propriétés importantes des réseaux de neurones?
1- Les réseaux de neurones sont constitués d’unités simples (neurones), branchées entre elles.
2- Le traitement de l’information dans les réseaux de neurones est parallèle et distribué.
3- Dans les réseaux de neurones, l’apprentissage est continu et il y a une adaptation à l’environnement.
4- Les réseaux de neurones ont une tolérance au bruit (interférences) et une robustesse.
5- Les réseaux de neurones ont une plausibilité biologique.
Est-ce qu’on peut voir les réseaux de neurones?
Non, quand on fait des recherches sur les réseaux de neurones on ne les voit jamais, c’est imaginaire, théorique.
Quels sont les 4 éléments importants des réseaux de neurones?
1- Les unités simples de traitement qui ressemblent aux neurones du cerveau.
2- Les connections entre les unités.
3- Les topologies (les formes d’architecture des réseaux).
4- Les règles d’apprentissage (qui sont optionnelle).
Comment fonctionne l’élément de base des réseaux de neurones qu’est l’unité?
C’est un intégrateur linéaire et un neurone idéalisé. L’unité reçoit des stimulations en provenance de d’autres unités qui lui sont connectées, la sommation de ces stimulations (intrants) est faite, comme avec les neurones du cerveau l’unité s’active si la sommation des stimulation reçues des autres unités dépasse un certain seuil (ou sinon l’activation de l’unité se fait selon une fonction sigmoïde comprise entre 0 et 1, si l’activation est entre 0 et 1 il y a excitation, sinon c’est -1 et il y a inhibition), puis l’unité envoie un signal aux autres unités avec lesquelles elle est connectée (propagation). L’activation de l’unité produit une fonction sigmoïde (ou logistique, fonction en S comprise entre 0 et 1).
Dans l’unité, la somme des stimulations donne quoi à l’unité que les reçoit?
La somme des stimulations donne à l’unité sa propre fonction qui va par la suite créer sa propre activation (ajustement en renforçants certaines connections pour en augmenter l’intensité et en affaiblissant d’autres connections pour en diminuer l’intensité).
Quel est le but de l’élément nécessaire des réseaux de neurones qu’est la connexion?
C’est un multiplicateur d’activation, son rôle est soit d’amplifier ou atténuer l’activation d’une unité (ou neurone).
Quels sont les 2 aspects importants des connexions?
1- La direction de la connexion: unidirectionnelle ou bidirectionnelle?
2- La valence de la connexion: positive (stimulation) ou négative (inhibition).
Quelle est l’organisation de base des connexions?
Les unités sont branchées entre elles et se stimulent les unes les autres.
Comment est la topologie (architecture)des réseaux de neurones?
Auto-associateur (Une connaissance est répartie sur toutes les unités et leurs interconnexions, pas sur une partie ou un élément du système. La connaissance est représentée par l’intensité des connexions au sein de toutes les unités du système. Des associations sont faites et sont stimulées selon la connaissance en mémoire dont on a besoin. La mémoire est un réseau d’associations.).
Qu’est-ce que la satisfaction des contraintes avec un réseau de type Hopfield?
Plein de composantes sont associées entre elles et en fonction du besoin elles vont être stimulées ou inhibées. Par exemple, si on prend «amusant», «important», «cognition» et «yoyo»: si on fait du yoyo l’association (connexion) entre «yoyo» et «amusant» sera stimulée alors que les associations (connexions) entre «amusant» et «important» sera inhibée. Donc si on active une association, ça en fait décroitre une autre.
Qu’est-ce qu’un perceptron?
Il peut représenter toute combinaison linéaire de l’intrant à la sortie (toutes les combinaisons de connexions qui peuvent être faites entre une unité d’entrée et les unités de sortie).
Si le réseau de neurones produit une erreur, comment fait-il pour s’en rendre compte?
Le réseau produit une activation qui se propage à travers les différentes couches puis lorsque l’erreur est commise, l’erreur revient en se propageant par le même “chemin” que l’activation mais dans le sens inverse de l’activation.
Les réseaux de neurones font des apprentissages et des généralisations de quelle façon?
L’architecture du réseau est restructurée selon l’apprentissage qu’on doit faire. Il y a des unités additionnelles qui sont ajoutées pour permettre le nouvel apprentissage. La généralisation de la connaissance du réseau de neurones est fondé sur la corrélation (similitude) entre une nouvelle situation et les situations déjà rencontrées avant.
Quel nom donne-t-on à l’architecture générative du réseau de neurones?
Cascade-corrélation.
Dans les réseaux de neurones, quel est le but des règles d’apprentissage?
Les règles d’apprentissage sont utilisées pour modifier la valeur des connections et ainsi améliorer la performance du réseau.
Dans les réseaux de neurones, une règle d’apprentissage calcule quoi?
Étant donné qu’une règle d’apprentissage est utilisée pour modifier la valeur des connections, une règle d’apprentissage calcule une valeur delta qui est la modification (delta=variation) à apporter à une connexion donnée.
Qu’est-ce que la règle hebbienne?
C’est une notion introduite par Hebb. Selon cette règle, si 2 neurones branchés l’un à l’autre sont actifs en même temps, leur connexion sera renforcée.
Quel est l’avantage de la règle hebbienne?
Elle est plausible.
Quel est le désavantage de la règle hebbienne?
Elle a une utilité limitée (ex: si on veut apprendre un problème concret).
Que fait la règle delta (ou de Widrow-Hoff)?
Elle vient modifier la règle hebbienne en y ajoutant la notion de cible d’apprentissage. Le perceptron correspond à un apprentissage supervisé : une intervention humaine est nécessaire à ce réseau neuronal pour que celui-ci se corrige pour atteindre un résultat souhaité.
Quel est l’avantage de la règle delta (ou de Widrow-Hoff)?
Elle est plausible.