Cours 11 Flashcards
Quelles sont les origines philosophiques du connexionnisme?
- Aristote (384-322 avJC)
- Connaissance = associations entre perceptions (ou sensations que nous recevons de l’environnement)
- Éventuellement, associations entre associations
- Généralement, connaissances comme réseau d’associations
Qu’est-ce qu’Alan Mathison Turing a proposé?
- A proposé d’étudier sa machine universelle en réseau d’unités de traitement inspiré par les neurones (Turing, 1950)
- Les opérations logiques simples qui forment le substrat de la cognition peuvent être réalisées en format neuronal
Comment se manifeste le connexionnisme durant les années 1950-1960?
- Ambitions et arrogance similaires à l’IA.
- « On va expliquer toute la cognition »
- Cul-de-sac à la fin des années 60
- Pas d’outils mathématiques pour apprendre les problèmes non-linéaires (un problème qui nécessite plus qu’une ligne pour le résoudre, comme A ou B et non A et B)
- Livre marteau de Minsky et Papert (1969)
- Pas d’outils mathématiques pour apprendre les problèmes non-linéaires (un problème qui nécessite plus qu’une ligne pour le résoudre, comme A ou B et non A et B)
Comment se manifeste le connexionnisme durant les années 1970?
- Plus… discret
- Travaux concentrés autour de perception/mémorisation
Qui sont les pionniers du connexionnisme des années 1970?
Anderson, Kohonen et Rumelhart
Comment le connexionnisme fait en retour en force en 1986?
- Publication des volumes « Parallel Distributed Processing » par Rumelhart, McClelland et collègues.
- Variétés d’architectures
- Règles d’apprentissage sophistiquées
- Dont backprop (Werbos, 1974)
- Cadre théorique général pour l’étude de la cognition
Comment se manifeste le connexionnisme depuis 1986?
- Dans (presque) tous les congrès sur la cognition
- Dans (presque) tous les périodiques sur la cognition
- Dans (presque) tous les départements de psychologie
- Considéré par certaines comme un changement de paradigme (e. g. Schneider, 1987)
Quelles sont les propriétés importantes d’un réseau de neurones?
- Constitués d’unités simples branchées entre elles.
- Traitement d’information parallèle et distribué
- Apprentissage continu et adaptation à l’environnement (optionnel)
- Tolérance au bruit et robustesse
- Plausibilité biologique
Quels sont les éléments importants d’un réseau de neurones?
- Unités
- Connexions
- Topologies
- Règles d’apprentissage (optionnelles)
–> Pour que le modèle s’adapte à l’environnement
Qu’est-ce que l’unité dans un réseau de neurones?
- L’unité est généralement un intégrateur linéaire
- Neurone idéalisé
Quelles sont les trois étapes de fonctionnement d’un neurone?
- Sommation de ses intrants
- Activation
- Propagation
Quelle fonction (mathématiques) représente un réseau de neurones?
- Fonction sigmoïde ou logistique
Qu’est-ce que la connexion dans un réseau de neurone?
- Multiplicateur d’activation
- Amplification/Atténuation du signal
Quels sont les aspects importants de la connexion?
- Direction
- Unidirectionnelle
- Bidirectionnelle
- Valence
- Positive (stimulation)
- Négative (inhibition)
Quelle est l’organisation de base d’un réseau de neurone?
- Unités branchées entre elles et se stimulant les unes les autres
- Intrant net d’une unité de donnée
Qu’est-ce qu’un réseau auto-associateur?
Diapo 20.
À quoi peuvent servir les réseaux de type Hopfield?
Satisfaction de contraintes
Qu’est-ce qu’un perceptron?
- Peut représenter toute combinaison linéaire de l’intrant (X) à la sortie (Y)
- Il existe une matrice de valeurs de connexion B pour toute relation Y = BX
Qu’est-ce que que la « multi-layered feedforward architecture with error backpropagation »
Couche intermédiaire entre une stimulation et une réponse
Quel est le but des règles d’apprentissage?
- Les règles d’apprentissage sont utilisées pour modifier la valeur des connections
- Améliorer la performance du réseau
- Généralement, une règle calcule une valeur delta, soit la modification à apporter à une connexion donnée.
Qu’est-ce que la règle hebbienne?
- Notion introduite par D. O. Hebb (1949)
- Si deux neurones branchés l’un à l’autre sont conjointement actifs, leur connexion sera renforcée.
- Calcul simple : (pas du tout)
Quel est l’avantage et le désavantage d’une règle hebbienne?
- Avantage : plausibilité
- Désavantage : utilité limitée
Qu’est-ce que la règle delta (ou Widrow-Hoff)?
- Modification de la règle hebbienne
- Notion de cible : apprentissage supervisée
- Calcul simple (pas du tout)
Quel est l’avantage et le désavantage de la règle delta?
- Avantage : plausibilité
- Désavantage : utilité limitée