cours 8 - perception des scènes Flashcards
explique comment on voit une scène
À chaque instant de notre vie, on échantillonne notre environnement environ trois à cinq fois par seconde par des mouvements oculaires saccadés.
● Chaque fixation produit une scène, une riche collection d’objets, de surfaces, d’agents, de structures, de textures et de couleurs.
à chaque arrêt sur l’image (la fovéa arrete sur l’image) on parle d’une scène visuelle
quelles sont les 2 catégories de scènes visuelles
scènes naturelles et scènes articificielles (construitent par l’humain)
quelles sont les scènes artificielles (4)
● Environnements urbains : Rues, bâtiments, places, parcs. Ces scènes nécessitent le traitement de relations spatiales complexes, d’indices de navigation et d’interactions sociales.
● Environnements intérieurs : Maisons, bureaux, cafés, bibliothèques. La reconnaissance implique de comprendre les activités humaines et la fonction des différents espaces en fonction du mobilier, de la décoration et de l’agencement.
● Lieux culturels : Bâtiments religieux, monuments historiques, musées. Ces scènes déclenchent souvent des connaissances et émotions spécifiques associées à une importance culturelle.
● Scènes dynamiques : Carrefours, marchés bondés, événements sportifs. Le traitement de ces scènes nécessite des changements rapides d’attention et l’intégration des informations de mouvement dans la compréhension de la scène.
quelles sont les scènes naturelles (4)
● Paysages : Montagnes, forêts, plages, déserts, prairies. Ces scènes évoquent typiquement des émotions et souvenirs distincts, s’appuyant fortement sur l’agencement spatial, la couleur et les textures naturelles.
● Étendues d’eau : Océans, lacs, rivières, chutes d’eau. Le mouvement de l’eau ajoute des aspects dynamiques à la perception des scènes, ainsi que des reflets et des paysages sonores uniques.
● Conditions météorologiques : Journées ensoleillées, pluie, neige, brouillard. Les phénomènes atmosphériques ont un impact significatif sur notre perception des scènes, affectant la visibilité, les conditions de lumière et l’esthétique générale.
● Biomes : Savanes, forêts tropicales, récifs coralliens. Reconnaître des biomes spécifiques implique d’intégrer des informations sur la végétation, la vie animale et les caractéristiques du terrain.
quelle est la différence entre la reconnaissance des scènes et reconnaissance des objets
● Impliquent deux processus cognitifs distincts, chacun jouant un rôle crucial dans notre interaction avec l’environnement.
● La principale différence entre ces deux processus réside dans la manière dont notre cerveau traite et interprète les informations visuelles.
explique cette image
ai ; mécanisme de segmentation dynamique dans les voitures intelligentes, détectent présence d’objets en créant des bounding box, boite qui délimite les objets dans scènes visuelles et reconnait la catégorie de l’objet (personne vs voiture vs feux de circulation
explique la reconnaissance d’objets
Ce processus implique l’identification et la catégorisation d’éléments individuels dans notre champ visuel, tels que des objets, des personnes ou des animaux.
La reconnaissance d’objets se concentre sur les caractéristiques spécifiques de ces éléments:
○ la forme,
○ la taille,
○ la couleur,
○ la texture
C’est par le traitement de ces caractéristiques que l’on peut distinguer les objets les uns des autres.
pareil chez l’humain, ai : reconnait une statistique redondante ce qui distingue les objets (humains vs feux de signalisation)
comment est la reconnaissance des scènes
Contrairement à la reconnaissance d’objets, la reconnaissance des scènes englobe une compréhension plus large et plus globale de l’environnement visuel.
- Elle ne se limite pas à identifier des éléments individuels, mais inclut également l’interprétation du contexte, la compréhension des relations spatiales entre les objets, et la capacité à saisir le sens global ou l’essence d’un environnement.
- Les scènes sont souvent complexes et contiennent de multiples objets qui interagissent dans un espace partagé, ce qui nécessite une intégration des informations visuelles à un niveau supérieur.
quel est le rôle du contexte dans la reconnaissance des scènes
- Joue un rôle crucial dans la reconnaissance des scènes, car il fournit des informations supplémentaires qui aident à interpréter les objets dans leur environnement.
1. Par exemple, voir une tasse sur une table dans une cuisine est attendu, ce qui facilite la reconnaissance de la scène comme une cuisine. (lié à la grammaire de la scène) - Aide à prédire quels objets sont susceptibles d’être présents et comment ils sont disposés, améliorant ainsi notre capacité à comprendre et à interagir avec notre environnement. (lié à la notion de probabilité : on va trouver le toaster à un endroit précis (mais exp qui peut briser cette grammaire de la scène, ex dans le salon))
quel est le rôle des relations spaciales
● Font référence à la disposition et à l’organisation des objets dans l’espace.
● Comprendre la disposition des objets est essentiel pour interpréter une scène.
● Ces relations aident à déterminer la structure d’une scène et à comprendre comment naviguer ou interagir avec l’environnement.
Par exemple, la reconnaissance qu’une chaise est sous une table peut indiquer un espace de salle à manger et influencer notre interaction avec cet espace (par exemple, en tirant la chaise pour s’asseoir).
Théories de la reconnaissance des scènes
quest ce que la théorie des affordances par JAMES J. GIBSON(4)
● Cette théorie met l’accent sur l’information “affordée” par l’environnement pour l’action. (ce que la scène peur nous fournir, nous donner)
● La reconnaissance des scènes ne se base pas sur une analyse détaillée des éléments visuels, mais sur la perception des affordances, c’est-à- dire les possibilités d’action offertes par l’environnement.
● Cette théorie explique bien la rapidité et l’efficacité de la reconnaissance des scènes dans la vie quotidienne.
● Cependant, elle ne prend pas en compte la capacité à reconnaître des scènes complexes ou ambiguës.
but de la scène = rapidement savoir ce qui est possible
Théories de la reconnaissance des scènes
quelles sont les théories autour du traitement de linformation (3)
● Images intrinsèques (Harrow et Tenenbaum, 1978)
● Relations d’objets ou de composantes (Biedermann, 1982)
● Propriétés de l’enveloppe spatiale (GIST; Oliva & Torralba, 2001):
Théories de la reconnaissance des scènes
quest ce que la théorie des images intrinsèques (harry Barrow)
Une image peut être décomposée en un ensemble d’« images intrinsèques », chacune représentant une propriété fondamentale de la scène qu’elle dépeint. (diviser l’image en sous-image avec différentes propriétés)
les propriétés sont (3) :
○ Réflectance : La proportion de lumière réfléchie par les surfaces de la scène (albédo).
○ Illumination : La quantité et la direction de la lumière tombant sur les surfaces.
○ Distance : La distance des surfaces par rapport à la caméra (profondeur).
quest-ce que la théorie des composantes (Irving Biederman)
Tout comme dans la reconnaissance des objets, la théorie des composantes de Biederman joue un rôle dans la reconnaissance des scènes.
On peut reconnaître une scène rapidement de par les relations entre les objets qui la constituent.
dans la théories des composantes (Irving Biederman), quelles sont les 5 classes de relations entre les objets
● l’Interposition (les objets interrompent leur arrière-plan).
● le Support (les objets ont tendance à reposer sur des surfaces).
● la Probabilité (les objets ont tendance à se trouver dans certaines scènes mais pas dans d’autres).
● la Position (étant donné qu’un objet est probable dans une scène, il est souvent trouvé dans certaines positions et pas dans d’autres).
● la Taille familière (les objets ont un ensemble limité de relations de taille avec d’autres objets).
Aude Oliva - Théories de la reconnaissance des scènes
qu’est-ce qu’une image hybride
image qui transforme une image dans l’espace de Fourier (fréquence spatiale de l’image) et va réveler seulement une certaine bande de fréquence et va combiner l’information fréquentielle de deux images
l’image à basses fréquences semblent floues de près, mais nettes de loin
l’image à hautes fréquences (contours nets) semblent floues de loin, mais nettes de proches
Aude Oliva- Théories de la reconnaissance des scènes
quel est le mécanisme derrière les images (hybride), mais aussi en général
Corrélation dans l’info des diff bandes de fréquences, le cerveau peut décomposer limage entre les bandes de fréquences et sil y a corrélation entre les indices de fréquences et les catégories de la scène on peut rapidement reconnaitre dans quelle scène on se situe (mm sens des théories des affordances -» n’implique pas l’implication de chaque items de la scènes), mais plutôt l’enveloppe fréquentielle
Aude Oliva - Théories de la reconnaissance des scènes
quest ce que le scene-gist (gist signifie essentiel)
- Un modèle computationnel de la reconnaissance de scènes du monde réel qui ne repose pas sur la segmentation et le traitement d’objets ou de régions individuels.
- Identifie un ensemble de dimensions perceptuelles (naturalité, ouverture, rugosité, expansion, rudesse) qui représentent la structure spatiale dominante d’une scène.
- Ces dimensions peuvent être estimées de manière fiable en utilisant des informations spectrales et grossièrement localisées.
- Le modèle génère un espace multidimensionnel dans lequel les scènes partageant une appartenance à des catégories sémantiques (par exemple, rues, autoroutes, côtes) sont projetées à proximité les unes des autres.
- La performance du modèle d’enveloppe spatiale montre que des informations spécifiques sur la forme ou l’identité des objets ne sont pas une exigence pour la catégorisation des scènes et que la modélisation d’une représentation holistique (globale) de la scène informe sur sa catégorie sémantique probable.
Théories de la reconnaissance des scènes - Melissa Võ
qu’est ce que la grammaire de la scène
● Désigne les règles structurelles et les relations sémantiques au sein d’une scène qui guident notre perception et compréhension.
● Elle nous permet de déchiffrer des scènes complexes en identifiant comment les objets interagissent et se rapportent les uns aux autres dans des contextes spécifiques.
● Ce concept aide à expliquer notre capacité à interpréter rapidement les scènes, à reconnaître les anomalies et à anticiper la position des objets, même dans des environnements inconnus.
● La grammaire de scène joue un rôle clé dans l’allocation de l’attention, la mémoire des objets et de leurs emplacements, et le traitement cognitif des informations visuelles.
trouve la craie
Seulement 14% de la scène est couverte. Donc une économie de 86%!
● Notre connaissance (de la grammaire de la scène) de la localisation habituelle des objets dans une scène nous permet de faire des prédictions efficaces et très rapides.
Vitesse de la reconnaissance des scènes
quest ce que le Rapid Serial Visual Presentation (RSVP)
● Avec seulement 13 ms de présentation, on peut facilement détecter dans une séquence rapide de scènes, la scène du mariage.
● Dans cet exemple, par contre, il est nécessaire de connaître d’abord la cible.
● Les travaux de Molly Potter ont un impact majeur dans notre compréhension de la reconnaissance des scènes.
le cerveau a besoin de combien de ms pour différencier des scènes de différentes catégories
Le cerveau a besoin de moins de 150 ms pour différencier des scènes de différentes catégories. ex : scènes artificielles, naturelles, extérieures, intérieures
en combien de ms, une saccade oculaire est faite vers la scène d’une catégorie spécifique
moins de 120 ms
Bases neuronales de la reconnaissance des scènes
quelles sont les régions cérébrales impliquées (5)
- Lobe occipital
- Cortex parahippocampique
- Cortex inférotemporal
- Cortex rétrosplénien
- Cortex préfrontal médian
Bases neuronales de la reconnaissance des scènes
quest ce que fait le lobe occipital
Traite les informations visuelles de base (de bas niveau) comme les lignes, les couleurs et les textures. Les premières étapes du traitement de la scène se déroulent ici. (dans aires occipitales, les fréquences sont aussi traités)
Bases neuronales de la reconnaissance des scènes
quest ce que fait le cortex parahippocampique
Joue un rôle crucial dans le traitement de la disposition de la scène, des relations spatiales et de l’essence d’une scène(permet de naviger dans notre env.). (le cortex répond à l’agencement spatial peut importe s,il y a objets ou non dans la scène)
Bases neuronales de la reconnaissance des scènes
quest ce que fait le cortex inférotemporal
Impliqué dans la reconnaissance d’objets et contribue à la compréhension de la scène en identifiant les objets dans la scène.
Bases neuronales de la reconnaissance des scènes
quest ce que fait le cortex rétrosplénien
Intègre les informations spatiales de différentes zones, facilitant la navigation et la compréhension de la scène. (navigation motrice mais aussi comment les diff éléments de la scène sont interreliés)
Bases neuronales de la reconnaissance des scènes
quest ce que fait le Cortex préfrontal médian
Intègre divers aspects du traitement de la scène (objets, disposition spatiale, contexte) avec les connaissances et les souvenirs antérieurs, ce qui permet la compréhension de la scène.
quest ce que les travaux du prof sur la reconnaissance de scènes veulent découvrir
est ce que il y a un lien qui soutient le langage et représentation visuelle
on montre image à participant ca active région dans le cerveau, on montre phrase au modèle computationnel .
travaux du prof
quest ce qu’il réalise
il y a de l’activation partout (pas necessairement visuelle) qui sont prédites par le modèle (sans mm avoir vu les scènes visuelles). capable de prédire les activations du cerveau face a stimuli visuels, alors que le modèle a jamais rien vu (juste des phrases quil apprend)
travaux du prof
en gros cest quoi qu’on trouve
le participant écrit la phrase décrivant l’image qu’il voit et seulement par l’activation de certaines régions du cerveau, le decoder peut prédire la même phrase (le decoder écrit ce que le participant est en train de voir)
tout stimuli visuel peut etre décrit par le langage. serait possible que stimuli visuel et auditif soit traité dans la mm région, à cause de notre connaissance du monde (par le langage)
Mécanismes de géolocalisation
quels sont les 3 cellules
● Cellules de lieu hippocampiques.
● Cellules de direction de la tête.
● Cellules de grille.
Mécanismes de géolocalisation
explique les cellules de lieu hippocampiques.
de base découvert chez le modèle animal dans le labyrinthe, on entend un clic quand le neurone s’active. enregistre des positions, des lieux où le neurones réponds de façon précise ; ca s’apelle les cellules de lieu
- S’activent à des endroits spécifiques d’une scène, contribuant à la navigation spatiale et à la reconnaissance de la scène
Mécanismes de géolocalisation
cest quoi les cellules de direction de la tête
Les cellules de direction de la tête (CDT) sont un groupe spécialisé de neurones trouvés dans des zones du cerveau telles que le thalamus, le cortex entorhinal (premier relais à l’hippocampe, enormement de connexion entre cortex entorhinal et hippocampe) et le cortex rétrosplénial.
Elles jouent un rôle crucial dans la navigation spatiale en fournissant au cerveau un signal constant de l’orientation de notre tête dans l’espace, agissant comme une boussole interne.
Mécanismes de géolocalisation
que sont les cellules de grille
Trouvées dans le cortex entorhinal, elles forment une représentation en grille de l’espace, contribuant à la navigation dans la scène et aux cartes mentales.
code pas un lieu spécifique, mais plutot une représentation hexagonale de l’env. dans lequel on se situe
repond a pls endroits et un pattern se forme, codage en hexagone (+ efficace mathematiquement que si on faisait codage cartésien)
que sont les cellules de bordures
Les cellules frontalières sont un autre groupe fascinant de neurones trouvés dans la formation hippocampique, spécifiquement dans des régions comme le subiculum, le présubiculum et le cortex entorhinal.
- Elles jouent un rôle distinct dans la navigation spatiale en codant la présence de limites environnementales, agissant essentiellement comme des gardiens des bords au sein de notre carte mentale.
