Intégration multisensorielle Flashcards
Quels sont les 3 grands principes de l’intégration multisensorielle?
- Proximité temporelle
- Proximité spatiale
- Efficacité inverse
En quoi consiste le principe de proximité temporelle?
> Appariement des signaux des différentes modalités -> facteurs temporels
Intégration maximale quand les stimuli sont simultanés ou dans une courte fenêtre temporelle
En quoi consiste le principe de proximité spatiale?
> Appariement des signaux des différentes modalités -> facteurs spatiaux
Intégration maximale quand les stimuli sont situés à une même position spatiale ou à une position proche
En quoi consiste le principe d’efficacité inverse?
> L’intégration multisensorielle est modulée par l’efficacité des stimuli unimodaux
= plus un stimulus sera ambigu, plus l’intégration multisensorielle sera forte
<=> plus un stimulus est dégradé, plus on va se baser sur les autres modalités sensorielles
Que nous apprennent les principes d’intégration multisensorielle?
> L’intégration multisensorielle est forte chez les patients à négligence spatiale unilatérale
L’intégration multisensorielle est maximale avec la proximité spatiale ou la proximité temporelle
Quelle est l’origine de l’intégration multimodale (multisensorielle)?
> Nos sens sont bombardés par de nombreux signaux uni sensoriels
Nécessité de combiner les différents signaux se rapportant à un même sujet
Quels effets montrent que la vision influence l’audition?
> Effet Mc Gurk (1976)
> Effet de ventriloquisme (spatial)
En quoi consiste l’effet Mc Gurk (1976)?
> Influence du mouvement des lèvres sur la perception des phonèmes
Si dissonance entre information visuelle et informations auditives -> réponse de compromis
En quoi consiste l’effet de ventriloquisme (spatial)?
Altération de la perception apparente d’une source sonore -> dissonance perception visuelle et perception auditive
Que montre l’effet Mc Gurk (1976)?
La vision influence l’audition (perception visuelle influence perception auditive).
Que montre l’effet de ventriloquisme (spatial)?
> Perception = phénomène de construction intégrant les différentes modalités sensorielles (perçues)
Le cerveau fait automatiquement des constructions cohérentes à partir de ces différentes modalités sensorielles perçues
Qu’est-ce qui nous permet d’affirmer que l’audition influence la vision?
> Effet de ventriloquisme temporel
Expérience de Shams et al. (2001)
Attention non spatiale
Attention spatiale
En quoi consiste l’effet de ventriloquisme temporel?
> Différence au niveau de la propagation des ondes sonores vs de la lumière : pas la même rapidité
- vitesse de la lumière = 300 000 km/s
- vitesse du son = 0,33 km/s
A plus de 10m d’une source sonore -> on ne perçoit pas la différence
Le traitement visuel est plus lent (190 ms) que le traitement auditif (150 ms)
Pourquoi a plus de 10 mètre d’une source sonore, on ne perçoit pas la différence (ventriloquisme temporel), alors qu’elle est perceptible?
Le cerveau n’a aucun intérêt à ce que l’on perçoit cette différence de temps.
Que montre l’effet de ventriloquisme temporel?
Le cerveau va faire coïncider les informations visuelles et auditives.
Que montre l’expérience de Shams et al. (2001) sur l’impact de sons sur la perception de flashs?
Un flash + plusieurs sons = plusieurs flashs perçus
=> l’audition influence la vision
Que montre l’étude de l’attention non spatiale?
> Son soudain -> amélioration du traitement d’une stimulation visuelle
=> L’audition a une fonction importante d’alerte
MAIS, ce n’est pas parce qu’il y a un stimulus visuel soudain qu’il y a un meilleur traitement d’une stimulation auditive
En quoi consiste l’étude de l’attention spatiale?
> Paradigme d’indiçage orthogonal (Spence et Driver, 1997)
- quand on met le stimulus auditif du même côté qu’une cible visuelle -> réduction des temps de réaction
Que montre l’étude de l’attention spatiale?
> L’audition peut orienter spatialement l’attention visuelle.
Pas de réciprocité : la modalité visuelle n’est pas capable d’orienter la modalité auditive
Quelles sont les différences entre les modalités sensorielles (vision et audition)?
> Vision : codage spatial précis et dès la rétine ; faibles propriétés alertantes du système attentionnel visuel
Audition : codage fréquentiel et temporel de la cochlée ; fortes propriétés alertantes ; précision plus faible du codage spatial
Que montrent les différences entre les modalités visuelle et auditive?
Si dissociations, le cerveau fera confiance à la modalité qui a le plus de chances de donner l’information correcte.
Quels facteurs, autres que la vision et l’audition, influencent l’intégration multisensorielle?
> Congruence sémantique (identité - sens)
ex : appariement d’une image d’un chien et d’un aboiement
Congruence synesthésique : correspondances entre des caractéristiques plus basiques = correspondances cross-modales
Qu’appelle-t-on l’effet d’unicité?
Les stimuli congruents seront plus reliés ensemble.
Qu’appelle-t-on des correspondances cross-modales?
Associations entre différentes dimensions/caractéristiques de différentes modalités.
Les correspondances cross-modales influencent quoi?
> Les temps de réaction (couplage plus rapide de stimuli congruents)
La perception des stimuli
En quoi consiste l’effet SPARC (Spatial Pitch Association Response Codes)?
> Dimension verticale (hauteur du son)
- on est plus rapide à répondre à un son aigu lorsqu’il est associé à une position haute
- on est plus rapide à répondre à un son grave lorsqu’il est associé à une position basse
Dimension horizontale (position spatiale en visuel)
- réponse plus rapide à un son
- MAIS, beaucoup moins forte que la dimension verticale
Quelles sont les différentes correspondances corssmodales?
> Hauteur d’un son - Positions spatiales
- sons aiguës associés à des positions hautes et droites
Hauteur d’un son - Luminosité
- sons aiguës plus lumineux
Hauteur d’un son - Brillance
- sons aiguës plus brillants
Hauteur d’un son - Formes
- sons aiguës associés à des stimuli/objets plus anguleux
Hauteur d’un son - Taille
- sons aiguës associés à des stimuli/objets petits
Comment Rinaldi et al. (2015) montrent que la hauteur d’un son influence l’action?
Pour les conditions congruentes (taille - son) :
- la personne est plus rapide à attraper l’objet petit après son aigüe
- la personne est plus rapide à attraper l’objet grand après un son grave
Quelles sont les causes des correspondances corssmodales?
- Structurale : implications de réseaux cérébraux communs
- Statistique : duent aux régularités statistiques de notre environnement
- Sémantique : termes linguistiques communs
Quelle est l’explication donnée par la cause structurale des correspondances crossmodales?
(Explicitez cette cause)
Cause structurale : implications de réseaux cérébraux communs
- Ex : implication du sillon intra-pariétal (SIP) : implication du traitement auditif dans le traitement visuel
- Cortex pariétal inférieur : représentation de la magnitude (A Theory of Magnitude, ATOM, Walsch, 2003)
Quelle est l’explication donnée par la cause statistique des correspondances crossmodales?
(Explicitez cette cause)
Cause statistique : correspondances crossmodales duent aux régularités statistiques de notre environnement
- Dans notre environnement, les sons graves sont généralement dans des positions spatiales basses
Quelle est l’explication donnée par la cause sémantique des correspondances crossmodales?
(Explicitez cette cause)
Cause sémantique : termes linguistiques communs
- Ex : en musique on parle de hauteurs musicales -> ‘high note’ ou ‘low note’
En résumé, qu’est-ce que l’on sait à propos des interactions multimodales (multisensorielles)?
> La vision a un rôle prédominant pour la perception de l’espace
L’audition a un rôle prédominant pour la perception temporelle : rôle d’alerte plus développé
Intégration multisensorielle influencée par :
- des facteurs spatio-temporels
- congruence sémantique
- correspondances crossmodales
