CM 5 - L'integration multimodale Flashcards
Qu’est-ce que l’integration multimodale et quels sont les trois grands principes sur l’intégration multimodale?
L’integration multimodale ou multisensorielle renvoie à notre capacité d’intégrer plusisuers modalités sensoriels la faciliter notre perception.
Selon la notion de proximité temporelle, il y a une importance des facteurs temporels dans l’appariement des signaux des différentes modalités. On a une intégration maximale quand les stimuli sont simultanés ou dans une courte fenêtre temporelle.
Selon la notion de proximité spatiale, il y a une importance des facteurs spatiaux dans l’appariement des signaux des différentes modalités. On a une intégration maximale quand les stimuli sont situés à une même position spatiale ou à une position proche. Néanmoins les stimuli auditifs ont moins de précision spatiale que les stimuli visuels.
Selon la notion d’efficacité inverse, l’intégration multisensorielle sera également modulée par des stimuli unimodaux . Plus un stimulus sera ambigu, plus l’intégration multisensorielle sera forte.
Comment peut la vision influe l’audition?
Les différents effets de l’integration multimodale
L’effet de McGurk (1976) est un phénomène de capture visuelle où le mouvement des lèvres influence la perception des phonèmes. Si on a une dissociation entre le visuel et le non-visuel, on a une réponse de compromis où les traitements visuels prédominent les traitements auditifs. Ainsi, la vision influence l’audition ici.
L’effet de ventriloquisme spatial renvoie à l’altération de la perception apparente d’une source sonore. Ici on localise la source auditive vers le maquine et pas vers le ventriloquiste.
Comment peut l’audition influe la vision?
Les différents effets de l’integration multimodale
L’effet de ventriloquisme temporel renvoie à l’effet qu’on trouve lorsqu’on trouve les feux d’édifice où on voit la lumière avant d’entendre le son. À plus de 10 mètres d’une source sonore, la différence devrait être perceptible, or on ne le perçoit pas. Cela car le système visuel retarde le traitement des informations visuels pour synchroniser ce dernier avec le traitement des informations sonores. Le traitement visuel est alors plus lent que le traitement auditif.
De plus, dans l’expérience de Shams et al. (2001), un flash avec plusieurs sons va induire à plusieurs flashs perçus.
Qu’est-ce que l’attention non-spatiale et comment influe-t-elle l’attention spatiale?
L’attention non spatiale permet un son soudain améliore le traitement d’une stimulation visuelle. Ainsi, l’audition a une fonction importante d’alerte.
Pour étudier l’effet de cette dernière sur l’attention spatiale, on utilise le paradigme d’indiçage orthogonal (Spence & Driver, 1997). Ici, l’audition peut orienter spatialement l’attention visuelle et alors aider la détection des cibles visuelles. Par contre l’amorçage visuel n’aide pas dans la détection d’une cible auditive.
Quand va-t’on se projeter vers l’encodage visuel et idem vers l’encodage auditif?
Si on a une dissociation, le cerveau fera confiance à la modalité qui a le plus de chance de donner l’information correcte.
La vision est une codage spatial précis. mais qui a une faible propriété alarmante du système attentionnel visuel, tandis que l’audition est un codage fréquentiel et temporel avec une forte propriété alarmante, mais aussi un précision plus faible du codage spatial.
Ainsi, la vision a un rôle prédominant pour la perception spatiale et l’audition a un rôle prédominant pour la perception temporelle et a un rôle d’alerte plus développé.
Quels autres facteurs influencent l’intégration multisensorielle?
Les facteurs spatio-temporels comme dans l’effet de McGurk et les effets de ventriloquisme spatiale et temporel.
On parle de la congruence sémantique, entre l’identité et le sens, et la correspondance cross-modale ou la congruence synthétique, avec une correspondance entre stimuli plus basiques.
- On a un effet d’unicité lorsque les stimuli congruents sont plus reliés ensemble.
Qu’est-ce que la correspondance cross-modale?
La correspondance cross-modale renvoie à l’association entre différentes dimensions ou caractéristiques de différentes modalités. Elle influence les temps de réaction (couplage plus rapide de stimuli congruents) et la perception des stimuli.
Selon Spence (2011), il y a des correspondances crossmodales entre la hauteur d’un son et les positions spatiales (les sons aigus sont associés à des positions hautes et droites), la luminosité (sons aigus sont associés à une luminosité plus forte), les formes (les sons aigus sont associés à des stimuli/objets plus anguleux) et la taille (les sons aigus sont associés à des stimuli/objets plus petits).
Quels sont les effets de la correspondance cross-modale?
L’effet de Baluma/Takete (Kälher, 1929) se trouve lorsqu’on associe un son ambigu à un image visuel ambiguë. Par exemple, on va automatiquement dire qu’une figure rond s’appelle Baluma et une figure piquante s’appelle Takete.
L’effet de SPARC (Spatial Pitch Association Response Codes) se trouve lorsqu’on a une association entre la dimension verticale/horizontale et la hauteur d’un son.
Quels sont les arguments en faveur de l’effet de SPARC?
Dans l’expérience de Lidji et al. (2007), les participants ont une TR plus court dans la condition compatible (appuyer le bouton bas lorsqu’on entend un son grave et le bouton haut lorsqu’il entendent des sons aigus) et un TR plus long dans la condition incompatible (bouton bas pour son aiguës et bouton haut pour sons graves).
Dans l’expérience de Guilbert (2019), seulement les pianistes associent les sons graves à gauche et les sons aigus à droite. On n’a pas d’effet chez les sujets non-pianistes.
Ainsi, on a une bonne correspondance cross modale dans la dimension verticale, mais pas dans la dimension horizontale.
Comment peut la correspondance cross-modale influe nos actions?
Dans l’expérience de Rinaldi et al. (2015) les participants ont un TR plus court dans la condition congruent (saisir le petit objet lorsqu’ils entendent un son aigu et la grande objet lorsqu’ils entendent un son grave) et un TR plus long dans la condition non-congruent (saisir le grand objet lorsqu’ils entendent un son aigu et le petit objet lorsqu’ils entendent un son grave).
En revanche, lorsqu’on mesure le MGA du participant, il n’y a pas d’effet.
Quelles sont les différentes explications de la correspondance cross-modale?
L’explication structurale dit qu’on a des implications de réseaux cérébraux communs. Par exemple le cortex pariétal inférieur gère la représentation de la magnitude de nombres, de sons, de positions spatiales, etc. Cette explication renvoie à la A Theory Of Magnitude (ATOM ; Walsch, 2003).
L’explication statistique, où la correspondance cross-modale est due aux régularités de notre environnement. Par exemple, les petits animaux émettent un son plus aigu et les grands animaux émettent de sons plus graves.
L’explication sémantique où nos connaissances sémantiques du monde influencent notre perception, comme le fait que les sons aigus sont associés à des hautes fréquences tandis que les sons graves sont associés à des basses fréquences.
