Perception de la parole

1
Perception de la parole

• Jonathan Grainger

2
Bibliographie

• Segui, J. Ferrand, L. (2000). Leçons de parole.
  Paris Odile Jacob
• Spinelli, E. Ferrand, L. (2005). Psychologie du
  Langage, Paris Armand Colin
• Ferrand, L. (2001). Cognition et Lecture.
  Bruxelles DeBoeck

3
(No Transcript)
4
Corpus linguistique
stimuli
Base de données linguistiques
échantillons
Modèle computationnel
Sujet humain
falsification
prédiction
Résultats des simulations
Résultats des expériences
confrontation
5
X
taille des unités de traitement
lettres/phonèmes - mots - phrases -
texte/discours
6
Perception des unités élémentaires du langage
récepteur
émetteur
7
récepteur cerveau
émetteur
8
Le Phonème

• classification des sons du langage développée
  par les linguistes sur la base des informations
  articulatoires

• la plus petite unité de son dont le changement
  modifie le sens

/bal/ /b/ /a/ /l/
/bar/ /b/ /a/ /r/
- la principale fonction des sons dune langue
est détablir des distinctions entre les unités
de signification (ou mots) de cette langue.
9
Distinction entre  phone  et  phonème  qui
est spécifique à une langue donnée - et le
concept dallophone

• un phonème peut avoir plusieurs réalisations
  acoustiques différentes sans que lon perçoive un
  changement de sens (les allophones)
• variations contextuelles ( cou  vs.  qui )
  et non-contextuelles (accents régionaux)
• variations inter-langues exemple du /r/ et /l/
  en langue japonaise

10
(No Transcript)
11
Les caractéristiques articulatoires qui
déterminent la prononciation des consonnes en
langue française

• lieu darticulation endroit où la voie vocale
  est fermée (ex bilabial fermeture au niveau
  des lèvres)
• le mode darticulation occlusif, nasal,
  fricatif, glissant, liquide
• voisement lentrée en vibration des cordes
  vocales (ex /b/voisé /p/ non-voisé)

12
(No Transcript)
13
Lanalyse acoustique des sons du langage
14
/p/
/b/
15
Le Spectrogramme
Pour plus dinformations voir
http//cslu.cse.ogi.edu/tutordemos/SpectrogramRead
ing/spectrogram_reading.html
16
(No Transcript)
17
Est-ce que le phonème est une unité perceptive de
base dans la reconnaissance de mots parlés?
Données pour La perception catégorielle
18
Perception Catégorielle
1. Création dun continuum entre deux catégories
/ba/ - /da/
19
Perception Catégorielle 1
1. Création dun continuum entre deux catégories
20
Perception Catégorielle 2
1. Expérience de classification
21
Les problèmes avec le phonème
Le phonème est défini en termes articulatoires,
alors que les sons de parole arrivent sous forme
acoustique - comment établir une relation entre
les deux?

• Deux problèmes principaux
• Linvariance - ex la coarticulation
• La segmentation - les frontières entre les
  phonèmes ne sont pas toujours très évidentes dans
  le signal acoustique

22
(No Transcript)
23
Spectrogramme de lénoncé  mille neuf cent
quatre-vingt-sept 
24
Distribution des indices acoustiques
correspondant aux différents segments dune
syllabe
25
Proposition de structure non-linéaire de la
syllabe
26
Une approche expérimentale en psycholinguistique
La tâche de détection de sons linguistiques
Cible /b/ maison, fleur, vélo, bateau,
Cible /ba/ maison, fleur, vélo, bateau,
(Savin Bever, 1970, JVLVB,  The non-perceptual
reality of the phoneme)
27
Détection de syllabes et compatibilité syllabique
(Mehler et al., 1981, JVLVB)
Type de Cible CV / CVC (ex BA vs. BAL)
28
(Cutler et al., 1986, JML)
29
Le rôle de la sonorité
Léchelle de sonorité (Selkirk, 1984)
obstruantes lt nasales lt liquides lt semi-voyelles
lt voyelles
-

sonorité
30
Le rôle de la sonorité
Syllabe optimale et frontière syllabique optimale
degré de sonorité
p1
p2/p3
p1
p2/p3
S1
S2
31
La reconnaissance de mots parlés
Lexique phonologique représentations
phonologiques des mots
(mise en correspondance segmentation lexicale)
représentations infralexicales
(segmentation infralexicale)
signal acoustique
32
Le problème de la segmentation lexicale
Dans le flux continu de la parole, comment
détecter les frontières entre les mots?
Les frontières syllabiques ne correspondent pas
toujours à des frontières lexicales - problème de
lenchaînement (ex sac anglais) et de la
liaison enchaînée (ex petit ami) en langue
française.
Erreurs de segmentation chez le jeune enfant le
 néléphant  - mais ladulte corrige ces erreurs
et lenfant reçoit un signal qui accentue les
frontières lexicales ( child directed speech )
gt stratégie de segmentation basée sur
lidentification lexicale chez ladulte (mais
comment fait lenfant?).
33
Quelles sont les autres stratégies possibles?
Utilisation des indices dans le signal
1) Indices phonétiques - variations allophoniques
(ex nitrate vs. night rate)
2) Indices prosodiques - ex MSS, stratégie de
segmentation métricale (en langue anglaise, la
plupart des syllabes accentuées se trouvent au
début dun mot).
3) Régularités phonotactiques - certaines
séquences de phonèmes ne peuvent pas apparaître à
lintérieur dun mot (ex /j/ /f/) mais peuvent
apparaître entre deux mots (ex sage femme).
Certaines séquences ne peuvent apparaître quà la
frontière entre deux syllabes (ex /t/ /l/ dans
 atlas ).
4) Probabilités transitionnelles - la probabilité
que le phonème /y/ suive le phonème /x/

p(intra) vs.
p(inter) détermine la probabilité quil sagit
dune frontière lexicale ou non
34
Stratégie de segmentation basée sur
lidentification lexicale
1) Alignement par phonème (ex TRACE, Shortlist)
chaque nouveau phonème constitue le début
potentiel dun mot
2) Alignement par syllabe - SOSH (Content et al.,
2001, JML) syllable onset segmentation
heuristic chaque nouvelle syllabe constitue le
début potentiel dun mot
35
Lapproche scientifique en psychologie cognitive
explication théorique modélisation
prédictions expérimentales
observations
expérimentation
36
Lapproche scientifique en psychologie cognitive
modèle de la reconnaissance de mots parlés
TR / erreurs dans une tâche expérimentale
influence dune variable donnée sur les temps
didentification des mots
mesure des temps didentification des mots
37
Comment mesurer le temps didentification dun
mot parlé?
Les techniques comportementales en psychologie
expérimentale
1) Gating /e/? - /ele/? - /elef/?
2) Décision lexicale /bal/ est un mot? /nal/
est un mot?
3) Shadowing répétition à voix haute du mot que
lon vient dentendre
38
Les modèles de la reconnaissance de mots parlés
1) Le modèle de la cohorte (Marslen-Wilson
Welsh, 1978, Cognitive Psychology)
et le principe dactivation multiple
39
(No Transcript)
40
Pour le modèle de la cohorte
1) Bon appariement entre le PU (théorique) et le
PI (gating task)
2) Corrélation entre le PU (théorique) et la N400
(composante ERP)
41
0ms début du mot
42
0ms point dunicité
43
Contre le modèle de la cohorte
1) leffet de fréquence les mots qui
apparaissent fréquemment dans le langage (ex
TABLE) sont identifiés plus facilement que les
mots qui apparaissent plus rarement (ex CABLE)
2) leffet de voisinage phonologique les mots
avec beaucoup de voisins phonologiques (ex
BALLE - salle, calle, dalle, bol, bar ) sont
plus difficilement identifiés que les mots avec
peu de voisins phonologiques (ex BOMBE)
3) et le problème de la segmentation lexicale
44
Les modèles qui appliquent la stratégie de
segmentation par identification lexicale (avec
alignement par phonème)
TRACE (McClelland Elman, Cognitive Psychology,
1986) Shortlist (Norris, Cognition, 1994)
- Le principe de compétition (inhibition)
lexicale on ne reconnaît quun seul mot à la
fois
45
Stratégie de segmentation par identification
lexicale et principe de compétition lexicale -
comment combiner les deux?
Le problème des mots  enchâssés  Ex  chaud 
dans chômage  Par rapport à  chaud  dans le
temps chaud
46
/chômage/
 chaud  et  chômage  sont alignés - donc en
compétition
47
/temps chaud/
 temps  et chaud  ne sont pas alignés - donc
ils ne sont pas en compétition
48
(No Transcript)
49
Shortlist
50
(No Transcript)
51
(No Transcript)
52
(No Transcript)
53
Résultats expérimentaux en faveur des modèles
TRACE et Shortlist (favorables aux deux
principes centraux de ces modèles lactivation
multiple et la compétition lexicale)
1) Effet de fréquence et effet de voisinage
phonologique
2) Effet damorçage phonologique
3) Word spotting - tâche de détection de mot
54
Lamorçage phonologique
(Slowiaczek et al., 2000, JML)
1) Initial overlap inhibition - ex TRACE-TRAME
leffet inhibiteur est plus fort avec les
amorces mots quavec les amorces nonmots (ex
TRALE-TRAME). Effet dinhibition lexicale.
2) Final-overlap facilitation - ex TRACE-GRACE
leffet facilitateur est identique pour les
amorces mots et les amorces nonmots (ex
PRACE-GRACE). Effet de facilitation prélexicale.
55
Word spotting
(McQueen et al., 1994, JEPLMC)
Détection dun mot enchâssé dans un nonmot - ex
 mess  dans  demess  est plus lent que
 mess  dans  nemess ( demess  est le début
dun mot possible en anglais (domestic)
Rôle des frontières syllabiques en langue
française (Dumay et al., 2002, Brain and Language)
 lac  dans  zun.lac  est plus rapide
que  lac  dans  zu.glac  (SOSH)
56
The eye-tracking paradigm
57

• Les participants doivent cliquer avec la souris
  sur lobjet mentionné click on the net

58
target frequency
(Dahan et al., 2001, Cognitive Psychology)
59
competitor frequency
60
(No Transcript)
61
(No Transcript)
62
(No Transcript)
63
Différences entre TRACE et Shortlist
Interactivité vs. autonomie
Shortlist
TRACE
64
Différences entre TRACE et Shortlist
Interactivité vs. autonomie

• Pour linteractivité linfluence lexicale sur
  lidentification des phonèmes
• - la restauration phonémique on présente
  PATTEUR, vous entendez BATTEUR (Samuel, 1984,
  JEPGEN)
• - effet de lexicalité dans la détection de
  phonèmes /t/ est plus rapide dans BATEAU que
  dans MATEAU

65
Point dunicité et détection de phonèmes
(Frauenfelder et al., 1990, JEPHPP )
66
(No Transcript)
67
(No Transcript)
68
semantics
O-words
P-words
O-P-C
P-units
spoken word
69
Abréviations
JEPGEN - Journal of Experimental Psychology
General JEPHPP - Journal of Experimental
Psychology Human Perception and
Performance JEPLMC - Journal of Experimental
Psychology Learning, Memory and Cognition JML -
Journal of Memory and Language JVLVB - Journal of
Verbal Learning and Verbal Behavior