HSR

1
HSR

• Human speech recognition /
• Speech processing

2
Menselijke spraakherkenning

• Mensen zijn nog altijd de beste spraakherkenners
• Automatische systemen zoals ASR of text parsers
  kunnen baat hebben bij nieuwe inzichten in de
  menselijke spraakherkenning
• Inzichten kunnen helpen bij behandelingen van
  mensen met taal- / spraakstoornissen

3
ASR

• Onder zoveel mogelijk omstandigheden zo min
  mogelijk fouten maken
• Systemen zijn toegerust voor specifieke taken
• ASR HSR
• ASR systemen onderzoeken spraak op een ander
  niveau dan HSR onderzoekers
• Synergie zoveel mogelijk maximaliseren

4
Onderzoek HSR

• Onderliggende processen bij spraakherkenning
  worden onderzocht dmv
• Patienten met hersenschade
• Experimenten
• Phonetic categorisation, Lexical decision,
  Phoneme monitoring, Gating, Shadowing
• Modellen
• Cohort, TRACE

5
Phonetic categorisation

• Categorische perceptie. Aan welke criteria moet
  een klank voldoen om in een categorie te vallen?
• Stimuli klank / phone
• bijvoorbeeld v.o.t. b / p
• Respons phonetische categorie
• Measure categorie chart / time
• Typische resultaten context (selectieve
  adaptatie, spreektempo) continue adaptatie

6
Phoneme monitoring

• Welke grote van eenheid wordt gerepresenteerd?
• Stimuli woorden / nonwoorden / zinnen
• linnenkast fietsenstalling - boten
• Respons knop indrukken bij eerste waarneming
  van een bepaalde klank (bijvoorbeeld bo)
• Measure time
• Typische resultaten
• Dual code theory
• Lettergrepen gtgt phonemen (post-lexicaal)
• Lettergreep in woord ltgt lettergreep in
  non-woord (pre-lexicaal)

7
Shadowing

• Hoe interacteren syntax en semantiek?
• Stimulus Voogrelezen tekst met spelvouten
• Respons Zeg de tekst zo snel mogelijk na
• Measure Aantal fouten / correcties
• Condities discrepantie, locatie in het woord,
  context
• Typische resultaten fluent restoration,
  non-fluent hesitations

8
Lexical decision

• Onderzoek naar semantisch memory en lexical
  acces.
• Stimuli word / nonword
• Response Y / N
• Measure time errors
• Typische resultaten frequency - / recency effect

9
Gating

• Organisatie van het mentale lexicon
• Stimuli groeiend deel van een woord
• Respons voorspel het woord
• Measure time
• Typische resultaten priming effecten,
  recognition point

10
Uniqueness- / recognition point

• Belangrijk en algemeen aanvaard concept in HSR
• Uniqueness point
• Het punt waarop een woord uniek herkend kan
  worden
• Recognition point
• Het punt waarop een woord herkend wordt (ook
  afhankelijk van frequency recency effecten).

11
Modellen HSR

• Template matching
• Probleem Verschillende uitspraken moeten worden
  opgeslagen
• Motor theory
• Probleem We kunnen woorden verstaan die we zelf
  niet zo zouden uitspreken.

12
Modellen HSR

• Cohort model (initieel)
• Acces stage (lexicale activatie)
• T (-overen), (-okkie), (-oneel) ...etc.
• Selection stage
• Tov (-eren)
• Nieuwe bottom up informatie
• Integration
• Werkwoord, goochelen

13
Modellen HSR

• Cohort model (aanpassingen)
• Spraakverwerking is data-driven (gating
  paradigm, shadowing)
• Mate van overlap wordt meegenomen
• Woorden in het cohort hebben een activatiewaarde
  (o.a. lexical decision tasks)
• Probleem Wanneer begint een woord?

14
Modellen HSR

• Cohort model
• Uniqueness point correleert met recognition
  point.
• Frequency recency effecten worden voorspeld
  (in het aangepaste model)
• Verklaart geen woordgrenzen

15
Modellen HSR

• TRACE
• Drie sets verbonden lagen (layers)
• Feature detector
• Phoneme detector
• Woord detector
• Input is in tijdseenheden opgedeeld die
  achtereenvolgens worden verwerkt.

16
Modellen HSR

• TRACE (vervolg)
• Binnen een set zijn verbindingen inhibitoir
• Tussen sets zijn verbindingen excitatoir
• Er bestaan top-down verbindingen / feedback

17
Modellen HSR

• TRACE (vervolg)
• Verklaart phoneme restoration
• Verklaart (deels) coarticulatie
• Vindt woord grenzen

18
Evaluatie modellen

• HSR verkeerd beschrijvingsniveau
• Hoe wordt een feature (TRACE) / phoneem (cohort)
  herkend?
• ASR als model
• Bestaande ASR-systemen niet cognitief plausibel.
• Kennis over het laagste niveau
• Gabor shaped receptive field
• perceptuele basis van klankherkenning (B.Gigi)
• technisch, taalkunde

19
Practicum

• Vanuit taalkundig perspectief is er wel een
  redelijke kennis over het laagste niveau van
  spraaksignalen.
• We gaan kijken naar zulke features.

20
De papegaai spreekt pakistaans
21
Formant structuur in klinkers