Wat is het meest informatief in een gebaar?

1
Wat is het meest informatief in een gebaar?
?
2
Inleiding

• Ons doel Automatische Gebaarherkenning
• Vraagstuk Hoe gaat herkenning in zijn werk?
• wat is belangrijk?
• wat kan genegeerd?
• Methode Perceptie-onderzoek bij gebaarders

3
(No Transcript)
4
Inzicht in informatieverdeling
Twee lijnen van onderzoek
1
2

• Welke tijdstippen zijn het meest informatief?
• Is een geïsoleerd stuk gebaar herkenbaar?
• Welke stukken geven betere herkenning?

• Welke kenmerken zijn het meest informatief?
• Welke kenmerken blijven nuttig in versimpelde
  vorm?

5
Experiment Informatieve Tijdstippen
(rust)
(rust)
Preparatie
Retractie
Stroke
Herkenning per deelpreparatie 66stroke
95retractie 60overgang 93
Geeft even goede herkenning als het gehele gebaar
Informatief moment
6
Experiment Informatie in Handvorm/Oriëntatie

• Vraag
• Hoeveel helpt het zien van handvorm/oriëntatie de
  herkenning?
• Methode
• Bied een serie filmpjes aan
• Elk filmpje toont meer informatie
• Wanneer verbetert de herkenning?

7
Uitkomst Experiment

• Oriëntatie weergeven helpt nauwelijks
• Gereduceerde handvorm weergeven geeft grote
  verbetering
• Mondbeeld mogelijk belangrijker dan handvorm
  details voor onderscheid

Herkenning per conditie C1 13C2 15C3
60C4 95
Handvorm is in gereduceerde vorm al nuttig
8
Conclusies

• Experimenten leren dat
• (Begin van) stroke is het meest informatieve deel
• Preparatie en retractie bevatten ook informatie
• Alleen oriëntatie draagt niet bij tot herkenning
• Gereduceerde handvorm verbetert herkenning
  duidelijk
• Toepassing
• Herkenner richten op stroke alleen
• Neem gereduceerde handvorm op in herkenner

9
Vragen?