<Here%20you%20put%20the%20title%20of%20the%20J

1
(No Transcript)
2
Spoken Document Retrieval basics applications

• Roeland Ordelman, David van Leeuwen, Wessel
  Kraaij, Jaap Hinke, Arjan van Hessen ( some
  Master and PhD students in 2004)

3
Spoken Document Retrieval Due to a maturing
technology, an increasing awareness of
technological possibilities and, as a result, an
increasing request, many different organisations
and companies start with spoken document
retrieval. Most of them come to Twente!
4
Multi Media Document Retrieval

• We want the possibility to find the requested,
  relevant information, with a minimum of
  non-relevant documents.
• The search may not be limited by the fact that
  documents are not in the original query language.
  In fact we want to search in documents that do
  not contain text at all.
• All meta-data may be used in this task!

5
Relevancy

• When is a document relevant?
• Relevancy depends on
• the users,
• the questions
• the (temporal) situation

6
Relevance judgment
7
Precision Recall

• In general P a/R
• The higher the precision, the lower the recall
• The higher the recall, the lower the precision
• The optimum depends on various, often external
  factors

8
Raw material

• Written text
• Speech ? recognised text
• Images ? constructed descriptions
• Meta-Information
• All information thing thats available like
  time/date, speaker, hot items in the press,
  broadcast scheme's

9
Problems
Input
Output

• Speech recognition is less than 100 correct due
  to
• Misrecognitions
• Out-of-Vocabulary size of the lexicon is lower
  than the number of unique words
• Different words in the question and the relevant
  documents (fiets ? rijwiel, piraat ? zeerover)

To be or not to be, that is the question!
10
Searching

• Traditional searching techniques are based on
  words.
• Misrecognition and the use of different words may
  lead to low retrieval result.
• In spite of the correct words, the document does
  not contain the desired information

11
Searching

• Keyword based searching may fail
• Q beautiful, girl, red , Ferrari
• A the beautiful girl jumped in her red Ferrari
• A thats nice said Enzo Ferrari to the girl,
  when he closed his beautiful red jacket.
• A the astonishing lady drove her famous
  red Italian sports car.

12
Searching
13
Fingerprinting

• Make a fingerprint (FP) of a document based on
  all the possible relevant words (remove stop
  words)
• Make a FP of the question
• Make FPs of all the available documents
• Calculate the distance betweenthe FP(question)
  and all FP(documents)
• Make sorted list of the documents that are close
  to the question

14
Fingerprint OKAPI 25BM

• N is the number of items (documents) in the
  collection
• n is the number of documents containing the term
• R is the number of documents known to be relevant
  to a specific topic
• r is the number of relevant documents containing
  the term
• S is the number of documents known to be
  nonrelevant to a specifc topic
• s is the number of non-relevant documents
  containing the term
• K is k1((1 _ b) bdlavdl )
• k1 and k3 are parameters which depend on the on
  the nature of the queries and possibly on the
  database.
• For the TREC7 experiments, k1 was 1.2 and k3
  anything from 0 to 1000
• tf is the frequency of occurrence of the term
  within a specific document
• qtf is the frequency of the term within the topic
  from which Q was derived
• dl and avdl are the document length and average
  document length (arbitrary units) resp.

Search algorithm. With w(1) the Robertson/Sparck
Jones weight
15
Text collection
TwNC
16
ABBOT Speech Recogniser
TwNC
17
Spoken Document Retrieval
SDR
18
Research Items

• How many words does a question need?
• Long question ? short question ?
• IR ? key word searching
• Do we need a semantic dictionary?
• How bad may recognition be, before IR breaks down?

19
IR as a function of ASR performance

• Start with a 100 recognition
• Corrupt the text in such a way that it matches as
  much as possible ASR results
• Do IR on a judged corpus

20
IR as a function of ASR performance
21
IR as a function of ASR performance
22
Demos Pilots
Sure, with the right data, we can provide the
right information for you!
We are interested in a program that can jump
directly to the requested information in a sound
file. Is that possible?
23
Applications why now

• Growing amount of non-textual information on the
  Internet
• Growing awareness of retrieval capacities /
  possibilities
• Growing demand from the market

24
Applications who

• Broadcast companies
• Dissimination of news, discussion programs
• Government (local, regional, national)
• Wake ups, internal use, checkcontrol
• Police, Ambulance
• Search for complains, Intelligent routing
• Finance, Assurances
• Search for complains, Intelligent routing

25
Radio 1 ASR (3 years)

• bomaanslagen Iraakse steden Bagdad in te blazen
  meer dan honderd mensen het leven gekomen onder
  hen zijn tientallen pelgrim zijn buurland Iran en
  waarin Irak voor Sjoerd herdenking een
  belangrijke religieuze dag voor sjiitische
  moslims herdenken op deze dag gemaakt de dood van
  imam Hoessein de kleinzoon van de profeet
  Mohammed aanslagen werden vrijwel gelijktijdig
  gepleegd in Bagdad daarvoor was voor de
  herdenking tien duizend mensen bij elkaar gekomen
  in de heilige stad Quetta zelfs meer dan een
  miljoen ook in Pakistan zijn doden gevallen
  tijdens een issue de herdenking van alle
  gelovigen kwamen onder leven toen ze werden
  beschoten tijdens een optocht ziet er voor een
  minderheid in Pakistan zijn geheel

26
Radio 1 IR (1 year)

• 4-1-2004 / 120121 de Britse
  premier Blair is op verrassingen bezoek in Irak
  vanmorgen kwam niet per vliegtuig aan niet
  bestaande zuiden premier was in de buurt hen was
  met de kerstvakantie Sharm al Sheikh in Egypte in
  een toespraak voor de Britse militairen
  waarschuwden de premier landen die
  massavernietigingswapens hebben de landen zijn
  grote bedreiging voor de veiligheid in de wereld
  aldus Blair zei verder dat de coalitie troepen in
  Irak hebben laten zien dat we beter gaat als een
  land democratie hen gerechtigheid is in de tweede
  keer dat beide troepen in Irak bezoekt eerste
  keer was in mei vlak na de val van Saddam Hussein
  op bezoek werd overschaduwd door negatieve
  publiciteit voor de premier Britse regering zou
  berichten over massavernietigingswapens in Irak
  hebben overdreven om de oorlog te rechtvaardigen

27
1 - Algemeen Dagblad, 12/03/2002, artikel
108Retrieval score 51.25144
  Berichten over kernaanvallen ietwat overdreven de Amerikaanse vice president Cheney heeft berichten over Amerikaanse kernaanvallen op zeven met namen genoemde landen van de hand gewezen als ietwat overdreven. Hij voegde daaraan toe dat Washington niet van plan is plannen bekend te maken over uitbreiding van de oorlog tegen terrorisme naar Irak. Cheney zei dit op een persconferentie met de Britse premier Blair na afloop van zijn bezoek aan Londen. Cheney begon gisteren aan een tiendaagse tournee langs Europese hoofdsteden en het midden Oosten. Cheney reageerde op een uitgelekt document van het Pentagon. Daarin vraagt de Amerikaanse regering aan de strijdkrachten om een noodplan voor nucleaire aanvallen op zeven landen in geval van ernstige dreiging. Het gaat om China Rusland Iran Irak Libië Noord Korea en Syrië de vice president sprak van een regulier rapport aan het congres dat een idee geeft van de richting die wij in de toekomst in willen slaan. Volgens hardnekkige geruchten zou Cheney aan Blair steun hebben willen vragen voor een campagne tegen Irak. De VS zou vijf en twintig duizend Britse militairen willen inzetten in een grondcampagne tegen Irak waarbij in totaal twee honderd vijftig duizend soldaten moeten worden betrokken. In Londen werd ontkend dat gedetailleerd gesproken is over een oorlog tegen Irak. De Britse premier is door zijn eigen Labourpartij onder druk gezet om in geen geval aan een oorlog tegen Irak deel te nemen. Blair benadrukte dat er geen beslissingen zijn genomen over hoe men verder zou willen gaan in de strijd tegen terreur maar herhaalde zijn waarschuwing aan het adres van de Iraakse president Saddam Hoessein. Het lijdt geen twijfel dat er dreiging uitgaat van Saddam Hoessein en de massavernietigingswapens die hij heeft ontwikkeld. Irak haalde gisteren uit naar Cheney die een misdadiger werd genoemd. De Iraakse vice president Taha Yassin ramadan herhaalde bovendien dat Irak de terugkeer van VN wapeninspecteurs niet zou toestaan.
2 - NRC, 28/02/2002, artikel 7Retrieval score
47.96887
  Blair noemt actie tegen Irak belangrijk de Britse premier Tony Blair heeft voor het eerst gezegd dat actie tegen massavernietigingswapens van Irak belangrijk is. Hij deed dat in een vraaggesprek met de Australian Broadcasting Corporation aan de vooravond van de bijeenkomst van het Gemenebest in Brisbane. Blair weigerde Irak Iran en Noord Korea op de noemer as van het kwaad bijeen te brengen zoals de Amerikaanse president Bush heeft gedaan omdat die drie landen nucleaire biologische en chemische wapens zouden maken. Maar hij prees Bush leiderschap sinds de terreuraanvallen van elf september en zei het volkomen met hem eens te zijn dat massavernietigingswapens een daadwerkelijke bedreiging vormen van de stabiliteit in de wereld die ons tot actie dwingen. Blair ontweek de vraag of actie tegen het regime van Saddam Hussein militair moet zijn maar zei dat het verenigd Koninkrijk die afweging kalm en redelijk moet maken. In dezelfde woorden prees hij het optreden van de regering Bush sinds elf september. Britse ministers hebben tot nu toe steeds gezegd dat bewijzen voor de betrokkenheid van Irak bij elf september nodig zijn wil Londen instemmen met gewapende actie tegen Bagdad. Zo niet dan zou de huidige coalitie met de verenigde Staten uiteen kunnen vallen. Londen zou nog steeds hopen op een diplomatieke oplossing voor Irak waarbij internationale wapeninspecteurs in dat land terugkeren. Die positie past in het streven krijgshaftige taal uit Washington te verzoenen met vooralsnog pacifistischer geluiden uit Europa. De Britse krant The Observer schreef zondag dat Blair in april naar Washington reist voor een top met Bush om de details van een militaire campagne tegen Irak door te nemen. Londen zou volledig instemmen met militaire actie als Saddam Hussein blijft weigeren inspecteurs toe te laten. De speciale top luidt fase twee van de strijd tegen het terrorisme in en actie tegen Irak staat bovenaan de agenda citeert de krant een functionaris van tien Downing Street.

28
(No Transcript)
29
SDR at BeeldGeluid

• Low recognition results (40 60 WER)
• Different user groups
• Extreme pleased program makers
• Disappointed documentalists

30
SDR at the NOS
Noodweer zorgt voor schade in Parijs

• Pilot probably starts in Q1 2005
• Streaming broadcast news with automatically added
  meta-information articles from newspaper linked
  to topics in the news

31
Searching in log-files
There was a complain about some stock order
buying!

• Police, Ambulance
• Assurance companies
• Dealing rooms of Banks

We only know that it was last Saturday morning!
It will take hours to find it!
Classical way linear searching
32
SDR in the 2nd Room
They are talking about mad cow diseases

• Wake-up calls if something interesting has been
  said
• Handmade transcriptions available ? time
  alignment possible
• Content What was said
• Emotion How was it said

33
Questions