????? ?? (Natural Language Processing)

1
????? ?? (Natural Language Processing)

• ?????
• Office R? 908
• Email seojy_at_sogang.ac.kr

2
Natural Language Processing

• ???????
• ??? ??? ??? ???? ??? ? ??? ?? ?? ??
• ????
• ??? ?? Terminator, Bicentennial Man, I Robot,
• ?? ??, ??? ????,
• Ubiquitous web browsing IPTV, Mobile PMP,
• ?? ??, ?? ??, ?? ?????,
• ???? Naver, Google,
• ??? ??, ?? ??? ??,
• ???? ??/??, ??/??, ??/??,
• ?? ?? ?? ?? MS Word, ??, .
• ????, ?? ??, .

3
Dialog System

• ??? ???
• ?? ????? ????(Shared Knowledge)? ???? ???? ??
• ? ??? ?? ??? ?????. ?? ?? ???.
• ?? ?????
• ? ?????
• ?? ? ??? ???? ??? ??? ??
• ??? ????? event/action ? ???? ????? ??? ? ??
  event/action/state ?? ?? ??
• ? ??? ?? ??? ?? ??
• ? ??? ??? ?? ??
• ? ??? ???? ??? ?? ??

4
?????? ???? ???
??
??? ???
?????
????
??
?????
?? ???? (Knowledge-Base)
???? ????
??(discourse) ???
?????
????
5
??, ??, ???

• - ??
• ??? ??? ?? ???? ??? ???
• - ?? / ???
• ?? ??? ?? ?? / ??? ???? ?? ???? ??
• ? ?? ?? ???.
• ????? ?? ?? ????.
• ??? ?? ?? ??.
• I tried to go to school.
• He tries to pass the exam.

6
??? ???? ???
V s -gt 3??, ?? ???? ????
??? ?? ??
tries
trys, v, ??, 3??
??? ???
??
? ? ?? ? ?? ?
??
try V ? ?? ?? ?? ?? ?? ? ??, ??
7
??? ???? ??

• - ????
• ??? ??? ??? ???? ??
• ??? ????(??, ????, ??? ?)
• ??? ??? ??
• - ??? ???? ??
• ?? ?? ?? ?? ???(?? ???)? ??? ???? ????, ??? ????
  ??? ????? ???? ??
• ??? ??? ???
• ?? -gt ??? ??? -gt ??, ?(?)?, ?(?)?
• tries -gt morphological analysis -gt try s, v,
  single

8
??? ??? ?? ??

• - ??? ???? ???? ? ???
• - ?? ??
• tries -gt try s, digger -gt dig er
• ??? -gt ? ??, ???? -gt ?? ??
• (??) ???? -gt ??? ?
• ???? -gt ??? ?
• - ??? ?? ? ?? ??
• ?? -gt ??? ?
• - ??? ??
• ???? -gt ?? ??, ???? -gt ?? ??
• - ???? ??
• ?????????? -gt lt???????gt ?? ?

9
??? ??? ?? ??

• - ?? ??? ?? ??? ??? ??? ??
• - ????? ??? ??? ??? ?? ??? ?? ?? ??
• - "??????"? ?? ?? ?
• 1) "??????" ?? ?? -gt ??
• 2) "?????" ?? ?? -gt ??
• 3) "????" ?? ?? -gt ??
• 4) "???" ?? ?? -gt ??
• 5) "???" ?? ?? -gt ??
• 6) "??" ?? ?? -gt ??
• 7) "?" ?? ?? -gt ??
• 8) "??" ?? ?? -gt ??
• 9) ???? ???? ?? (?? ??? ??)

10
??? ??? ?? ??

• - "??"? ?? ?? ?
• a) ?(I) ?
• b) ??(fly) ?
• c) ??(born, come out, happen, . . .) ?
• - ???? ???? ?? ??? ??
• 1) ?? ?? ??? ??? ?? ??? ???? ????. (a)
• 2) ??? ?? ???? ??? ??? ???. (b)
• 3) ?? ?? ?? ?? ??? ???? ???. (c)
• 4) ?? ??? ?? ?? ??? ???????. (d)

11
Grammars and Parsing

• ?? (Grammar)
• ??? ??? ??? ???? ??? ?
• ?? ??? (Parser)
• ??? ???? ??? ??? ???? process
• ??? ?? ??? Tree ??? ??? ? ??. ?, ? ?? ????? ???
  ?? ??(? phrase)? ???, ? ?? ????? ????? Tree????
  ?? ??? ??? ??.

12
Grammars

• Grammar a set of rewrite rules
• Context Free Grammar (CFG)
• ? rule? LHS(Left-Hand side)? ??? symbol? ???? ??
  ??
• Grammar Rule ? ???? sentence? derive? ??
  ??(sentence generation), analyze ? ??
  ??(sentence parsing).

13
Sentence Generation

• (ex) By rewrite rule
• S NP VP
• N VP
• John VP
• John V NP
• John ate ART N
• John ate the N
• John ate the apple.

14
Sentence Parsing

• Bottom-up parsing vs. Top-down parsing
• Bottom-up parsing
• ?? ??? ????? ???? rewrite ??? backward? ???? S
  ??? ??? ??? ??
• Top-down parsing
• S?? rewrite?? ??? sentence? generate? ??? ????.
  ?? ?? ???? ? ???? ? ??? ???? ??? parsing fail??.

15
Bottom-up Parsing

• (ex)
• John ate the apple.
• N V ART N
• NP V ART N
• NP V NP
• NP VP
• S

16
Good Grammar

• NLP??? ??? ??? ??? ??? ??? ?? ? Grammar? ????. ?
  ? ?? ????? ????? ? ??? ??? ??.
• Generality ?? ??? cover? ? ?? sentence? ???
  ???? ??.
• Selectivity ?? ??? ??? sentence? non-sentence?
  ? ??? ? ??? ??.
• Understandability ??? ???? ?? ??? ???? ????
  ???? ???? ??? simple?? ??.
• ?? ??? ??? ?? ???? subtree?? category? ? ????
  ???, ?? subtree? ?(phrase)?? ??.

17
?? ??

• ??????
• ?? (symbol string) ? ??? ? ??? ???? ???
• ? ??? ????? ?? ? ??(??)? ?? ??? ???? ????
• ?? ??? ???
• ??? ?? ??? ?? ??? ???
• Symbol to Meaning (i.e., concept) mapping
• computational model ??? ???
• real world knowledge ??? ???

18
????

• ?????? ??? ????? ?? ???
• ??? ??? ???. (o)
• ??? ???? ???. (x)
• ???? ??? ???. (x)
• ?? ?? ??? ??

?? agent ??? ?? ??
object ?? ? ?? ?? ....
19
?? ?? (Discourse Analysis)

• ??????
• ?? ??? ??? ?? ??? ????? ???? ? ??? ???? ?
• ?1 ?? ?? ???.
• ??? ??? ?????. ?? ?? ???.
• ??? ??? ??. ?? ?? ???.
• ?2 (??? ??? ??? ??? ???)
• ??? ?? ?? ?? ?? ?????.
• ?? 1. ? ?? ??? ?????.
• 2. ?? ???? ?????
• 3. ?? ???? ?????

20
???? ?? ?????
???? ???? ???? ???
?? ?? ?? ? ? ? ??? ?. ?? ?? ???? ????? ??
?? ?? (?? ??? ??? ???, ?? ?? ???
??? ?) ?? ?? ????. ? ?????. ?? ???.
?? ???, ?? ?? ???? ?? ??? ?.
21
?? ???

• ?????
• ???? ??? ???, ? ?? ?? ?? ????? ???? ?
• ??? ?? ?? ??? ???? ?? ??? ???? ?? ?? ??? ?? ????
• ? SK??? 1mm ???
• ??? ????
• ??? ?? ?? ???
• ??? ??? ??
• ??? ? ??, ?? ?? ??? ? ??
• ??? ? ??? ?? ?? ??? ????

22
???? ???(Question/Answering System)
23
???? ???
24
Search engine vs. Q/A engine
As Is (??? ?? ???)
To Be (?? ?? ???)

• ?? ????? ?? ?? ??
• 1. ???? ??? ?? ???.
• 2. ?? ??? ?? ??? ??? ??.
• 3. ?? ?? ??? ?? ?? ??.
• 4. ???? ?? ???? ?? ??.
• ??? ????? ?? ?? ??
• 1. ???? ????? ??.
• 2. ???? ?? ??? ?? ??? ??.
• 3. ??? ?? ??? ???.

• ?? ????? ?? ?? ??
• 1. ???? ??? ?? ??? ??.
• 2. ?? ?? ?? ?? ??.
• 3. ??? ?? ??? ?? ? ??? ??.
• 4. ? ??? ??? ???????? ??
• 5. ?? ?? ?? ?? ??
• ??? ????? ?? ?? ??
• 1. ??? ?? ??, ?? ???? ??.
• 2. ??? ?? ?? ? ???? ??? ??.
• 3. ?? ?? ??? ??.

• ?? ??? ???? ??????
• 1. ?????????
• ?? ??? ??? ???? ?? ??.
• ???, ??, ??, ?? , ????
• ?? ??? ??? ???? ?? ????
• ??

• ?? ??? ???? ??????
• 1. ????? ?? ??(??? ??)
• ?? ????? ?? ????? ?? ??
• ??, ? ??? ??? ???? ?? ??
• ?? ?? ??

????? ?? ??? ?? ?? ????. ??? ?? ??? ???? ????
???? ??? ??? ??? ??? Vertical ????.