Tartalomalap

1
Tartalomalapú médiavisszakeresés

• Kiss Attila
• Információs Rendszerek Tanszék
• kiss_at_inf.elte.hu

2
Bevezetés

• A webre egyre több multimédia tartalom (kép,
  hang, videó) kerül fel.
• A multimédia tartalmak kategorizálása, szöveges
  leírása
• rengeteg emberi munka lenne,
• a leírások nem biztos, hogy elég pontosak.
• A tartalom alapú keresok
• a multimédia adatokat a jellemzok (features)
  értékei alapján egy többdimenziós térben
  ábrázolják. Ezek után osztályozási,
  mintaillesztési feladatokat oldanak meg.
• Tipikus, hogy egy képhez keresünk hasonlókat.
  Lehet hangminta, dúdolás alapján is keresni.
• Alkalmazások
• például röntgen képeket összehasonlítva a hasonló
  képek alapján segít diagnózist alkotni.

3
Képkeresési példa (Viper)
A keresés bemenete.
4
Képkeresési példa (Viper)
A keresés kimenete.
5
Felhasználói véleményezés.
6
Finomított eredmény. Jobb?
7
Egy másik keresés festményekre.
8
Festménykeresés eredménye
A keresés által visszaadott rövidlista
9
Tartalomalapú keresés

• Hogy adjuk meg a keresési feltételt
• Szöveges leírással.
• Egy vagy több mintaképet, hangot, klippet adunk
  meg.
• Rajzolunk egy egyszeru vázlatot, például sötét
  háttérben egy narancssárga kört, ha naplementés
  képeket keresünk.
• Kombináljuk fentieket.
• Az eredmény formája
• Egy lista, például kicsinyített képekkel.
• Azok a klipprészek, amit kerestünk, például, ahol
  autós üldözési jelenet látható.
• Az eredménybol strukturált weboldalt vagy más
  dokumentumot állítunk elo.
• A felhasználó finomíthatja, véleményezheti az
  eredményt, ezzel tovább jaívthatja a kereso
  algoritmust.
• A kereséshez az alapveto feladata médiaadatok
  összehasonlítása.

10
Hogyan értékeljük ki a keresési algoritmus
jóságát?

• Pontosság (Precision) és Felidézés (Recall)
• Precision ( releváns elemek) / ( összes
  visszaadott elem)
• Recall ( releváns elemek) / ( összes
  releváns elem az adathalmazban)
• Egy Pontosság-Felidézés görbe megrajzolásának
  folyamata
• Számítsuk ki az adatbázis összes elemének
  relevanciaértékét.
• Rendezzük a listát.
• Tegyük fel, hogy a lista a következo
• r r r n n r r r n n
• és összesen 6 releváns elem van az
  adatbázisunkban.

11
A Pontosság-Felidézés görbe
1
Pontosság
1/6 2/6 3/6 4/6 5/6 1
Felidézés
A rövid lista ilyen r r r n n r r r n n
Kérdés Miér nem használunk egyetlen értéket a
görbe helyett?
12
A legjobb Pontosság-Felidézés görbe
1
Pontosság
(releváns elemek )/ (összes elem )
1
Felidézés
1/(releváns elemek )
13
Képkeresési módszerek

• Adatbázisban való képkereséshez össze kell
  hasonlítani a képeket mennyiségileg bizonyos
  jellemzok alapján.
• A képeket egészében összehasonlíthatjuk jellemzok
  alapján, pl.
• Színek, textúrák és térbeli elrendezésük.
• Szegmentálhatjuk a képeket területekre és a
  hasonló jellemzoket használhatjuk objektumok
  felismerésére.
• Az újabb rendszerekben az emberek kiugró
  jellemzoket használnak, például SIFT
  (Scale-invariant feature transform)-szeru
  jellemzoket, tanuló és mintafelismero módszereket.

14
Szín-hisztogram módszer
Sok rossz találat is lesz.
15
Szín-hisztogram javítása

• Válasszuk szét az eloteret és a hátteret.

Background
Foreground
16
Szín-hisztogram továbbfejlesztése

• Definiáljunk térbeli tartományokat és köztük lévo
  kapcsolatokat.

Színfolt 1
Színfolt 2
17
Keressünk hasonló alakzatokat

• A hasonló alakzatok keresése nagy mennyiségu kép
  kezelésénél nagyon hasznos eszköz.
• A lesarkítás-illesztés (chamfer matching)
  szabványos módszer alakzatok hasonlóságának
  összehasonlítására.
• Az általános Hough-transzformáció is használható
  képeken alakzatok keresésére.

18
Alakkörnyezet

• Az alakkörnyezet is egy gyakran használt jellemzo
  alakzatok keresésénél.

Cij a hi és hj alakkörnyezetektávolsága
19
Az illesztés hatékonyságának növelése

• Illesztés közben gyors vágás
• Visszavágó alakkörnyezetek
• Alakzatelemek

Greg Mori, Serge Belongie, and Jitendra Malik,
Shape Contexts Enable Efficient Retrieval of
Similar Shapes, CVPR, 2001
20
Példa eredmény
Visszavágó alakkörnyezetek az alakzatillesztésben
21
Jelenlegi irányvonalak és kihívások

• Mutatunk egy újabb keletu munkát

Cél felismerni, hogy egy objektum elofordul-e
egy képen.
L. Fei-Fei, R. Fergus, and P. Perona. A Bayesian
approach tounsupervised One-Shot learning of
Object categories. ICCV 2003.
22
SIFT jellemzoket használunk. Igazából a
jó jellemzoket kis tanuló képhalmazból vesszük.
23
Motorkerékpár eredmények
24
Versenyek az objektumfelismerésrol

• http//www.pascal-network.org/challenges/VOC/voc20
  07/

25
Egyéb multimédia adatok keresése

• Audió keresés
• Keressünk meg egy hangklipet egy nagy
  adatbázisban.
• Videó keresés
• Keressünk meg egy bizonyos videóklipet.
• Keressünk egy videórészletet, amelyben szerepel
  egy adott személy vagy esemény.
• Videóböngészés

26
Adatszerkezetek a médiakeresésben

• Multimédia adatkeresésnél gyakran meg kell
  találni egy elem legközelebbi szomszédját az
  adatbázisban egy minta alapján.
• Minden médiaobjektumot absztrahálhatunk egy
  jellemzovektorba. A célunk úgy szervezni az
  adatbázist, hogy a leginkább hasonló vektorokat
  minél gyorsabban megtaláljuk.
• K Találjunk ki olyan adatszerkezeteket, amelyek
  javíthatják a keresést.

27
K-d fa

• 2D-s k-d fa

a
d
e
b
b
c
c
d
f
a
f
28
Összefoglalás

• A tartalomalapú multimédia keresés még nem érett.
  Még sok problémát kell megoldani.
• Nincs egyetlen módszer, amely minden problémát
  megoldana.
• Jobb objektumfelismero és osztályozó sémákra van
  szükségünk.
• Más közeli problémák, mint a multimédia
  adatbányászat, szintén egyre több figyelmet
  keltenek.