Analiza neodvisnih komponent (ICA)

1
Analiza neodvisnih komponent (ICA)
Seminarska naloga

• Fakulteta za elektrotehniko

Avtor Alan Keber Mentor prof. Dr. Stanislav
Kovacic
2
Primer
3
Statisticna neodvisnost
Definicija za statisticno neodvisnost
Nakljucne spremenljivke y so medsebojno
neodvisne, ce je funkcija gostote verjetnosti
enaka produktu gostot verjetnosti za vsako
spremenljivko posebej.
Definicija nekoreliranosti
Ce so nakljucne spremenljivke medsebojno
statisticno neodvisne, so tudi nekorelirane,
obratno pa ne velja. Potreben, vendar ne zadosten
pogoj za statitisticno neodvisnost je
nekoreliranost. Nekoreliranost je zadosten pogoj
za neodvisnost le vprimeru Gaussove porazdelitve
nakljucnih spremenljivk.
4
Primer

• Imamo dve neodvisni spremenljivki s, ki so
  uniformno porazdeljene, so neodvisne in
  nekorelirane (spodnja slika levo). Ce je matrika
  A ortogonalna in ce monžimo matriko A z vektorjem
  nakljucnih spremenljivk s po spodnji enacbi,
  potem dobimo vektor nakljucnih spremenljivk x
  (spodnja slika desno), za katere velja
• nakljucne spremenljivke x so nekorelirane
• x so statisticno odvisne

5
Definicija linearnega ICA
Iskanje statisticno neodvisnih spremenljivk s iz
meritev x sestoji iz dolocanja linearne
treansformacije oz. matrike W tako ,da velja
enacba
Matriko W išcemo s pomocjo maksimizacije ali
minimizacije kriteriske funkcije
Kriterijska funkcija je merilo za statisticno
neodvisnost.
Velja tudi spodnja enacba
kjer je
6
Dolocljivost ICA modela
Enacba modela ICA

• Model ICA je možno dolociti, ce velja
• statisticno neodvisne spremenljivke s ne smejo
  biti porazdelejne po Gaussu, razen ene
• število meritev x mora biti vsaj toliko veliko,
  kot je število neodvisnih spremenljivk s
• matrika A mora biti polnega ranga

Primer
Dve nakljucni spremenljivki s porazdeljeni po
Gaussu. Ker je simetricna porazdelitev, bo ne
glede na matriko A ostala (ortogonalna matrika),
ostala enaka.
7
Kriterijske funkcije za ocenitev ICA modela
Kurtosis
Je kriterij za merjenje, koliko so nakljucne
spremenljivke s porazdeljena po Gaussu oz. koliko
niso.
Ce je nakljucna spremenljivka porazdeljena po
Gaussu, potem je vrednost kurt(s)0
Diferencna entropija
Definicija entopije
Najvecja vrednost entropije je, kadar so
nakljucne spremenljivke porazdeljene po Gaussu,
vse z enako varianco. Zato lahko zapišemo
kriterijsko funkcijo (spodnja enacba), ki bo
vedno vecja ali enaka 0. 0 bo le v primeru, ko
bodo nakljucne spremenljivke porazdeljene po
Gaussu.
8
Aproksimacija diferencne entropije
Ker je racunanje kriterijske funkcije po enacbi
za diferencno entropijo racunsko prezahtevna
naloga, se poslužujemo pribljižka po spodnji
enacbi
je Gaussova spremenljivka, za katero velja
Primeri za funkcijo G
Z aproksimacijo diferencne entropije dosežemo
kompromis med lastnostmi Kurtosis-a in lastnostmi
diferencne entropije.
9
Predobdelava podatkov
Pred samo izvedbo ICA algoritma, je koristno, ce
se izvede predobdelava vektorja nakljucnih
spremenljivk x.

Centriranje
Vektorju nakljucnih spremenljivk odštejemo
njegovo povprecno vrednost.
Beljenje
Prva predpostavka je, da je vektor x je centriran
po zgornjem postopku. Ce vektor x še
dekoreliramo, potem smo že bližje statisticni
neodvisnosti (x je nekoreliran). Vektor x je
nekoreliran, ce je cov(x)I. Postopku, ki doseže,
da je cov(v)I, pravimo beljenje. Postopek
beljenja poteka s pomocjo PCA metode.

• E je matrika lastnih vektorjev po PCA metodi
• D matika lastnih vrednosti po diagonali

10
Ce je cov(s)cov(v)I gt B je ortogonalen.
Primer beljenja
Primer prikazuje vektor x, ki je sestavljen iz
linearne transformacije dveh neodvisnih
nakljucnih spremenljivk z uniformno
porazdelitvijo (slika desno). Slika desno
prikazuje pobeljen vektor nakljucnih spremenljivk.
11
Preizkus FP-ICA algoritma na slikah
Izbral sem FP-ICA algoritem, ki temelji na
maksimizacije funkcije Kurtosisa. Pogoj za
delovanje tega algoritma je da je vektor x
predhodno centriran in pobeljen. Dobra lastnost
tega algoritma je, da hitro konvergira proti
rešitvi.
1. preizkus

• dve 8 bitni bmp sivi sliki dimenzij 112 x 92
• vsako sliko predstavimo kot vektor p dimenzije
  112 x 92
• naredil xHp, kjer je H permutacijska matrika
  polnega ranga
• preko FP-ICA ocenil s
• narisal s

2. preizkus

• 24 bitna RGB bmp slika dimenzij 640 x 480
• sliko locil na R,G,B, kjer vsaka komponenta
  predstavlja svoj vektor dimenzije 640 x 480
• preko FP-ICA ocenil s
• Združil zopet v 24 bitno RGB sliko in jo narisal

12
1. preizkus
13
(No Transcript)
14
2. preizkus
Originalna slika
Ocenjena slika
15
Originalna slika
Ocenjena slika

• Uporaba ICA
• Magnetocefalografija
• ekonomija (iskanje skritih faktorjev v financnih
  podatkih)
• cišcenje šuma iz slike
• telekomunikacije

16
Literatura

• Hyvärinen, A., Oja, E. (1999) Independent
  Component Analysis Algorithms and Applications.
  Neural Networks.
• Hurri, J. (1997) Independent component analysis
  of image data. Master thesis, Dept. of Computer
  Science and Engineering, Helsinki University of
  Technology.
• Hyvärinen, A., Oja, E. (1997) A Fast Fixed-Point
  Algorithm for Independent Component Analysis.
  Neural Computation, 9 1483-1492.
• Hyvärinen, A. (1999) Fast and Robust Fixed-Point
  Algorithms for Independent Component Analysis.
  IEEE Trans. On Neural Networks.
• Hyvärinen, A. Survey on Independent Component
  Analysis. URL naslov http//www.cis.hut.fi/aapo/
  (20.4.2003)

17
KONEC
Hvala za potrpežljivost.