Neural Network Toolbox

1
Neural Network Toolbox

• Matlab 6.0 (release 12)

2
Štruktúra neurónu
3
Zapojenie neurónu do vrstiev a siete
4
Dopredná štruktúra
Spätnoväzbová štruktúra
Dvovrstvová siet
Trojvrstvová siet
5
Príklady jednotlivých aktivacných funkcií A.
aktivacné funkcie v tvare silných nelinearít
skoková binárna funkcia
skoková bipolárna funkcia
lineárna funkcia
6
- sigmoidálne prenosové funkcie binárny
(logický) sigmoid
(hyperbolická tangenta) sigmoid bipolárny
7
- radiálne bázové prenosové funkcie (RBF)
8
Prechodové funkcie neurónov -Transfer functions
Competitive transfer function. hardlim Hard
limit transfer function. hardlims Symmetric hard
limit transfer function logsig Log sigmoid
transfer function. poslin Positive linear
transfer function purelin Linear transfer
function. radbas Radial basis transfer
function. satlin Saturating linear transfer
function. satlins Symmetric saturating linear
transfer function
9
softmax Soft max transfer function. tansig Hyperbo
lic tangent sigmoid transfer function. tribas Tria
ngular basis transfer function.
10
hardlim(n) 1, if n gt 0 0, otherwise
Algorithm hardlims(n) 1, if n gt 0
-1, otherwise
11
logsig(n) 1 / (1 exp(-n))
n -50.15 A logsig(n) plot(n,A)
We calculate the layer's output a with LOGSIG and
then the derivative of A with respect to N.
A logsig(n) dA_dN dlogsig(N,A) The
derivative of LOGSIG d a (1 - a)
Algorithm poslin(n) n, if n gt 0 0,
if n lt 0
12
Algorithm purelin(n) n
Algorithm RADBAS(N) calculates its output
with according to a exp(-n2)
13
Algorithm satlin(n) 0, if n lt 0
n, if 0 lt n lt 1 1, if
1 lt n
satlins(n) -1, if n lt -1 n, if -1
lt n lt 1 1, if 1 lt n
14
TANSIG(N) calculates its output according to
n 2/(1exp(-2n))-1
TRIBAS(N) calculates its output with according
to tribas(n) 1 - abs(n), if -1 lt n lt 1
0, otherwise
15
Rekurzívne siete.
16
Ucenia siete adaptacný proces umelej
neurónovej siete  zmenou parametrov jednotlivých
neurónov siete, prípadne ich konfigurácie za
úcelom dosiahnutia požadovaného správania umelej
neurónovej siete. Adaptácia neurónovej siete -
výpocet - hladanie takých prahových a váhových
koeficientov, ktoré pre danú dvojicu vstupného,
požadovaného výstupného vektora a vypocítaného
výstupného vektora siete minimalizujú kvadrát
rozdielu medzi výstupnými funkciami - aktivitami
Pre viac párov vstupných a výstupných
vektorov (ktoré tvoria tréningovú množinu), má
úcelová funkcia tvar
17
x0
x1
x2
x3
x4
x5
yf(x)
y0
y1
x2
x3
x4
x5
yi
ei
xi
hi
18
x0
x1
x2
x3
x4
x5
yf(x)
y0
y1
x2
x3
x4
x5
xi
V case ti,igtn,m
...
x(i-n)
yi
y(i-1)
...
(i-k)
19
(No Transcript)
20
Vlastnosti neurónových sietí.
- Schopnost prácovat nad nelineárnymi údajmi
(zobrazenie) s kon. poc. nespojitostí
- Nevyžaduje exaktné znalosti o procese.
21
Vlastnosti neurónových sietí.
- Vlastnost datovej fúzie (numerické a symbolické
výpocty).
- Nárocné trénovanie( off a aj on - line )
- Problém stability - konvergencie trénovacích
algoritmov, problém preucenia.
- Masívny paralelizmus, MIMO, HW implemantácia
22
Životný cyklus N.S.
23
Typy úloh riešitelných s N.S.
- Aproximacné úlohy.
Statické mapovanie, dynamické mapovanie,
modelovanie, adaptívné modely
- Predikcia.
One-n-step prediction
- Optimalizácia.
AHC
- Klasifikátor.
Klasifikacný problém, data clustering, PCA, LVQ
- asociatívna pamät
24
Neurónové siete v regulacnom obvode
gt prediktor
Dve možné realizácie - statická realizácia
- techniky off-line (stabilnejšie) -
realizácia adaptabilná - techniky on-line
25
Modelovanie pomocou neurónových sietí.
Modelovanie v casovej oblasti.
(Lokálne a Globálne modely)
Závislé na pozorovatelnosti systému.
-gt Vstupno - výstupné modely.
e(k)
-gt Stavové modely.
Modelovanie vo frekvencnej oblasti.
Algoritmicky ekvivalentná F.T. (Ortonogonálne
transformácie)ô Obmedzená na lineárne alebo
linearizované problémy.
26
Modelovanie pomocou neurónových sietí.
Inverzný model.
-gt Ucenie
-gtNasadenie
-gt Trénovacia fáza inverzného modelu.
-gt Aplikacná fáza inverzného modelu ( off-line)
-gt Aplikacná fáza inverzného modelu ( on-line)
- Problém existencie onverzného modelu.
27
4. Možnosti využitia UNS v oblasti modelovania a
riadenia
Priamy model.
-gt Špecializované ucenie (on-line) , (off-line).
28
4. Možnosti využitia UNS v oblasti modelovania a
riadenia
Predikcia
Priame riadenie
29
4. Možnosti využitia UNS v oblasti modelovania a
riadenia
Riadenie s referencným modelom
Adaptívne neurónové riadenie
30
4. Možnosti využitia UNS v oblasti modelovania a
riadenia
Riadenie s interným modelom
Prediktívne riadenie
31
Riadenie pomocou neurónových sietí.
gt Adaptívné riadenie.
gt Predikcné riadenie.
gt Optimálné riadenie.
gt Internal Model Control
gt Model Reference Control
gt Mimickin an expert
gt Reinforcement Learning
32
Modelovanie pomocou MLP v matlabe 5.3
OFF LINE TECHNIKA
V/V model
U..vstup, stlpcovy vektor
Y vystup, stlpcovy vektor
T. Cas, stlpcovy vektor
NU.. Rad U NY..rad
Y NU2NY2 T,Y,Ustep(Gs) toto je len na
ukazku - normalne je to nedostatocne !!!
Životný cyklus MLP.
1. Predspracovanie údajov.
Výrazne pomáha pri trénovaní (zrýchluje).
gt Normovanie
gt Odstránenie strednej hodnoty.
Funkcie normc, normr, prestd, postd,trastd,
premnx, postmnx, tramnmx, ...
33
Modelovanie pomocou MLP v matlabe 5.3
normovanie vstupnych udajov
(optional) Un,meanp,stdp,Yn,meant,stdt
prestd(U,Y)
gt Emulácia posunutia údajov.
simulacia TDL. NU rad U, NY. Rad Y
Utskew(Un,NU) Ytskew(Yn,NY) Pozor na
platnost údajov.
2. Výber štruktúry siete.
gt Kolmogorov teorém.
3. Vytvorenie siete.
15 uzlov v skrytej vrstve NETnewff(-1 1
-1 1,15 1, 'tansig' 'purelin'
,trainlm,learngdm,'mse')
4. Trénovanie siete.
NASTAVENIE TRENOVACIEHO PROCESU NET.trainParam.
epochs100 NET.trainParam.goal1e-6
NET.trainParam.min_grad1e-20 SAMOTNE
TRENOVANIE NETX,TRtrain(NET,Ut,Yt)
34
Modelovanie pomocou MLP v matlabe 5.3
5. Testovanie siete.
ODDOZVA SIETE Ysimsim(NET,Ut) plot(t,Y,'gr
een',t,Ysim,'red') CHYBA errsum((Ysim'-Y).(Y
sim'-Y))
Co ak nie je dostatocná presnost ...
gt zvýšit rád Nu, Ny
gt sú data normované ???
gt zmenit nelineárnú aktivacnú funkciu, pocet
vrstiev, pocet uzlov vo vrstve šalamúnstvo
Export do SIMULINKU
1. gensim(NET)
2. S-funkcia ROOT/toolbox/simulink/blocks/sfunt
mpl
35
Modelovanie pomocou ANFIS v matlabe 5.3
OFF LINE TECHNIKA
Model - casová oblast
Životný cyklus.
1. Predspracovanie údajov.
2. Výber štruktúry siete.
vygeneruje suggenovsky FIS pre
anfis IFSstr2mat(gaussmf) typ funkcie
prislusnosti OFSstr2mat(linear) numFS3
pocet funckii prislusnosti anfis1genfis1(data,num
FS,IFS,OFS)
36
Modelovanie pomocou ANFIS v matlabe 5.3
3. Trénovanie siete.
epochs2 anfis1updanfis(data,anfis1,epoch
s) adaptacia
4. Testovanie siete.
TRevalfis(test,anfis1upd) plot(Y
TR) errorsum((TR'-Y).(TR'-Y))
37
Príklady
38
Lineárny systém 1
Charakteristika modelovaného systému
Impulzná ch.
Prechodovka
39
Lineárny systém 1
Trénovací proces
MLP
gt 1 neurón v skrytej vrstve, aproximacné
zapojenie
gt tansig
gt LM
gt CHYBA 1.5 e-4
Trénovacia množina
gt 14 cyklov
gt T.S jeden skok
MLP
gt 1 neurón v skrytej vrstve, dynamické
zapojenie3,3
gt LM
gt tansig
Trénovacia množina
gt CHYBA 1 e-7
gt 100 cyklov
gt T.S jeden skok
Postup pri trénovaní...
40
Lineárny systém 1
Trénovací proces
Trénovacia množina
RBFN
gt aproximacné zapojenie
gt CHYBA 1 e-12
Testovacia množina
gt T.S jeden skok
Trénovacia množina
Postup pri trénovaní...
41
Lineárny systém 1
Trénovací proces
ANFIS
gt aproximacné zapojenie
gt automatický návrh pravidiel
gt CHYBA 1.5 e-5
Trénovacia množina
gt 2 cykly
gt T.S jeden skok
ANFIS
gt dynamickéé zapojenie3,3
gt automatický návrh pravidiel
gt CHYBA 1.5 e-5
Trénovacia množina
gt 2 cykly
gt T.S náhodný signál
Postup pri trénovaní...
42
Nelineárny systém 1
Charakteristika modelovaného systému
Budenie v okolí stacionárného bodu.
Budenie v okolí stacionárného bodu do nestability
43
Nelineárny systém 1
Trénovací proces
MLP
gt tansig
gt LM
gt 15 neurónov v skrytej vrstve, rád 5,5
gt CHYBA 4.28846e-007/1e-007
Trénovacia množina
gt 3000 cyklov
gt T.S náhodný signál
MLP
gt 15 neurónov v skrytej vrstve, dynamické
zapojenie3,3
gt LM
gt tansig
Trénovacia množina
gt CHYBA 0.442177/1e-010
gt 100 cyklov
gt T.S náhodný signál
44
Nelineárny systém 1
Trénovací proces
RBFN
Trénovacia množina
gt dynamické zapojenie rád 3,3
gt CHYBA 1 e-12
gt T.S náhodný signál
RBFN
gt dynamické zapojenie rád 3,3
Tesovacia Trénovacia množina
gt CHYBA 8.4
gt T.S náhodný signál
45
Nelineárny systém 1
Trénovací proces
ANFIS
gt dynamické zapojenie rád 2,2
gt automatický návrh pravidiel
gt CHYBA 0.6 e-5
Trénovacia množina
gt 2 cykly
gt T.S náhodný signál
ANFIS
Trénovacia množina
gt statické zapojenie
gt automatický návrh pravidiel
gt CHYBA 1.5 e-5
gt 2 cykly
gt T.S náhodný signál
Príklad trénovania nedostatocným signálom
46
Namerané údaje (Nováky)
Charakteristika modelovaného systému
47
Namerané údaje
Trénovací proces
MLP
gt 15 neur. v skrytej vrstve, dynamické
zapojenie
gt tansig
gt LM
gt CHYBA 3.0 e-6
Trénovacia množina
gt50 cyklov
MLP
gt 15 neur. v skrytej vrstve, dynamické
zapojenie
gt LM
gt tansig
gt CHYBA 4.5e-3
Testovacia množina
48
Namerané údaje
Trénovací proces
ANFIS
gt aproximacné zapojenie
Trénovacia množina
gt automatický návrh pravidiel
gt CHYBA 1.7 e-5
gt 2 cykly
gt T.S jeden impulz
ANFIS
gt dynamickéé zapojenie3,3
Testovacia množina
gt automatický návrh pravidiel
gt CHYBA 0.0595
gt 2 cykly
gt T.S náhodný signál
49
Súhrn - siete
Aproximacné schopnosti
gt
gtgt
MLP
ANFIS
RBFN
Nárocnost trénovania
gtgt
gt
MLP
ANFIS
RBFN
Trénovanie

• predspracovanie údajov
• použitie histórie vstupov a výstupov
• pocet trénovacích cyklov
• typ trénovacieho algoritmu
• typy aktivacných funkcií
• pocet vrstiev, uzlov vo vrstvách

50
5. Ukážka aplikácie
Simulacná schéma systému
51
5. Ukážka aplikácie
Simulacná schéma neurónového modelu
52
5. Ukážka aplikácie
Priebeh trénovania UNS (typu MLP)
Porovnanie výstupov z modelu a reálneho systému
na test. dátach
53
5. Ukážka aplikácie
Bloková schéma prediktívneho riadenia s
neurónovým modelom
54
5. Ukážka aplikácie
Kriteriálna funkcia prediktívneho regulátora
Priebeh výstupnej a akcnej veliciny regulacného
obvodu s prediktívnym regulátorom