1
Sieci neuronowe w zagadnieniach predykcji danych
finansowych Autor Marcin Mierzejewski Promotor
Dr hab. Inz. Jacek Mandziuk
2
Spis tresci

• Zastosowane rodzaje sieci
• Szeregi czasowe, a predykcja
• Sieci neuronowe rozszerzeniem popularnych modeli
• Omówienie zastosowanych algorytmów
• Przykladowe rezultaty
• EMH (Hipoteza Rynku Efektywnego)
• Podsumowanie

3
Zastosowane sieci
Siec Elmana
Siec Jordana
w. wyjsciowa
w. wyjsciowa
w. ukryta
w. ukryta
w. wejsciowa
w. kontekstowa
w. wejsciowa
w. kontekstowa
w. wyjsciowa
w. ukryta
w. wejsciowa
Siec jednokierunkowa
4
Defnicja problemu

• Szeregi czasowe w predykcji
• uporzadkowane w czasie ciagi ,
• gdzie
• Predykcja
• aproksymacja funkcji

5
Predykcja, a sieci neuronowe

• Sieci neuronowe jednokierunkowe
• Uniwersalny aproksymator. Funkcje
• mozna aproksymowac siecia opisana przez
• Rozszerzenie modelu autoregresji
• o nieliniowosc

6
Sieci Jordana rozszerzenie ARMA

• ARMA
• Kolejne elementy szeregu moga byc modelowane
  siecia neuronowa równowazna do Jordana

7
Siec Jordana - mechanizm

• Siec Jordana opisuje
• Równowaznosc
• Ulepszenie pamiec

8
Liniowy model przestrzeni stanów

• Zalozenie
• Szeregi czasowe moga byc opisane przez liniowa
  transformacje stanów zaleznych od czasu
• Wektor stanu opisany jest przez model ARMA1,1

9
Powiazanie z siecia Elmana

• Zakladamy, ze wektor stanów jest zalezny od
  przeszlego wektora w sekwencji i otrzymujemy
  równanie opisujace stan warstwy kontekstowej w
  sieci Elmana
• Aktywacja warstwy ukrytej

10
Algorytmy - Backprop

• Klasyczna metoda propagacji wstecznej (Backprop)
• Iteracyjne poszukiwanie minimum funkcji bledu w
  kierunku przeciwnym do gradientu funkcji wzgledem
  wagi
• Cechy
• Metoda lokalna
• Latwo wpada w plytkie minima
• Wolna zbieznosc
• Backprop z momentem
• Do poprawki wagi dodano tzw. czynnik momentu
• Cechy
• Zwiekszenie szybkosci zbieznosci na plaskich
  obszarach funkcji bledu

11
Algorytmy - Quickprop

• Quickprop
• Metoda lokalna, drugiego rzedu
• Zaklada sie, ze funkcja bledu ma ksztalt paraboli
• Poprawki wag sa ustalane tak zeby funkcja
  osiagala minimum paraboli
• Cechy
• Znacznie szybsza zbieznosc niz w metodach
  backprop
• Znacznie mniejsze prawdopodobienstwo utkniecia w
  plytkim minimum lokalnym

12
Algorytmy - Rprop

• Rprop
• Metoda lokalna, drugiego rzedu
• Nie korzysta z wielkosci pochodnej czastkowej f.
  bledu wzgledem wagi, a tylko z jej znaku
• Jezeli dwie kolejne pochodne maja ten sam znak to
  nastepuje zwiekszenie poprawki
• Cechy
• Bardzo szybka (nawet od Quickprop)
• Takze znacznie mniejsze prawdopodobienstwo
  wpadniecia w minimum lokalne niz w Backprop

13
Algorytmy - TBPTT

• Truncated Backpropagation Throught Time
• Wyliczanie gradientu analogiczne do klasycznego
  Backpropagation, ale korzysta sie z historii
  aktywacji (ustalonej glebokosci)
• Jezeli przechowywane sa wszystkie aktywacje to
  obliczony gradient jest dokladny
• Cechy
• Bardzo kosztowne jest przechowywanie historii
  aktywacji
• Nie ma gwarancji zbieznosci do minimum lokalnego
• Trudno jest uzyskac dobre wyniki

14
Predykcja - rezultaty

• Jednodniowa predykcja zmiany wzglednej microsoftu

Siec Elman Korelacja 0.0136 MAPE
140.34 Theil 1.0132 MPpT 0.46
15
Predykcja - rezultaty

• Jednodniowa predykcja normalizacji srednia
  kroczaca 7 okresowa

Siec Elman Korelacja 0.7386 MAPE 23.59 Theil
1.0646 MPpT 0.485
16
Predykcja - rezultaty

• Jednodniowa predykcja normalizacji trendem
  wielomianowym

Siec Elman Korelacja 0.9604 MAPE 15.67 Theil
1.1532 MPpT 0.5 Po przesunieciu Korelacja
0.9932 MAPE 1.159396 Theil 0.662319 MPpT 0.935
17
Hipoteza efektywnosci rynku

• Hipoteza
• Rynek jest efektywny gdy wartosci walorów na
  rynku odzwierciedlaja wszystkie informacje na ich
  temat
• Trzy formy slaba (predykcja na podstawie analizy
  technicznej jest niemozliwa), srednia (predykcja
  na podstawie analizy technicznej i fundamentalnej
  jest niemozliwa, mocna (predykcja niemozliwa)
• Jezeli rynek jest efektywny to ceny generowane sa
  przez proces bladzenia losowego

18
Interpretacja

• Srednia zmian wzglednych bliska zeru
• Próba predykcji podjeta na podstawie danych z
  analizy technicznej (slaba forma efektywnosci ?)
• Zmiany cen nie sa skorelowane z przedmiotem
  predykcji
• Echo jezeli zmiany cen sa losowe wiec
  niezalezne, najlepsza predykcja jest cena z dnia
  poprzedniego (bladzenie)

19
Zakonczenie

• Predykcja za pomoca sieci jest mozliwa (liczne
  publikacje)
• Do cen Microsoftu moze stosowac sie slaba forma
  efektywnosci rynku