Michal Kowalczykiewicz

1
Michal Kowalczykiewicz

• Time series forecasting using a hybrid ARIMA and
  neural network model
• (na podstawie pracy z Neurocomputing 50 (2003)
  159 175,
• autorstwa G. Peter Zhang)

2
Szereg czasowy

• Szereg czasowy to proces stochastyczny, którego
  dziedzina jest czas to zbiór informacji
  uporzadkowanych w czasie, których pomiary
  wykonywane sa z pewnym krokiem czasowym
• Analiza szeregów czasowych ma dwa glówne cele
• wykrywanie natury zjawiska reprezentowanego
  przez sekwencje obserwacji
• prognozowanie (przewidywanie przyszlych wartosci
  szeregu czasowego)

3
Analiza szeregów

• Modele
• pure autoregressive (AR)
• pure moving avarage (MA)
• autoregressive integrated moving average
  (ARIMA)
• bilinear model
• threshold autoregressive (TAR)
• autoregressive conditional heteroscedastic
  (ARCH)
• artificial neural network (ANN)

4
Analiza szeregów

• Modele
• pure autoregressive (AR)
• pure moving avarage (MA)
• autoregressive integrated moving average
  (ARIMA)
• bilinear model
• threshold autoregressive (TAR)
• autoregressive conditional heteroscedastic
  (ARCH)
• artificial neural network (ANN)

5
ARIMA

• Jest metoda statystyczna sluzaca do analizowania
  szeregów czasowych, o liniowych zaleznosciach
  miedzy danymi.
• Autorzy Box i Jenkins, 1976

6
ARIMA

• Model
• yt ?0 ?1yt-1 ?2yt-2 . . . ?pyt-p
• ?t - ?1?t-1 - ?2?t-2 - . . . - ?q?t-q
• yt - wartosc w czasie t
• ?t - losowy blad w czasie t
• ?i (i 1, 2, . . ., p), ?i (j 0, 1, . . ., q)
  - parametry modelu
• p, q - porzadek modelu
• ?t - niezalezne, ze srednia zero i stala
  wariancja s2

7
ARIMA

• Budowanie modelu za pomoca metody Boy - Jenkinsa
  (1976)
• Algorytm
• FAZA 1 identyfikacja modelu
• FAZA 2 estymacja parametrów
• FAZA 3 walidacja

8
ARIMA - identyfikacja modelu

• W tej fazie nalezy ustalic (zidentyfikowac)
  liczbe i typ parametrów modelu ARIMA, czyli
  okreslic wartosci parametrów p i q.

9
ARIMA - identyfikacja modelu

• W tej fazie nalezy ustalic (zidentyfikowac)
  liczbe i typ parametrów modelu ARIMA, czyli
  okreslic wartosci parametrów p i q.
• Korzysta sie z
• autokorelogramu (ACF)
• autokorelogramu czastkowego (PACF)

10
ARIMA - uwagi

• Wymaga sie, by wejsciowy szereg dla tej fazy byl
  stacjonarny, to znaczy, powinien on miec stala w
  czasie srednia, wariancje i autokorelacje.
  Dlatego zazwyczaj szereg wymaga róznicowania az
  do osiagniecia stacjonarnosci
• róznicowanie yt yt - yt-1

11
ARIMA - estymacja parametrów

• Polega na wyznaczeniu wartosci parametrów ?i (i
  1, 2, . . ., p), ?i (j 0, 1, . . ., q) dla
  których otrzymujemy maksymalna wiarygodnosc
  (prawdopodobienstwo) otrzymania wlasnie
  obserwowanego szeregu. Aby mierzony blad byl
  minimalny

12
ARIMA - estymacja parametrów

• Polega na wyznaczeniu wartosci parametrów ?i (i
  1, 2, . . ., p), ?i (j 0, 1, . . ., q) dla
  których otrzymujemy maksymalna wiarygodnosc
  (prawdopodobienstwo) otrzymania wlasnie
  obserwowanego szeregu. Aby mierzony blad byl
  minimalny
• W praktyce wymaga to obliczenia (warunkowych)
  sum kwadratów reszt przy zadanych parametrach

13
ARIMA - walidacja

• W ostatniej fazie oceniamy trafnosc naszego
  modelu. Jesli model zawiera wiele parametrów
  i\lub wyniki nas nie zadowalaja

14
ARIMA - walidacja

• W ostatniej fazie oceniamy trafnosc naszego
  modelu. Jesli model zawiera wiele parametrów
  i\lub wyniki nas nie zadowalaja
• mozemy próbowac powtórnie z innymi wartosciami
  poczatkowymi parametrów (czyli wracamy do FAZA 1).

15
ANN

• Jest ogólnym modelem potrafiacym wykrywac
  nieliniowe zaleznosciach miedzy danymi, w
  szeregów czasowych

16
ANN

• Najczesciej uzywana siecia w tym zagadnieniu jest
  a siec GLM
• zaleznosc miedzy wyjsciem yt , a wejsciam
• (yt-1, yt-2, . . ., yt-p), jest nastepujaca
• yt a0 Sjltq ajg(S iltp ßijyt-i) ?t
• aj (j 0, 1, . . ., q), ßij (i 0, 1, . . .,
  p j 1, 2, . . ., q) - wagi
• p - liczba wejsc
• q - liczba neuronów w warstwie ukrytej

17
ANN

• Jako funkcje aktywacji srodkowej warstwy
  przyjmuje sie funkcje logistic
• g(x) 1 / (1 exp(-x))
• liczba wejsc sieci (p) i liczba neuronów
  wewnetrznych (q) sa dobierane eksperymentalnie.

18
Hybrid

• Dla danych o których nie wiemy, czy sa zwiazki w
  nich wystepujace sa liniowe czy, tez nie zadna z
  wymienionych metoda nie jest odpowiednia.
• Metoda ARIMA nie wykrywa nieliniowosci w danych
• Sieci neuronowe daja srednie wyniki dla danych w
  których wystepuja zarówno liniowe jak i
  nieliniowe zwiazki

19
Hybrid

• Dla danych o których nie wiemy, czy sa zwiazki w
  nich wystepujace sa liniowe czy, tez nie zadna z
  wymienionych metoda nie jest odpowiednia.
• Metoda ARIMA nie wykrywa nieliniowosci w danych
• Sieci neuronowe daja srednie wyniki dla danych w
  których wystepuja zarówno liniowe jak i
  nieliniowe zwiazki
• Potrzebujemy uniwersalnego modelu, odpowiedniego
  dla wszystkich rodzajów danych

20
Hybrid

• Model
• yt Lt Nt
• Lt - liniowy komponent
• Nt - nieliniowy komponent
• Te dwa parametry musza zostac wyznaczone z danych

21
Hybrid - Liniowy komponent

• Liniowy komponent
• Wpierw metoda ARIMA modelujemy liniowy komponent
  (L).
• Jesli tylko LL (czyli L zawiera wszystkie
  liniowe relacje w danych) to residua powstale z
  liniowego modelu beda zawieraly tylko nieliniowe
  zwiazki.

22
Hybrid - Nieliniowy komponent

• Nieliniowy komponent
• Niech et bedzie reszta z dopasowanego liniowego
  modelu w czasie t.
• Wtedy
• et yt - L t
• Te wartosci mozemy zamodelowac za pomoca sieci
  neuronowej
• et f(et-1, et-2, . . ., et-n) ?t
• ?t - losowy blad w czasie t

23
Hybrid

• Ostatecznie
• yt L t Nt
• gdzie Nt przewidywana wartosc w czasie t
  wyznaczona przez ANN

24
Hybrid - przyklady

• Testowane szeregi czasowe
• Lynx
• Sunspot
• Exchange rate

25

• Dziekuje za uwage