Michal Kowalczykiewicz - PowerPoint PPT Presentation

About This Presentation

Title:

Michal Kowalczykiewicz

Description:

Title: Time series forecasting using a hybrid ARIMA and neural network model Author: mk Last modified by: amkd Created Date: 4/19/2006 7:18:25 PM Document ... – PowerPoint PPT presentation

Number of Views:55

Avg rating:3.0/5.0

Slides: 26

Provided by: MK

Category:

more less

Transcript and Presenter's Notes

Title: Michal Kowalczykiewicz

1
Michal Kowalczykiewicz

Time series forecasting using a hybrid ARIMA and
neural network model
(na podstawie pracy z Neurocomputing 50 (2003)
159 175,
autorstwa G. Peter Zhang)

2
Szereg czasowy

Szereg czasowy to proces stochastyczny, którego
dziedzina jest czas to zbiór informacji
uporzadkowanych w czasie, których pomiary
wykonywane sa z pewnym krokiem czasowym
Analiza szeregów czasowych ma dwa glówne cele
wykrywanie natury zjawiska reprezentowanego
przez sekwencje obserwacji
prognozowanie (przewidywanie przyszlych wartosci
szeregu czasowego)

3
Analiza szeregów

Modele
pure autoregressive (AR)
pure moving avarage (MA)
autoregressive integrated moving average
(ARIMA)
bilinear model
threshold autoregressive (TAR)
autoregressive conditional heteroscedastic
(ARCH)
artificial neural network (ANN)

4
Analiza szeregów

Modele
pure autoregressive (AR)
pure moving avarage (MA)
autoregressive integrated moving average
(ARIMA)
bilinear model
threshold autoregressive (TAR)
autoregressive conditional heteroscedastic
(ARCH)
artificial neural network (ANN)

5
ARIMA

Jest metoda statystyczna sluzaca do analizowania
szeregów czasowych, o liniowych zaleznosciach
miedzy danymi.
Autorzy Box i Jenkins, 1976

6
ARIMA

Model
yt ?0 ?1yt-1 ?2yt-2 . . . ?pyt-p
?t - ?1?t-1 - ?2?t-2 - . . . - ?q?t-q
yt - wartosc w czasie t
?t - losowy blad w czasie t
?i (i 1, 2, . . ., p), ?i (j 0, 1, . . ., q)
- parametry modelu
p, q - porzadek modelu
?t - niezalezne, ze srednia zero i stala
wariancja s2

7
ARIMA

Budowanie modelu za pomoca metody Boy - Jenkinsa
(1976)
Algorytm
FAZA 1 identyfikacja modelu
FAZA 2 estymacja parametrów
FAZA 3 walidacja

8
ARIMA - identyfikacja modelu

W tej fazie nalezy ustalic (zidentyfikowac)
liczbe i typ parametrów modelu ARIMA, czyli
okreslic wartosci parametrów p i q.

9
ARIMA - identyfikacja modelu

W tej fazie nalezy ustalic (zidentyfikowac)
liczbe i typ parametrów modelu ARIMA, czyli
okreslic wartosci parametrów p i q.
Korzysta sie z
autokorelogramu (ACF)
autokorelogramu czastkowego (PACF)

10
ARIMA - uwagi

Wymaga sie, by wejsciowy szereg dla tej fazy byl
stacjonarny, to znaczy, powinien on miec stala w
czasie srednia, wariancje i autokorelacje.
Dlatego zazwyczaj szereg wymaga róznicowania az
do osiagniecia stacjonarnosci
róznicowanie yt yt - yt-1

11
ARIMA - estymacja parametrów

Polega na wyznaczeniu wartosci parametrów ?i (i
1, 2, . . ., p), ?i (j 0, 1, . . ., q) dla
których otrzymujemy maksymalna wiarygodnosc
(prawdopodobienstwo) otrzymania wlasnie
obserwowanego szeregu. Aby mierzony blad byl
minimalny

12
ARIMA - estymacja parametrów

Polega na wyznaczeniu wartosci parametrów ?i (i
1, 2, . . ., p), ?i (j 0, 1, . . ., q) dla
których otrzymujemy maksymalna wiarygodnosc
(prawdopodobienstwo) otrzymania wlasnie
obserwowanego szeregu. Aby mierzony blad byl
minimalny
W praktyce wymaga to obliczenia (warunkowych)
sum kwadratów reszt przy zadanych parametrach

13
ARIMA - walidacja

W ostatniej fazie oceniamy trafnosc naszego
modelu. Jesli model zawiera wiele parametrów
i\lub wyniki nas nie zadowalaja

14
ARIMA - walidacja

W ostatniej fazie oceniamy trafnosc naszego
modelu. Jesli model zawiera wiele parametrów
i\lub wyniki nas nie zadowalaja
mozemy próbowac powtórnie z innymi wartosciami
poczatkowymi parametrów (czyli wracamy do FAZA 1).

15
ANN

Jest ogólnym modelem potrafiacym wykrywac
nieliniowe zaleznosciach miedzy danymi, w
szeregów czasowych

16
ANN

Najczesciej uzywana siecia w tym zagadnieniu jest
a siec GLM
zaleznosc miedzy wyjsciem yt , a wejsciam
(yt-1, yt-2, . . ., yt-p), jest nastepujaca
yt a0 Sjltq ajg(S iltp ßijyt-i) ?t
aj (j 0, 1, . . ., q), ßij (i 0, 1, . . .,
p j 1, 2, . . ., q) - wagi
p - liczba wejsc
q - liczba neuronów w warstwie ukrytej

17
ANN

Jako funkcje aktywacji srodkowej warstwy
przyjmuje sie funkcje logistic
g(x) 1 / (1 exp(-x))
liczba wejsc sieci (p) i liczba neuronów
wewnetrznych (q) sa dobierane eksperymentalnie.

18
Hybrid

Dla danych o których nie wiemy, czy sa zwiazki w
nich wystepujace sa liniowe czy, tez nie zadna z
wymienionych metoda nie jest odpowiednia.
Metoda ARIMA nie wykrywa nieliniowosci w danych
Sieci neuronowe daja srednie wyniki dla danych w
których wystepuja zarówno liniowe jak i
nieliniowe zwiazki

19
Hybrid

Dla danych o których nie wiemy, czy sa zwiazki w
nich wystepujace sa liniowe czy, tez nie zadna z
wymienionych metoda nie jest odpowiednia.
Metoda ARIMA nie wykrywa nieliniowosci w danych
Sieci neuronowe daja srednie wyniki dla danych w
których wystepuja zarówno liniowe jak i
nieliniowe zwiazki
Potrzebujemy uniwersalnego modelu, odpowiedniego
dla wszystkich rodzajów danych

20
Hybrid

Model
yt Lt Nt
Lt - liniowy komponent
Nt - nieliniowy komponent
Te dwa parametry musza zostac wyznaczone z danych

21
Hybrid - Liniowy komponent

Liniowy komponent
Wpierw metoda ARIMA modelujemy liniowy komponent
(L).
Jesli tylko LL (czyli L zawiera wszystkie
liniowe relacje w danych) to residua powstale z
liniowego modelu beda zawieraly tylko nieliniowe
zwiazki.

22
Hybrid - Nieliniowy komponent