Zastosowanie sieci neuronowych do rozwiazywania problemu komiwojazera

1
Zastosowanie sieci neuronowych do rozwiazywania
problemu komiwojazera

• K.-S. Leung, H.-D. Jin, Z.-B.Xu,
• An expanding self-organizing neural network for
  the traveling salesman problem,
• Neurocomputing, vol. 62, pp 267-292, Dec. 2004

Rafal Kucinski
2
Problem komiwojazera (TSP)

• Definicja ogólna
• Euklidesowy problem komiwojazera (ETSP)
• Poszukiwanie algorytmów przyblizonych ze wzgledu
  na NP-zupelnosc
• Przyblizenie z dokladnoscia (11/c) mozna uzyskac
  w czasie O(n(logn)O(c))
• Zastosowania

3
Stosowane sieci neuronowe do rozwiazywania TSP

• Sieci Hopfielda dobre wyniki tylko w przypadku
  problemów o niewielkich rozmiarach
• Samoorganizujace sie mapy Kohonena (SOM)
  niewielka zlozonosc obliczeniowa i dosc dobre
  wyniki (ale jednak gorsze od innych metod
  przyblizonych SA, TS, GA)

4
Strategie poprawy jakosci wyników generowanych
przez SOM dla TSP

• Sieci o zmiennej strukturze dynamiczne
  wstawianie/usuwanie neuronów (KNIES, FLEXMAP)
• Poprawa kryterium rywalizacji ograniczanie zbyt
  czestych zwyciestw, opieranie sie nie tylko na
  odleglosci
• Poprawa reguly uczacej oprócz przyblizania
  zwyciezcy rozpraszanie pozostalych (KNIES),
  wprowadzenie elastycznej sily w celu
  zminimalizowania wielkosci wynikowego pierscienia
  (CEN)

5
Budowa SOM dla TSP

• p neuronów wejsciowych ich stan jest
  reprezentowany przez wektor

M tworzacych pierscien neuronów wyjsciowych
Wektory te rozpatrujemy w dwóch przestrzeniach
6
(No Transcript)
7
Proces uczenia

• Wprowadzanie danych wejsciowych
• Wylanianie zwyciezcy zgodnie z metryka
  euklidesowa
• Uaktualnianie wag zwyciezcy i sasiadów zgodnie z
  regula (podstawowa)

Warianty normalizacja, elastyczna sila, ESOM
8
(No Transcript)
9
Uzyskiwane rozwiazanie

• Formowanie sie mapy sasiedztwa
• Wynikowa trasa odtworzona z niej ma na celu z
  danego miasta odwiedzanie miasta polozonego
  najblizej
• Gwarantuje to spelnienie wystarczajacego warunku
  dla najkrótszej trasy, jednak nie jest on
  osiagalny we wszystkich przypadkach TSP

10
Wypukla otoczka a TSP

• Uwzglednienie warunku koniecznego dla optymalnej
  trasy
• W optymalnej trasie miasta tworzace wypukla
  otoczke znajduja sie w takiej samej kolejnosci
  jak na otoczce
• Wlasnosc wypuklej otoczki byla juz wczesniej
  uwzgledniana w CEN, ale byla wyznaczana
  dodatkowym algorytmem

11
(No Transcript)
12
Expanding Self-Organizing Map (ESOM)

• Przyciagnie zwycieskiego neuronu w kierunku
  miasta w celu utworzenia mapy odwzorowujacej
  sasiedztwo miast
• Wypychanie neuronu na zewnatrz w celu utworzenia
  wypuklej otoczki

13
Algorytm dla ESOM

1. Przeksztalc wspólrzedne miast tak, aby znajdowaly
   sie one w obrebie okregu CR (Rlt1) o srodku w
   punkcie (0,0)
2. Przypisz losowe wartosci wektorom wj (wewnatrz
   CR) oraz przypisz t 0
3. Losowo wybierz miasto i wprowadz jego wspólrzedne
   do warstwy wejsciowej
4. Znajdz wygrywajacy neuron m(t) zgodnie z metryka
   euklidesowa
5. Uaktualnij wagi neuronu m(t) i jego sasiadów wg
   formuly

14
Algorytm c.d.

• 6. Uaktualnij s(t) i ?(t) zgodnie z przyjetym
  schematem zmniejszania t t1 jesli nie koniec
  idz do 3.
• 7. Oblicz wartosc aktywacji kazdego miasta wg
  formuly

8. Posortuj miasta zgodnie z wartoscia aktywacji,
otrzymujac rozwiazanie
15
(No Transcript)
16
Wspólczynnik rozszerzajacy
ßj(t) odzwierciedla wlasnosc wypuklej
otoczki Wspólczynnik cj rosnie wraz ze wzrostem
ßj(t) najwieksza wartosc przyjmuje dla miast na
wypuklej otoczce jednoczesnie jest bliski
swojemu minimum 1, kiedy wektor wagowy znajduje
sie blisko miasta
17
Poprawnosc ESOM

• Jezeli przyjmiemy Rltsqrt(7)/4, to rozwiazania
  generowane przez ESOM sa zbiezne do rozwiazania
  posiadajacego wlasnosc zachowania sasiedztwa wtw
  gdy dotyczy to takze SOM
• Brak formalnego dowodu, ze ESOM generuje
  rozwiazania zachowujace wlasnosc wypuklej
  otoczki, ale analiza trendu i wyniki
  eksperymentów potwierdzaja ten fakt

18
Zlozonosc

• W kroku 1, 2, 7 i 8 kazde miasto jest przegladane
  co najwyzej dwa razy O(n)
• Liczba iteracji pomiedzy krokiem 3 a 6 wynosi
  O(n)
• W kazdej iteracji krok 4 potrzebuje czasu O(n) na
  wylonienie zwyciezcy, a w kroku 5 uzywanych jest
  co najwyzej n neuronów
• Calkowita zlozonosc O(n2)

19
Implementacja

• Promien R0.6
• Liczba neuronów wyjsciowych M równa liczbie miast
  n
• 100 cykli treningowych (100n iteracji)
• Parametr uczenia ? poczatkowo 0.8 liniowo maleje
  do 0 w ostatniej iteracji
• Szerokosc s(t) poczatkowo ustawiona na 6.20.037n
  maleje liniowo do 1 przez pierwsze 65 iteracji i
  pozostaje równa 1 przez pozostale 35

20
Eksperymenty obliczeniowe

• 1. Porównanie ESOM z SOM Budinicha i SA
  (podstawowa wersja)
• 18 syntetycznych TSP o rozmiarze od 50 do 2400
  miast (wewnatrz kwadratu jednostkowego) -
  teoretyczne ograniczenie dolne 0.765sqrt(n)
• Przyklady z TSPLIB

21
(No Transcript)
22
(No Transcript)
23
2. Porównanie ESOM z rozszerzonymi wersjami SOM
Budinicha i CEN

• Rozwiazania poprawiane za pomoca heurystyki NII
  (na bazie 2-Opt)
• Testy na 5 przykladach z TSPLIB
• CEN wolniejsza ze wzgledu na dodatkowy czas
  potrzebny do wyznaczenia wypuklej otoczki

24
3. Porównanie ESOM z KNIES

• Siec KNIES do tej pory byla uznawana za dajaca
  najlepsze wyniki dla TSP
• Na 15 przykladów z TSPLIB okazuje sie byc lepsza
  od ESOM tylko w dwóch przypadkach
• Jest bardziej skomplikowana przez co obliczenia
  zajmuja wiecej czasu

25
Dziekuje za uwage