Siec neuronowa w inteligentnym pojezdzie

1
Siec neuronowa w inteligentnym pojezdzie
Tomasz Kozakiewicz, Wroclaw, 17.05.2005

• Na podstawie pracy Mikea Foedischa i Aya
  Takeuchi
• Adaptive Real-Time Road Detection Using Neural
  Networks

2
Siec neuronowa w inteligentnym pojezdzie,Tribolit
e autonomous vacuum cleaner from Electrolux
3

• Cel
• Okreslenie czy okreslony obszar jest droga
  (betonowa) czy nie.
• Glówne cechy
• wykorzystuje kamere (przechwytujaca obraz z
  punktu widzenia kierowcy),
• dziala w czasie rzeczywistym,
• niezalezny od linii itp. oznaczen drogowych.

4

• Podstawowe kroki dzialania
• krótki krok inicjalizacyjny zebranie próbek
  danych,
• trening sieci neuronowej,
• zastosowanie sieci do detekcji drogi.

5
Postac danych

• - obraz jest w postaci RGB,
• - cechy
• 3 x 8 bitów na kolory,
• wartosci wspólrzednych x i y rozwazanych
  punktów (znormalizowane).
• Kazdy wektor jest nastepnie recznie oznaczany
  jako droga lub nie-droga.

6
Trening sieci
7
Detekcja drogi
8
Przykladowy wynik
9
Zastrzezenie do algorytmu

• Mimo, ze detekcja drogi przez otrzymana siec
  odbywa sie automatycznie i moze byc wykonywana w
  czasie rzeczywistym,
• to trenowanie wymaga recznych oznaczen
  wprowadzanych przez czlowieka ?
• Obniza to nieco mozliwosci wykorzystywania tego
  rozwiazania w czasie rzeczywistym -)

10
Adaptacyjne podejscie rzeczywiscie dla czasu
rzeczywistego

• przy podstawowych zalozeniach systemu bez zmian

11
Adaptacyjne podejscie rzeczywiscie dla czasu
rzeczywistego

• Dodatkowa obserwacja

12

• Bazujac na oczekiwanych obszarach wg poprzedniego
  obrazka, bierzemy punkty z tych obszarów i
  automatycznie oznaczamy je jako droga lub
  nie-droga.
• A nieco dokladniej okreslamy to nie dla
  pojedynczych punktów a dla pewnych obszarów /
  okien

13
(No Transcript)
14
Wykorzystanie okien z poprzedniego slajdu (wraz z
oznaczeniami droga czy nie-droga) jako filtrów
15
Dlaczego nie powinno sie caly czas uczyc sieci w
ten sposób, czyli np. zakret
16
Post processing, aby zwiekszyc precyzje

1. szumy sa redukowane filtrami graficznymi erosion
   dilationm,
2. jesli droga na 2 kolejnych obrazach nie rózni sie
   znacznie, informacje z poprzednich obrazków o
   segmentacji moga byc wykorzystywane.

17
Implementacja strona techniczna

• Dell Latitude laptop 2,2GHz, z Red Hatem 9,
• Unibrain Fire-i (320x240 pixels) firewire camera
  (30 klatek / sek.),
• aplikacja napisana w C.

18
Implementacja siec neuronowa

• 26 inputs (24 bitów RGB koordynaty x i y)
• siec trzywarstwowa
• - dwie pierwsze warstwy zawieraja po 4 neurony,
• - ostatnia warstwa zlozona z 1 neuronu zwraca
  wynik,
• wykorzystuje wsteczna propagacje.

19
Implementacja c.d.

• Dla umozliwienia dzialania w czasie rzeczywistym
  
• kazdy obrazek jest zmniejszany z 320x240 do
  160x120,
• wybierany jest co trzeci piksel wraz z otoczeniem
  o rozmiarach 7x7 (wiec nachodza te okna na
  siebie trzema pikselami z kazdej strony),
• Aktualnie czas segmentacji drogi wynosi ok. 60 ms
  / ramke

20
Wyniki

• testy na róznych rodzajach dróg,
• 4-sekundowe sekwencje wideo,
• wykresy bledów pokazuja co 25 klatke.

21
Test 1, prosta droga, wyniki
22
Test 2, droga z cieniami, wyniki
23
Test 3, luk drogi, lekka zmiana otoczenia, wyniki
24
Test 4, duza zmiany otoczenia i drogi, wyniki
25
Podsumowanie wyników
26
Uwagi, pomysly, plany na przyszlosc

• trening sieci zajmuje aktualnie ok. 600 ms,
• nowe dane bufor FIFO,
• rozwiazanie dla dynamicznych zmian,
• wykorzystywanie informacji o ruchu pojazdu,
• zastosowanie algorytmów dla detekcji
  nadjezdzajacych pojazdów.

27
Co jeszcze sie dzieje w kierunku intelligent
vehicles?

• n.p. kilka skrótów
• CC - (Cruise Control) system stabilizacji
  predkosci jazdy
• iCCS - system utrzymujacy stala odleglosc od
  poprzedzajacego pojazdu
• DAS - system identyfikujacy pasy ruchu, znaki
  drogowe i przeszkody
• DSC - uklad kontroli stabilnosci pojazdu
• DTC - uklad dynamicznej kontroli trakcji)
• EOBD - (European On- Board Diagnostic) uklad ten
  stanowi centrum gromadzenia wszelkich funkcji
  diagnostycznych
• ICC (Intelligent Cruise Control)- inteligentny
  system stabilizacji predkosci jazdy
• ICS - zespolony system kontroli ukladów
  samochodowych
• PTS - system ulatwiajacy parkowanie (wyposazony w
  czujniki odleglosci)
• RDW - system informujacy o zmianie cisnienia w
  oponach
• SRS - system bezpieczenstwa pasazerów
• TPMS - uklad monitorujacy cisnienie powietrza w
  ogumieniu

28
Czym to grozi?
29
Czym wiec jezdzic?
30
Wykorzystane materialy

• 1 Mike Foedisch, Aya Takeuchi, Adaptive
  Real-Time Road Detection Using Neural Networks,
  Waschington DC, 3-6.10.2004.
• 2 Albert Schmidt, A Modular Neural Network
  Architecture with Additional Generalization
  Abilities for High Dimensional Input Vectors,
  Manchester Metropolitan University, Department of
  Computing, September 1996.
• 3 Materialy informacyjne firmy Electrolux,
  m.in. www.electrolux.pl
• 4 slowniczek ze strony http//motoryzacja.fazi.p
  l/
• 5 BT Exact Technologies, Technology timeline,
  http//www.cs.uu.nl/people/jan/BT2002.pdf

31
koniecdziekuje za uwage