Kamerabasierte Sensordatenverarbeitung

1
Kamerabasierte Sensordatenverarbeitung

• Optimierung der Kamera-parameter-Einstellung in
  farbkodierter Umgebung
• Adaptive Objektverfolgung

Benjamin Rank 24. Januar 2005
2
Übersicht

• Optimierung der Kameraparameter-Einstellungen in
  farbkodierten Umgebungen
• Farbkodierte Umgebungen und ihre Probleme
• Was sind die Voraussetzungen für die Optimierung?
• Vorstellung eines genetischen Algorithmus
• Ergebnisse in der Praxis des Robocup

3
Übersicht

• Anwendung einer Kamera zur Adaptiven
  Objektverfolgung mit einem menschenähnlichen
  Roboterkopf
• Aufbau des Roboterkopfes
• Beschreibung des verwendeten demokratischen
  Integratiossystems
• Auge-Hals-Motor-Koordination
• Anwendung in Versuchen

4
Wo sind wir?

• Optimierung der Kameraparameter-Einstellungen in
  farbkodierten Umgebungen

• Anwendung einer Kamera zur Adaptiven
  Objektverfolgung mit einem menschenähnlichen
  Roboterkopf

5
Farbkodierte Umgebungen

• Spezielle Menge von Farben vorgegeben
• Semantik eines Objekts durch seine Farbe bestimmt
• Probleme
• Meist nur Name der Farbe
• Lichtverhältnisse
• Betriebsdauer
• Kameraparameter

6
Kameraparameter

• Veränderbare Parameter für im Folgenden
  verwendete Kamera mögliche Werte
• Exposure Belichtung und Empfindlichkeit 0, ...,
  498
• Iris Belendeneinstellung 0, ..., 4
• Gain Verstärkung (Signal) im CCD-Chip 0, ...,
  255
• Saturation Sättigung 0, ..., 255
• White Balance (redblue) Weißausgleich
  0,...,255
• Brightness Helligkeit 0, ..., 511
• Gamma Gammakorrektur 0, 1
• Teilmenge des IEEE1394 IIDC Standard

7
Warum ein besonderer Algorithmus?

• Manuelle Einstellung sehr zeitaufwendig
• Ergebnis hängt stark von Einstellungen der
  Parameter ab
• Automatische Einstellungen der Kamerahersteller
  oft nicht für Anwendung geeignet (zu generell)

8
Was muss der Algorithmus leisten?

• Ziel Parameter der Kamera so wählen, dass
  dargestellte Farben möglichst nahe bei ihrem
  Farb-Prototyp liegen
• Prototypen sind z.B. Ecken des RGB-Würfels (im
  Robo-Cup)

9
Eingaben für den Algorithmus

• Manuelle Markierung von Gebieten jeder Farbe
• Bewertung einer Einstellung
• Abstand von durchschnittlichem Farbwert eines
  Gebietes zu Prototyp
• für alle Farben parallel zu berechnen

10
Wie lässt sich das Problem lösen?

• Genetischer Algorithmus, da
• Bewertungsfunktion ist weder linear noch
  kontinuierlich
• Kein analytisches Modell für Abhängigkeiten der
  Variablen vorhanden
• Großer Suchraum
• Goldbergs Simple Genetic Algorithm

11
Goldbergs Simple Genetic Algorithm

• Erzeugung zufälliger Population
• Bewertung aller Individuen und Weiterverwendung
  der besten (Berechnung der Fitness)
• Erzeugung neuer Individuen durch Anwendung der
  Operatoren Crossover und Mutation (mit bestimmten
  Wahrscheinlichkeiten)
• Weiter bei (2) bis Abbruchkriterium
  erreicht(z.B. maximale Anzahl von Generationen)
• Monotoner Any-Time-Algorithmus

12
Entwicklung einer Population
13
Beispielbilder
RGB-Bild mit Standard-Einstellung
Klassifiziertes Bild mit Standard-Einstellung
RGB-Bild nach Anwendung des Algorithmus
Klassifiziertes Bild mit verbesserter Einstellung
14
Zusammenfassung

• Kamera-Parametereinstellungen sehr wichtig
• Manuell nicht sinnvoll möglich
• Kamerainterne Algorithmen nicht brauchbar
• Genetischer Algorithmus liefert gute Ergebnisse

15
Wo sind wir?

• Optimierung der Kameraparameter-Einstellungen in
  farbkodierten Umgebungen

• Anwendung einer Kamera zur Adaptiven
  Objektverfolgung mit einem menschenähnlichen
  Roboterkopf

16
Roboterkopf

• Simuliert menschliches Hals-Augen-System
• 9 Freiheitsgrade (DoF)
• Zur Objektverfolgung nur 6 DoF verwendet
• Servomotoren

17
Ziele der Arbeit

• Langfristig
• Verständnis des biologischen Sehlernvorgangs
• Kurzfristig
• Komplett autonomes Lernen und Verfolgen von
  unbekannten Objekten
• Schnelle Bewegungen über weite Strecken
• Echtzeitverarbeitung (mit 30 Hz Bildeingabe)
• Möglichst nah an biologischen Vorgaben

18
Demokratisches Integrationssystem

• Extraktion verschiedener Hinweise (Cues) aus Bild
• Autonomes Zusammenführen von mehreren Hinweisen
  zu einem Resultat
• Ständige Anpassung der Zuverlässigkeit jedes
  Hinweises
• Ständige Anpassung des Modells jedes Hinweises

19
Von Hinweisen zum Blickpunkt
Interessantester Punkt im Bild
I(x,t) Bild der Kamera CueN Hinweise pN
Modelle zu Hinweisen
AN(x,t) Auffälligkeitsmatrix R(x,t)
resultierende Matrix rN Zuverlässigkeit zu
Hinweisen
20
Berechnung der Qualität

• Zuverlässigkeit orientiert sich an Qualität des
  Hinweises (für jeden Hinweis getrennt)
• Qualitätsmaß orientiert sich an
  durchschnittlicher Auffälligkeit
• Qualitätsmaß (für Hinweis i)
• Normierung von zu

21
Anpassen der Zuverlässigkeitund des Modells
eines Hinweises

• Zuverlässigkeit (Anpassungskonstante arel)
• Jeder Hinweis bildet sich ein Modell an Hand
  dessen die Auffälligkeitsmatrix berechnet wird
• Anpassung an aus Bild extrahierteFeatures fi(t)
  (Anpassungskonstante acue)

22
Initialisierung

• Bevorzugung einiger visueller Reize vor anderen
  bei Neugeborenen
• Möglichkeit Modelle vorzugeben, die System dann
  anpasst (sonst beliebiger Wert)
• Hinweise ohne Modellvorgabe werden automatisch
  integriert

23
Auge-Hals-Motor Steuerung

• Verfolgtes Ziel aus Bildmittelpunkt ? Korrektur
  des visuellen Fehlers
• Augen folgen schnellen Bewegungen, da klein und
  leicht
• Bewegung des gesamten Kopfes durch Gelenke im
  Hals als Ausgleich
• Augen sollen möglichst wieder in zentrale
  Position gelangen

24
Sicht des Roboters
25
Auge-Hals-Motor Regelung

• Zwei PD-Regler in Reihe geschaltet (Regelung der
  Abweichung auf Null)
• Erster PD-Regler erhält als Abweichung des
  interessantesten Punktes vom Bildmittelpunkt
• Neue Stellung Auge
• Steuerung Auge
• Zweiter Regler arbeitet nach gleichem Prinzip

26
Anwendung

• Verfolgung eines Gesichtes
• Hautfarbe als Ausgangsmodell vorgegeben

27
Anwendung
28
Referenzen

• Erio Grillo, Matteo Matteucci, Domenico G.
  Sorrenti Getting the most from your color camera
  in a color-coded world, 2004
• Hyundo Kim, Boris Lau, Jochen Triesch Adaptive
  Object Tracking with an Anthropomorphic Robot
  Head, 2004

29
Übersicht

• Optimierung der Kameraparameter-Einstellungenin
  Farbkodierten Umgebungen

30
Übersicht

• Adaptive Objektverfolgung mit einem
  menschenähnlichen Roboterkopf