Robtica Evolutiva segunda clase

1
Robótica Evolutivasegunda clase

• Juan Cristóbal Zagal

2
Resumen

• Una nueva técnica para automatizar la generación
  de robots autónomos, inspirada en el principio
  Darwiniano de reproducción selectiva de los más
  adaptados.
• Los robots son vistos como organismos
  artificiales autónomos que desarrollan sus
  propias habilidades como producto de una estrecha
  interacción con el medio, sin intervención
  humana.
• Las principales herramientas empleadas en RE son
  las redes neuronales, los algoritmos genéticos,
  sistemas dinámicos e ingeniería biomórfica.

3
Algoritmo Típico
Simulador o Mundo Real
4
Robótica Evolutivacon Algoritmos Genéticos
10111
01001
5
Principales Ideas

• Permite dejar de lado el diseño explicito.
• Se requiere de un nivel de supervisión muy bajo.
• No hay restricción respecto de las arquitecturas
  a ser evolucionadas emplear. Es posible incluso
  evolucionar el hardware.
• Permite estudiar y controlar el desempeño de
  sistemas dinámicos complejos donde existen
  propiedades emergentes. (el comportamiento de un
  robot es una prop. Emergente de la interacción
  entre motores y ambiente).
• Autonomía real implica adaptación a cambios en el
  ambiente.
• La descomposición en diversos comportamientos es
  el resultado de un proceso auto organizativo.
• Resulta más facil adaptar el comportamiento
  global de un robot que realizar una adaptación
  independiente de comportamientos.

6
Learning a wall-following behavior(Hoffman and
Zagal, SoftComputing and Industry pp 747-755)
Resumen

• Diseñador solo debe preocuparse de definir una
  función de fitness adecuada.
• Variaciones en la definición de la función de
  fitness producen interesantes variaciones en el
  comportamiento.
• El diseñador no tiene que preocuparse por el
  modelo y operación de sensores ni actuadores.

7
Learning proximity wall-following behavior
Resulting mapping w(S1,S2) for best evolved
behavior
Fitness distance Pf
Fitness distance
8
Ojo

• Los controladores resultantes no pueden ser
  entendidos al ser aislados de su ambiente de
  generación. Su funcionamiento esta íntimamente
  relacionado con las interacciones físicas del
  robot y ambiente.
• Comportamientos complejos pueden aparecer solo
  durante el comportamiento normal del robot.
• Sería como estudiar el cerebro de animales en
  modo in vitro. Lo que realmente se hace es
  estudiar el cerebro en modo in vivo.
• En forma similar es posible monitorear
  activaciones en una red neuronal cuando el robot
  esta operando.

9
La función de Fitness

• Es difícil definir un conjunto de variables y
  restricciones para evaluar el desempeño de un
  comportamiento que no se conoce a priori.
• Variables que permiten evaluar el comportamiento
  no necesariamente permiten que el sistema
  evolucione en sus etapas tempranas.
• Cómo comparar distintas funciones de fitness?

10
External vs. Internal Fitness

• External fitness
• can not be measured by the robot itself (e.g.
  location in world coordinates)
• external observer perspective
• useful in simulations
• Internal fitness
• directly accessible to the robot by means of
  sensors (e.g. sensor readings, battery level)
• useful when learning on the real robot
• fitness function might be more difficult to
  design

11
Functional vs. Behavorial Fitness

• Functional
• measures directly the way in which the system
  functions, observes the causes of a behavior
• Example learn to generate a desired oscillatory
  pattern of leg motion
• Behavioral
• Measures the resulting behavior, observes the
  effects of the behavior
• Example measure the absolute distance traveled
  by the robot using the rotation sensor

12
Explicit vs. Implicit Fitness

• Explicit
• Large number of constraints
• Actively steers the evolutionary system towards
  desired behaviors
• Problem weighting and aggregating multiple
  constraints
• Implicit
• Small number of constraints
• Allow evolution of emergent, novel behaviors
• Problem for complex behaviors (e.g. find
  cylinders, pick up cylinders and drop them
  outside the arena) finding an initial behavior is
  like searching for a needle in the haystack

13
IDEA fitness space (Floreano, Nolfy)

• Maximize Behavioral-Internal-Implicit dimensions

14
Evolving in Simulation vs. Reality
Evolving in simulation
Evolving on the real robot

• Requires model of the
• sensors and environment

• Real world is its best own
• model

• Robust behaviors

• Brittleness of adapted
• behaviors

• Identical test cases for all
• candidate controllers

• Difficult to initialize for a new
• controller under evaluation

• automated fast fitness
• evaluation

• Time-consuming
• fitness evaluation

15
Minimal Simulations
16
Evolution of Simple Navigation

• Robot is put into an environment with some
  obstacles
• Objective cover the longest possible distance
  without colliding with objects
• Braitenberg vehicle weighted connections between
• sensors readings and motor commands similar
  to a neural network

17
Braitenberg Vehicle

• Excitatory connections (wgt0)
• rotation speed is proportional to the
  activation of the sensor
• Inhibitory connections (wlt0)
• rotation speed is inverse proportional to the
  activation of the sensor

vleft w10w11 s1 w1n sn vright w20w21 s1
w2n sn


18
Fitness Function

• Objective maximize forward motion while avoiding
  obstacles
• Fitness V (1-?v1/2) (1-i)
• V vleftvright / 2 sum of wheel rotation
  velocities
• ?v vleft-vright difference between the
  rotation velocities
• i maxn sn maximal activation value of
  infrared sensor
• V, ?v, i are all normalized to 0,1
• V encourages motion at high velocity
• (1-?v1/2) encourages the two wheels to rotate
  in the same direction and to travel in a straight
  line
• (1-i) encourages obstacle avoidance

19
Evolution of Fitness

• Evolutionary Robotics , Nolfi, Floreano 2000

20
Artificial Life

• GOLEM Project (Nature Lipson, Pollack 2000)
• http//golem03.cs-i.brandeis.edu/index.html
• Evolve simple electromechanical locomotion
  machines from basic building blocks (bars,
  acuators, artificial neurons) in a simulation of
  the physical world (gravity, friction).
• The individuals that demonstrate the best
  locomotion ability are fabricated through rapid
  prototyping technology.

21
Evolvable Physical Creatures
22
Evolved Physical Creatures
23
Evolved Physical Creatures
24
Evolved Physical Creatures
25
Evolved Physical Creatures
26
Evolved Creatures Karl Sims

• http//genarts.com/karl/evolved-virtual-creatures.
  html
• Darwinian evolution in a simulated physical world
  of virtual block creatures for swimming,
  locomotion, jumping, following, competitive
  grasping
• Evolutionary building blocks
• Cubes
• Actuated joints
• Neural controllers
• Proximity sensors
• Fitness
• Distance moved
• Height jumped
• Proximity to tracked object

27
(No Transcript)