Presentacin de PowerPoint

1
PUNTOS ÓPTIMOS Y SUPERFICIES DE
RENDIMIENTO   Objetivo Mostrar una técnica de
entrenamiento neural llamada Aprendizaje del
Rendimiento. Aprendizaje del rendimiento es
una clase de leyes de aprendizaje neural, así
como lo son el aprendizaje asociativo y el
competitivo.     El interés es determinar las
condiciones para la existencia de puntos mínimos
y máximos de una superficie de rendimiento.   Hay
varias leyes de aprendizaje que caen dentro de la
categoría de Aprendizaje del Rendimiento.   Durant
e el entrenamiento se ajustan los parámetros de
la red (pesos y sesgos) con el fin de optimizar
el rendimiento de la red.
2
Hay dos pasos para el proceso de optimización. El
primero consiste en encontrar una medida
cuantitativa del rendimiento de la red llamada el
índice de rendimiento, que es pequeña cuando la
red trabaja bien y grande cuando lo hace de
manera pobre.   Supongamos inicialmente, que el
índice de rendimiento nos es dado (un caso). El
segundo paso, consiste en buscar el espacio
paramétrico ( ajustar pesos y sesgos) con el fin
de reducir el índice de rendimiento.   Se buscan
características de la superficie de rendimiento y
se fijan algunas condiciones que garanticen que
esa superficie tiene un punto mínimo (el óptimo
es el que se busca). Serie de Taylor Supongamos
que el índice de rendimiento que se quiere
minimizar está representado por F(x), con x el
parámetro escalar que se ajusta. Supongamos que
el índice de rendimiento es una función
analítica, tal que todas sus derivadas existen.
3
Entonces, se puede representar por su expansión
en serie de Taylor respecto a algún punto nominal
x
(Se usa la expansión en serie de Taylor para
aproximar el índice de rendimiento. La expansión
se limita a un número finito de términos).
Ejemplo La expansión en serie de Taylor para
F(x) respecto al punto x 0
4
La aproximación de orden cero de F(x) (sólo la
potencia de orden cero de x) es
La aproximación de orden uno de F(x) es
La aproximación de orden dos de F(x) es
Una gráfica de F(x) y las tres aproximaciones en
serie de Taylor, se muestran en la próxima
diapositiva.
Las aproximaciones son adecuadas alrededor de x
0, lejos de ese valor solamente la aproximación
de más alto rango es aceptable. Las mejores
aproximaciones son las de orden superior como se
puede apreciar en la expansión en Serie de
Taylor, donde cada término siguiente comprende
una potencia más grande de (x-x).
5
En la medida que x se aproxima a x, esos
términos llegan a estar más cercanos
geométricamente.
6
Se usa la aproximación en serie de Taylor del
índice de rendimiento para averiguar la forma de
éste en la vecindad de candidatos a puntos
óptimos. Caso vectorial El índice de
rendimiento no es una función de un escalar x,
sino una función de todos los parámetros de la
red (pesos y sesgos). Se hace la expansión de una
función de muchas variables.   Supongamos una
función F(x) de n variables
La expansión para esta función alrededor de x es
7
En forma matricial
Gradiente de F(x) y
el Hessiano de F(x)
8
Derivadas Direccionales El i-ésimo elemento del
gradiente es la primera derivada (pendiente o
inclinación) del índice de rendimiento a lo largo
del eje xi. El i-ésimo elemento de la diagonal
del Hessiano, es la segunda derivada (curvatura)
del índice de rendimiento en la dirección del eje
xi. La primera derivada del índice de
rendimiento en la dirección de un vector
arbitrario p
La segunda derivada del índice de rendimiento en
la dirección de un vector arbitrario p
Optimización del rendimiento