TECNICAS DE EVALUACI

1
TECNICAS DE EVALUACIÓN DE ALGORITMOS DE
APRENDIZAJE
UNIVERSIDAD DE CÓRDOBA GRUPO DE INVESTIGACIÓN
AYRNA
RED DE MINERIA DE DATOS. Madrid Mayo 2004

• César Hervás Martínez

2
TEST DE COMPARACIONES DE ESTADISTICOS DE
LOCALIZACIÓN
Test de normalidad de Kolmogorov-Smirnov de los
resultados obtenidos
Test t de student
Contraste de normalidad
Test paramétrico Anova I
No
Si
Test no-paramétrico de Friedman
Comparaciones de medias
Comparaciones de medianas
Test de comparaciones múltiples, Duncan, SNK,
Bonferroni Tamhane
Ordenación de medianas
Comparaciones de medias
3
Ejemplo. COMPARACIÓN DE ALGORITMOS GENÉTICOS
HIBRIDOS
UTILIZING HYBRID GENETIC ALGORITHMS. Diseño
experimental 30 ejecuciones para cada problema
de optimización propuesto Variable de contraste
Valores obtenidos de la función optima en la
última generación Test de hipótesis Contraste
múltiple de medias bajo las hipótesis de
normalidad de las distribuciones e independencia
(ANOVA I) Contraste de normalidad previo Test
de Shapiro-Wilks o (Kolmogorov-Smirnov) Contrate
de independencia previo Test de correlaciones
parciales (no realizado en el articulo) o P de
Pearson o de máxima verosimilitud Contraste de
igualdad de varianzas Test de Barlett o Test de
Levene (no realizado en el articulo)
4
Ejemplo. COMPARACIÓN DE ALGORITMOS GENÉTICOS
HIBRIDOS
UTILIZING HYBRID GENETIC ALGORITHMS Factor Tipo
de estrategia de búsqueda utilizada. Niveles
(12) N? Algoritmo Genético 0? AGBL
(Baldwinismo puro) 5? (primer nivel de
Lamarkismo parcial), , 95? (último nivel de
Lamarkismo parcial), 100 ? (Lamarkismo
puro) Nivel de significación ? 0.01 Regla de
decisión Si (p-value o Sig) gt 0.01 Entonces
existen diferencias significativas en las medias
de las 12 diferentes estrategias de búsqueda o
niveles del factor.
5
Ejemplo . COMPARACIÓN DE ALGORITMOS GENÉTICOS
HIBRIDOS
UTILIZING HYBRID GENETIC ALGORITHMS Test de
hipótesis (ANOVA I) Este contraste plantea en su
hipótesis nula que las medias poblacionales de k
poblaciones independientes son iguales H0
?1 ?2 ... ?k donde k es el número de
grupos experimentales o muestras frente a la
hipótesis alternativa de que alguna media es
diferente Región de aceptación C0 F lt
Fk-1,N-k (?) Siendo ? el nivel de significación
del contraste, que toma por lo general valores de
0.01 0.05 y 0.1 Regla de decisión Si F lt
Fk-1,N-k (?) ? Se acepta la hipótesis nula

6
Ejemplo. COMPARACIÓN DE ALGORITMOS GENÉTICOS
HIBRIDOS
UTILIZING HYBRID GENETIC ALGORITHMS TABLA
(ANOVA I)
Fuente de Variación S. de C. G. de L. Media de Cuadrados F
Modelo o dentro del grupo SCM k-1 MCM SCF/(k-1) MCM/MCE
Residual o entre grupos SCE N-k MCE SCE/(N-k)
Total SCT N-1
SCM
SCT
SCE
7
COMPARACIÓN DE ALGORITMOS GENÉTICOS HIBRIDOS
Test de hipótesis (ANOVA I) La prueba de
homogeneidad de varianzas implica que como 0.939
es mayor que 0.05 que es valor habitual del nivel
de significación, la varianzas poblacionales son
iguales. La Tabla ANOVA nos indica que al
ser 0.000 inferior al valor 0.05 valor habitual
del nivel crítico deberemos de rechazar la
hipótesis nula
8
Ejemplo . COMPARACIÓN DE ALGORITMOS GENÉTICOS
HIBRIDOS

• Si Existen diferencias significativas, esto es,
  si se rechaza la hipótesis nula del test ANOVA I,
  Entonces
• Test de Comparaciones Múltiples para igualdad de
  varianzas utilizados en el articulo
• Test Duncan, (minimización de la función de
  pérdida Bayesiana),
• Test de Student-Newman-Keuls (SNK) (test de
  rangos múltiple utilizado en una aproximación
  multietapa)
• Test de Ryan, Einot, Gabriel and Welsch (REGW)
  (utiliza también una aproximación multietapa que
  controla la proporción máxima de error del
  experimento bajo cualquier hipótesis parcial o
  completa) SAS v6.09
• Test de Comparaciones Múltiples para varianzas
  distintas
• Test de Tamhane SPSS 11.0

9
COMPARACIÓN DE ALGORITMOS GENÉTICOS HIBRIDOS

• Si Existen diferencias significativas, esto es,
  si se rechaza la hipótesis nula del test ANOVA I,
  Entonces
• Test de Comparaciones Múltiples Test de
  Student-Newman-Keuls
• Es un test análogo al de Duncan, pero difiere de
  este en que el valor crítico del contraste se
  obtiene a través de las Tablas del recorrido
  studentizado, valor del extremo superior qp,GLE,
  ?.
• Método En primer lugar, se ordenan, por ejemplo
  de menor a mayor, las medias poblacionales según
  el orden de sus medias muestrales y se plantean
  contrastes sucesivos de hipótesis entre pares de
  medias poblacionales, de la forma

10
COMPARACIÓN DE ALGORITMOS GENÉTICOS HIBRIDOS

• Si Existen diferencias significativas, esto es,
  si se rechaza la hipótesis nula del test ANOVA I,
  Entonces
• Test de Comparaciones Múltiples Test de
  Student-Newman-Keuls
• El estadístico de Student-Newman-Keuls, es
• q
• Siendo MCE la media de cuadrados del error
  obtenida en la Tabla ANOVAI, y siendo n1 y n2 los
  tamaños muestrales de los niveles 1 y 2 del
  factor
• Región de aceptación C0 0 qp,GLE, ?
• Regla de decisión Si q ?C0 ? Se acepta la
  hipótesis nula

11
COMPARACIÓN DE ALGORITMOS GENÉTICOS HIBRIDOS

• Test de Comparaciones Múltiples Test de
  Student-Newman-Keuls

-
Comparación B versus A SE q p q0.05,25, p Conclusiones
5 vs. 1 58.3-32.126.2 1.28 20.47 5 4.166 Rechazamos ?5 ?1
5 vs. 2 58.3-40.218.1 1.28 14.4 4 3.901 Rechazamos ?5 ?2
5 vs. 3 58.3-41.117.2 1.28 13.44 3 3.532 Rechazamos ?5 ?3
5 vs. 4 58.3-44.114.2 1.28 11.09 2 2.919 Rechazamos ?5 ?4
4 vs. 1 44.1-32.112.0 1.28 9.38 4 3.901 Rechazamos ?4 ?1
4 vs. 2 44.1-40.23.9 1.28 3.05 3 3.532 Aceptamos ?4 ?2
4 vs. 3 No se contrasta
3 vs. 1 41.1-32.1 9.0 1.28 7.03 3 3.532 Rechazamos ?3 ?1
3 vs. 2 No se contrasta
2 vs. 1 40.2-32.1 8.1 1.28 6.33 2 2.919 Rechazamos ?2 ?1
?5gt ?1, ?5gt ?2, ?5gt ?3, ?5gt ?4, ?4gt ?1, ?4 (?3)
?2, ?3gt ?1, ?2gt ?1, tres clases, la primera con
la población1, la segunda con 4, 3 y 2 y la
tercera con 5
12
COMPARACIÓN DE ALGORITMOS GENÉTICOS HIBRIDOS
Diferencia
-

• Test de Comparaciones Múltiples Test de
  Student-Newman-Keuls

13
Ejemplo 2. COMPARACIÓN DE ALGORITMOS GENÉTICOS
HIBRIDOS
Rango de sol. test SNK Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda Estratégia de búsqueda
Problema N 0 5 10 20 40 50 60 80 90 95 100
Brown-20 3 2 1 1 1 1 1 1 1 1 1 1
Corana-20 4 2 8 7 6 5 4 3 2 1 1 1
Griewank-20 2 1 1 1 1 1 1 1 1 1 1 1
Rastrigin-20 2 1 1 1 1 1 1 1 1 1 1 1
Schwefelds-20 1 2 1 1 1 1 1 1 1 1 1 1
Otros
14
COMPARACIÓN DE ALGORITMOS GENÉTICOS HIBRIDOS
RESULTADOS
La Tabla muestra el rango de los subconjuntos de
las aptitudes finales de las mejores soluciones
obtenidas para cada estrategia de búsqueda, donde
1 representa el mejor rango y 7 el peor. Todas
las estrategias que emplean al menos un 20 de
aprendizaje Lamarkiano encuentran de forma
consistente la solución final para los diferentes
problemas de test. El AG sin procedimiento de
mejora local, N, se incluye para proporcionar una
comparación con el procedimiento híbrido de
búsqueda local. Para la mayoría de los problemas
de test, el uso de procedimientos de mejora local
LS aumenta significativamente la eficiencia de un
AG
15
Ejemplo 2. COMPARACIÓN DE ALGORITMOS DE COMITES
DE DECISIÓN
MULTIBOOSTING Diseño experimental 10
validaciones cruzadas para cada conjunto de
clasificación Variable de contraste valores
obtenidos de los errores de clasificación para 36
bases de datos del repositorio de la UCI Test de
hipótesis Contraste de signos Test de
Shapiro-Wilks o (Kolmogorov-Smirnov) Poblaciones
(5) 1? C4.5 2? Bagging 3? (Wagging), 4 ?
(AdaBoost) 5? (MultiBoost) Nivel de
significación ? 0.05 Regla de decisión Si
(p-value o Sig) gt 0.05 Entonces existen
diferencias en los rangos de buena clasificación
par las 36 bases de datos para cada par de
algoritmos de clasificación utilizados
16
COMPARACIÓN DE ALGORITMOS DE COMITES DE
DECISIÓN
Comparación de errores para t10
Algoritmo C4.5 Bagging Wagging AdaBoost MultiBoost
Media de 36 conj 0.177 0.159 0.164 0.161 0.156
C4.5 r 0.889 0.930 0.845 0.826
s 30/3/3 28/4/4 25/1/10 29/1/6
p lt0.001 lt0.001 0.017 lt0.001
Bagging r 1.046 0.950 0.929
s 10/1/25 16/2/18 21/2/13
p 0.017 0.864 0.229
Wagging r 0.908 0.888
s 20/2/14 23/2/11
p 0.392 0.058
Adaboost r 0.977
s 21/4/11
p 0.110
17
COMPARACIÓN DE ALGORITMOS DE COMITES DE
DECISIÓN
La Tabla siguiente proporciona para t 10, esto
es para una validación cruzada con 10
particiones, un resumen de comparaciones del
error obtenido por cada algoritmo sobre el
conjunto de las 36 bases de datos. Por filas se
indica el error medio sobre un conjunto de datos
para el algoritmo etiquetado en la fila Por
columnas se indica el error medio para el
algoritmo etiquetado en la columna. La primera
fila representa el error medio a través del
conjunto de las 36 bases de datos. La etiqueta
r presenta la media geométrica de la proporción
de error col/fila. La etiqueta s representa el
número de comparaciones donde el algoritmo fila
ha sido ganador (en error medio), ha empatado o
ha perdido en las 36 bases de datos cuando ha
competido con el algoritmo columna.
18
COMPARACIÓN DE ALGORITMOS DE COMITES DE
DECISIÓN
La etiqueta p representa el nivel crítico del
contraste bilateral del test de signos aplicado a
cada par de algoritmos fila/columna, utilizando
sólo los registros ganador/perdedor, esto es un
test donde contrastamos si perder o ganar de un
algoritmo frente a otro son sucesos aleatorios
equiprobables. Las hipótesis son Ejemplo los
resultados de contrastar el rendimiento en
clasificación de las 36 bases de datos por
AdaBoost frente a MultiBoost, son 21/4/11, pero
si eliminamos los empates tenemos
21/32 como proporción de veces sobre 32 bases de
datos en las que AdaBoots gano en error a
MultiBoost.
19
COMPARACIÓN DE ALGORITMOS DE COMITES DE
DECISIÓN
Si consideramos que n 32 es suficientemente
grande y utilizamos el Teorema Central del
Límite, entonces la distribución asintótica
es Regla de decisión Como 21/32 0.656 ?
(0.327, 0.673) ? Se acepta la hipótesis nula, por
lo que se acepta que el valor de p 0.5. También
como el nivel crítico o p-value es 0.078 y
Regla de decisión es ahora Como 0.05 lt 0.078 se
acepta la hipótesis nula de que p 0.5. El valor
difiere del de la tabla (0.110) puesto que
nosotros hemos utilizado una aproximación a una
distribución Normal y no la distribución binomial
exacta
20
Ejemplo. MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN
DE REGLAS
Tabla de contingencia de la regla (A ? B).
B Bc Total
A n(A?B)n11 n(A?Bc)n12 n1.
Ac n(Ac?B)n21 n(Ac?Bc)n22 n2.
Total n.1 n.2 n
21
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
22
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
23
(No Transcript)
24
BASE DE DATOS DE 265 REGLAS EXTRAÍDAS MEDIANTE
GBGP EN UNA BASE DE DATOS EN ENTORNO EDUCATIVO
REGLA 1.- Si TIEMPO. TESTF_ADMINISTRACION-ALTA(0)
ALTO Entonces? ACIERTO.TESTF_ADMINISTRACION-ALTA(
0) NO REGLA 2.- Si NIVEL. EMULADORES_PROGRAMAS-AL
TA EXPERTO Entonces? ACIERTO.
EMULADORES_PROGRAMAS-ALTA(1) NO
VALORES DE LAS 9 MEDIDAS PROPUESTAS PARA LAS TRES
PRIMERAS REGLAS
Sop Conf Int CF ?2 MI S PRP ?
0.370 1.000 1.227 1.000 41.727 0.674 2.020 0.069 0.366
0.259 0.540 1.211 0.169 16.154 0.560 0.984 0.045 0.182
0.296 0.800 1.964 0.662 19.236 0.763 0.718 0.145 0.613
25
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
Test de Kolmogorov-Smirnov (K-S) cuyos resultados
se muestran en la Tabla, indica que para todas
medidas excepto para MI se rechaza la hipótesis
nula de normalidad para un ? 0.05, puesto que
los niveles críticos, o valores p, son
respectivamente 0.00 o 0.01 a excepción de MI
cuyo valor es 0.08.
Métrica Sop Conf Int FC ?2 IS E PRP ?
Media 0.29 0.61 1.17 0.17 23.03 0.57 1.46 0.03 0.13
Des 0.10 0.16 0.27 0.28 16.96 0.13 0.89 0.06 0.26
Z K-S 2.58 2.37 2.57 2.27 2.84 1.26 3.82 2.12 1.62
p 0.00 0.00 0.00 0.00 0.00 0.08 0.00 0.00 0.01
Con estos resultados el test de comparaciones más
adecuado es el de igualdad de medianas de valores
de aptitud dados por las nueve medidas para las
265 reglas propuestas por lo que hacemos un test
no-paramétrico de Friedman considerando
poblaciones independientes
26
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
TEST DE FRIEDMAN El estadístico F de Friedman es
de la forma F siendo S donde n es
el tamaño muestral, 265 en nuestro caso, k el
número de poblaciones a comparar, 9 en nuestro
caso, Ri la suma de los rangos de todos los
individuos de la población i-ésima y que se
muestran en la tabla.
Mét Sop Con Int FC ?2 MI S PRP ?
R. 3.48 5.58 7.46 2.62 9.00 5.37 7.51 1.60 2.38
Ri 922.2 1478.7 1976.9 694.3 2385 1423.1 1990.2 424 630.7
Tabla Rango promedio y Suma de los rangos de las
métricas, Ri, para todas las reglas.
27
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
La región de aceptación unilateral del contraste
es C0 (0 F?), donde F? se obtiene a partir de
unas tablas construidas por Friedman para
muestras de tamaño pequeño o si el tamaño es
mayor de 30 Regla de decisión Si F?C0 Se
acepta la hipótesis nula para un nivel de
confianza ?, prefijado. Con los resultados
anteriores C0 (0 ),
siendo 15.51 y por tanto
F 1908.5? C0, pues 1908.5 gt 15.51. Se rechaza
la hipótesis nula de igualdad de medianas en los
valores de aptitud para las 9 métricas
propuestas, para un nivel de confianza del 95
Test no parametricos de comparaciones múltiples
de medianas, no existentes en nuestro
conocimiento Test de Wilcoxon de pares de
variables dependientes. La cuestión es que habría
que realizar 36 contrastes.
28
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
TEST DE WILCOXON Utilizaremos la mediana M de la
diferencia de aptitudes proporcionadas por cada
una de las dos métricas como parámetro de
localización dado que las distribuciones de las
variables X e Y son desconocidas y las hipótesis
de normalidad no son apropiadas. El contraste
bilateral se plantea en la forma Hipótesis
29
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
TEST DE WILCOXON El estadístico de contraste se
construye a través de dos variables auxiliares,
transformaciones de X e Y. Z X-Y y S
sig.(X-Y), y utilizaremos los valores muestrales
de las citadas transformaciones zi y si Los
rangos de los n valores de zi, se obtienen de
forma tal que ri rang.(zi) y con estos valores
se define el estadístico. W- La región de
aceptación de la hipótesis nula es C0 (W1-?/2,
W?/2) y la distribución de W- para muestras de
tamaño mayor de 30, como es nuestro caso, se
demuestra que converge a una normal
30
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE
REGLASPRIMERAS CONCLUSIONES
Las salidas de SPSS de la Tabla muestran los
valores de W- y de p-value de las comparaciones
de las medianas de cada métrica con todas las
demás métricas, donde se observa que existen
diferencias significativas entre cada par
individual de medianas para ? 0.05, dado que el
nivel crítico es 0.00 o 0.02. De esta forma
podemos concluir que la distribución de las
medidas de las reglas obtenida por una métrica
cualquiera es diferente de las distribuciones de
las medidas de las reglas para las otras ocho
métricas para cualquier valor de ?.
31
MÉTRICAS PARA LA VALORACIÓN Y ORDENACIÓN DE REGLAS
Conf Int FC ?2 MI S PRP
Sop -14.12 -14.11 -7.43 -14.11 -14.11 -14.11 -14.12
Sop 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Conf -14.11 -13.95 -14.11 -5.38 -14.10 -14.11
Conf 0.00 0.00 0.00 0.00 0.00 0.00
Int -14.16 -14.11 -14.11 -3.03 -14.11
Int 0.00 0.00 0.00 0.02 0.00
FC -14.11 -13.77 -14.11 -8.83
FC 0.00 0.00 0.00 0.00
?2 -14.11 -14.11 -14.11
?2 0.00 0.00 0.00
MI -14.08 -14.11
MI 0.00 0.00
S -14.11
S 0.00
? -14.02 -14.11 -3.35 -14.11 -14.11 -14.11 -7.53
0.00 0.00 0.001 0.00 0.00 0.00 0.00
32
ANALISIS EN COMPONENTES PRINCIPALES (C. P.)
Contraste de Kaiser-Meyer-Olkin asociado a medir
la relación entre las 9 métricas a través de sus
coeficientes de correlaciones parciales
Contrastes de adecuacidad
Un nivel crítico p 0.00 muestra que se rechaza
la hipótesis nula por lo que existen
correlaciones significativas entre las nueve
métricas
Si
Número de C. P.
Dos componentes principales que explican el 88.4
de la varianza total
Rotación de las C. P.
Método Varimax de Kaiser
33
ANALISIS EN COMPONENTES PRINCIPALES
Componentes sin rotar Componentes rotadas
Medidas 1ª 2ª 1ª 2ª
Sop 0.654 0.619 0.313 0.844
Conf 0.712 0.499 0.418 0.762
Int 0.835 -0.479 0.961 -6.07e-02
FC 0.897 -0.132 0.863 0.278
?2 0.382 0.886 -4.9e-02 0.964
MI .938 0.196 0.755 0.590
S -5.8e-03 0.918 -0.411 0.820
PRP 0.889 -0.431 0.988 5.98e-03
? 0.892 -0.419 0.986 1.80e-02
Puntua en 1ª CPi 0.654? ZSopi0.712? ZConfi
... 0.889? ZPRPi 0.892? Z?i Puntua en 2ª CPi
0.619 ? ZSopi 0.449? ZConfi .....- 0.431?
ZPRPi- 0.419? Z?i
34
Resultados del Análisis en CP

• La CP primera está formada por las medidas de
  Confianza, Interés, Factor de Certeza, Precisión
  Relativa Ponderada, Coeficiente de correlación
  lineal, así como Soporte y Medida de Interés y
  explica el 56.1 de la varianza total.
• La CP segunda esta asociada a las medidas
  Chi-cuadrado y Entropía y explica el 32.3 de la
  varianza total. Ambas son medidas de dependencia
  estadística que indican el mayor o menor grado de
  independencia de los atributos que forman la
  regla

35
Conclusión

• Las distribuciones de las medidas no son normales
  salvo para MI y que al aplicarles los contrastes
  de igualdad de medianas se observa que estas son
  diferentes entre si para ? 0.05
• Algunas medidas miden características similares
  de las reglas y por ello se pueden definir otras
  métricas como combinación lineal de varias de las
  iniciales (Componentes Principales)

36
BIBLIOGRAFÍA

• Joines, J. A., Kay M. G. Utilizing Hybrid Genetic
  Algorithms. Evolutionary Optimization. Kluwer
  Academic Publisher. 2002
• Webb G. I. MultiBoosting A Technique for
  Combining Boosting and Wagging. Machine Learning,
  40, 159-196, 2000
• Van Gestel, T., et al Benchmarking least squares
  support vector machine classifiers. Machine
  Learning, 54, 5-32, 2004
• Hervás C., Romero C., Ventura S. Comparación de
  medidas de evaluación de reglas de asociación.
  Maeb04 Córdoba, 126-133. 2004.
• Barr, R.S., Golden, B.L., Nelly, J. P., Resende,
  M.G.C. and Stewart Jr., W.R. Designing and
  reporting on computacional experiments with
  heuristic methods. Journal of Heuristics, 1 (1).
  9-32. 1995
• Hooker, J.N. Testing heuristics We have it all
  wrong. Journal of Heuristics, 1 (1). 33-42
• Tjen-Sien, L., Wei-Yin L., Yu-Shan S. A
  Comparison of Prediction Accuracy, Complexity,
  and Training Time of Thirty-Three Old and New
  Classification Algorithms, Machine Learning, 40,
  203-228. 2000.

37
BIBLIOGRAFÍA

• Cuadras C., "Métodos de Análisis Multivariante",
  EUNIBAR, Barcelona 2ª edición (1991).
• Hair, Análisis Multivariante, Prentice-Hall,
  (1999).
• Ruiz-Maya L. Métodos Estadísticos de
  Investigación. INE, 1986
• Fox J. An R and S-Plus companion to applied
  regression. SAGE Publications. 2002
• Bishop, Y, Fienberg, S. and Holland, P. "Discrete
  Multivariate Analysis". MIT Press. Cambridge.
  (1991)
• Jobson, J. D. "Applied Multivariate Data
  Analysis. Volume II Categorical and Multivariate
  Methods". Ed. Springer-Verlag. (1992)
• Montgomery D. C., Peck, E. A. and Vinng
  G.G.Introduction to linear regression analysis
  John Wiley 2001

38
TECNICAS DE EVALUACIÓN DE ALGORITMOS DE
APRENDIZAJE
UNIVERSIDAD DE CÓRDOBA GRUPO DE INVESTIGACIÓN
AYRNA
RED DE MINERIA DE DATOS. Madrid Mayo 2004

• César Hervás Martínez