Redes Neurais

1
Redes Neurais

• Uso de Redes Neurais MLP para resolver problemas
  de reconhecimento de padrões

Alexandre de Oliveira Stauffer
2
Modelo Geral
X1
W1
X2
W2
Função de Ativação
Função de Propagação
Y
WN
...
XN
3
Modelo bidimensional
1, se Zgt1 0, cc
Z2
1
4
Modelo bidimensional
X2
1
2X1-3X2-10
X1
1
5
Treinamento

• Regra Delta ?Wi-?eX

• Reconhecer função lógica OR
• Pesos Iniciais 1, 1
• Bias Inicial 3

• Y1, se X1X2-3gt0
• Y0, cc

6
Dinâmica de Treinamento
X1 X2 Y T e
0 0 0 0 0
0 1 0 1 -1
1 0 0 1 -1
1 1 1 1 0
X2
1
X1
1
7
Redes MLP Backpropagation
8
MLP Treinamento

• Conjuntos treinamento, testes e validação
• devem possuir amostras de todas as classes
• devem possuir amostras bem distribuídas de todas
  as classes

9
MLP Treinamento
Erro
Treinamento
10
MLP Normalização

• Ordenadas da entrada com magnitudes diferentes
• Pressão Sangüínea
• Idade
• Taxa de colesterol no sangue
• Xi(Xi-µ)/s
• µ estimador da média
• s - estimador do desvio padrão

11
MLP Iniciar Pesos

• Devem ser próximos de zero
• Devem ser inicializados de forma randômica
  (uniformemente distribuídos)

12
MLP Tx. Aprendizagem

• Solução Taxa de aprendizagem adaptativa, que
  diminua com o tempo de aprendizagem

13
MLP Termo Momentum

• Diminui instabilidade da rede
• Regra Delta ?Wi1-?eXa ?Wi

14
MLP Matriz de Confusão
Resultado Esperado Resultado Esperado Resultado Esperado Resultado Esperado Resultado Esperado Resultado Esperado Resultado Esperado Resultado Esperado
Dígitos Dígitos Dígitos Dígitos Letras Letras Letras Letras
0 1 2 5 I O S Z
Resultado da RNA Dígitos 0 235 0 0 0 0 242 0 0
Resultado da RNA Dígitos 1 0 181 4 0 14 0 0 0
Resultado da RNA Dígitos 2 0 3 387 0 8 0 0 67
Resultado da RNA Dígitos 5 0 0 0 211 2 0 188 0
Resultado da RNA Letras I 0 165 0 0 243 0 0 0
Resultado da RNA Letras O 116 1 0 0 0 165 0 0
Resultado da RNA Letras S 0 2 0 69 1 0 182 0
Resultado da RNA Letras Z 0 0 46 0 8 0 0 451
Total Total Total 385 416 492 299 332 463 388 557
15
MLP Estimadores

• Estimador da média centro de cada classe
• Estimador de desvio padrão grau de dispersão da
  classe em torno de sua média

Mais Dispersas Mais Dispersas Menos Dispersas Menos Dispersas
Classe DP Classe DP
2 93,3293 B 71,4913
R 89,0912 P 72,0197
1 88,4283 F 72,5803
N 87,4772 Zero 72,6019
M 87,1319 O 72,6642
16
MLP PCA

• Redução na dimensão do vetor de entradas
• Perda de informação
• Diminuição na complexidade da RNA
• Eliminação de Ruídos
• Calculado a partir da matriz de covariância

17
Referências

• C. M. Bishop, Neural Network for Pattern
  Recognition, Oxford University, 1995.
• A. P. Braga, A. P. L. F. Carvalho, T. B. Ludemir,
  Fundamentos de Redes Neurais Artificiais, XI
  Escola de Computação, 1998.
• http//ltc.nutes.ufrj.br/stauffer/rna
• stauffer_at_centroin.com.br