Neur

1
Neurônio
2
Perceptron AND
EE-214/2011

• Entradas 0 or 1
• Saída é 1 quando ambos x1 e x2 são 1

3
Perceptron OR
EE-214/2011

• Entradas 0 or 1
• Saída é 1 quando pelo menos
• um dos dois, x1 ou x2 é 1

4
EE-214/2011
Discriminante Linear via Perceptron
5
Perceptron XOR
EE-214/2011

• Entradas 0 or 1
• Saída é 1 quando somente
• um dos dois, x1 ou x2 é 1

Não separável por hiperplano
Tentar Associações de Neurônios
6
Timeline
EE-214/2011

• 1943 Warren S. McCulloch e Walter H. Pitts,
  modelo de neurônios com limiares binários
• 1957 Frank Rosenblatt, classe de máquinas com
  aprendizado denominados perceptrons
• 1969 Marvin Minsky e Seymour Papert
  apresentam o problema do XOR.
• 1980s David E. Rumelhart, Geoffrey E. Hinton e
  Ronald J. Williams, generalized delta rule for
  learning by back-propagation para treinamento de
  MLP

7
EE-214/2011
8
Redes Neurais Artificiais
EE-214/2011
9
Tipos de Redes
EE-214/2011

• Perceptron Simples
• Perceptron Multicamadas
• Redes de Base Radial
• Redes de Hopfield
• SOM (Kohonen)
• Types of neural networks
• Recurrent network
• The echo state network
• Stochastic neural networks
• Boltzmann machine
• Modular neural networks
• Committee of machines
• Associative neural network (ASNN)
• Instantaneously trained networks
• Spiking neural networks (SNNs)
• Neuro-fuzzy networks
• ART
• Grossberg

ART
Kohonen
Hopfield
MLP
Elman
10
Cérebro Humano
EE-214/2011

• Número de Neurônios 4 x 1010 a 1011
• Número de Conexões até 104 per neuron
• Taxa de Mortalidade de Neurônios 105 per day
• Taxa de Aumento de Neurônios 0
• Velocidade nas Sinapses 1 kHz (computer 3.0
  GHz)
• Reestruturação Bebê lt 2anos ? 106
  connections/s
• Consumo de Energia 10-16 J/operação/s
  (computador ? 10-6)

• Adaptação por meio de aprendizado
• Comportamento sensível ao contexto
• Tolerância a incertezas
• Capacidade de manipular informações incompletas
• Grande capacidade de memória
• Capacidade de processamento em tempo real

11
Vantagens de Redes Neurais Artificiais
EE-214/2011

• A prendizado a partir de dados, sem necessidade
  de Engenheiro de Conhecimentos
• Capacidade de generalização
• Capacidade de tratar multicolinearidade
• Obtenção de modelos a partir de dados ruidosos
• Obtenção de modelos a partir de dados incompletos
• Permite tratar modelos não lineares
• Permite tratar dados discontínuos
• Sem dependência do tipo de distribuição
• Computação simples em arquitetura massivamente
  paralela
• Processamento rápido no modo de aplicação
• Apresenta conhecimento distribuído
• Tolerante a falhas nos nós
• Pode ser dinâmico

12
Principais Desvantagens de Redes Neurais
Artificiais
EE-214/2011

• Dificuldade de interpretação (caixa preta)
• Dificuldade de debug, por causa da representação
  distribuída
• Treinamento pode ser lento
• Dificuldade em definir topologia
• Treinamento pode falhar por captura em um mínimo
  local
• O problema pode não ser descritível em termos de
  números

13
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

14
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

A tarefa de classificação de padrões é atribuir a
das classes pré-especificadas um objeto ou dado
(como forma de onda vocal ou símbolo manuscrito)
representado por um vetor de caracteristicas.
15
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

• O agrupamento (clustering) consiste em colocar os
  padrões similares em um mesmo grupo.

16
Estruturas de RNA Requeridas para Separação
EE-214/2011
Configurações Possíveis
Classes Não-Convexas
XOR
Estrutura
1 camada
2 camadas
3 camadas
17
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

Dado um conjunto de N pares entrada-saída, (x1,
y1), (x2,y2), ..., (xN,yN), gerados por uma
função desconhecida f(x), sujeito a ruído, a
tarefa da aproximação de função é achar uma
estimativa, fRNA(x,W).
18
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

Dado um conjunto de N amostras (y(t1), y(t2),
..., y(tN)) de uma sequência no tempo, estimar o
valor de y(tNk), k gt 0.
19
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

O problema de otimização consiste em selecionar
um ponto de um conjunto (de pontos viáveis) que
resulta no melhor valor de uma função objetivo.
O ponto pode pertencer a Rn ou em espaço de
funções como L2 (controle ótimo). A função
objetivo J(.) pode ser custo (min) ou retorno
(max). O conjunto de pontos viáveis é
caracterizado por equações h(x) ou inequações
g(x).
20
Aplicações de RNA
EE-214/2011
Pelo Conteúdo
Pelo Endereço

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
21
Aplicações de RNA
EE-214/2011
Pelo Conteúdo
Pelo Endereço

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
Endereço Conteúdo
0000 1010110
0001 1100101
0010 1000111
0011 0010100
...
1111 0101111
Search
22
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

• Dado um sistema dinâmico descrito por
• onde u(t) é a entrada do sistema e y(t) é a
  saída, o problema de controle consiste em obter
  uma lei de controle u(t) que faça o sistema
  evoluir conforme especificações desejadas.

23
Métodos de Treinamento (Aprendizado)
24
EE-214/2011
Treinamento Supervisionado de RNA

• Particionar os dados em
• Conjunto de Treinamento
• Conjunto de Teste
• Conjunto de Validação
• Ajustar os Pesos
• Variar os pesos de modo que resultem em
  diminuição do erro na saída para o dados do
  conjunto de treinamento.
• Se o erro na saída para o dados do conjunto de
  teste começar a aumentar, terminar o treinamento.
• Verificar se a rede obtida produz bons resultados
  para o cojunto de validação.
• Overfitting A rede ajustou-se ao ruído
• Generalização Produz resultados adequados para
  dados não utilizados no treinamento (por exemplo,
  os do conjunto de teste).

25
Métodos de Otimização
EE-214/2011

• Back Propagation (mais utilizado)
• Método dos Momentos
• Métodos Superlineares (Newton, Kalman)
• Algoritmos Bioinspirados (p.ex., Genético)
• Poliedros Flexíveis
• Otimização Multi-Objetivos
• ...

26
Algoritmo Back-Propagation
EE-214/2011
27
Aplicações de RNA
EE-214/2011

• Classificação
• Agrupamento
• Aproximação de funções
• Previsão
• Otimização
• Memória endereçável por conteúdo
• Controle
• outros ...

28
Previsão de Séries Temporais
29
Previsão de Séries Temporais
EE-214/2011
Dado um conjunto de N amostras (y(t1), y(t2),
..., y(tN)) de uma sequência no tempo, estimar o
valor de y(tNk), k gt 0.
30
EE-214/2011
Propriedade de Aproximação Universal
31
Propriedade de Aproximação Universal

• Barron, A. R. Universal approximation bounds for
  superpositions of a sigmoidal function, IEEE
  Transactions on Information Theory, 39, 1993, pp.
  930-945.
• Cybenko, G. Approximation by superposition of a
  sigmoidal function, Mathematics of Control,
  Signals, and Systems, 2, 1989, pp. 303-314.
• K. Funahashi, On the approximate realization of
  continuous mappings by neural networks, Neural
  Networks, v.2 n.3, 1989, pp.183-192.
• Hecht-Nielsen, R. Kolmogorov's mapping neural
  network existence theorem, In International
  Conference on Neural Networks, vol. 3, IEEE,
  Washington DC, 1989, pp. 11-14.
• K. Hornik , M. Stinchcombe , H. White, Multilayer
  feedforward networks are universal approximators,
  Neural Networks, v.2 n.5, 1989 , pp.359-366.
• J. Park , I. W. Sandberg, Universal approximation
  using radial-basis-function networks, Neural
  Computation, v.3, n.2, Summer 1991, pp.246-257.
• F. Scarselli , A. C. Tsoi, Universal
  approximation using feedforward neural networks
  a survey of some existing methods, and some new
  results, Neural Networks, v.11 n.1, jan, 1998,
  pp.15-37.

32
Alternativa 1 para Previsão de Séries
Temporais Aproximação de Funções
Se x é nx1 e há N pares (x,y) Fornecer
entradas P na forma x1(1) x1(2) ... x1(N)
... xn(1) xn(2) ... xn(N) Fornecer saida
ou target T na forma y(1) ...
y(N) P... T... Especificar estrutura da
rede no caso new feed forward net
newff(minmax(P),2 15 1) Treinamento com as
entradas P e saidas T net.trainParam.epochs
200 net train(net,P,T) Calcula saidas da
rede para as entradas P Y sim(net,P)
33
Alternativa 1 para Previsão de Séries
Temporais Aproximação de Funções
34
Alternativa 2 para Previsão de Séries
Temporais Ajuste de Polinômio
35
EE-214/2011
Alternativa 3 para Previsão de Séries
Temporais NARMA via RNA
yk fRNA (yk-1,yk-2,...,yk-n,xk,xk-1,xk-2,...,xk-
m)
36
Alternativa 4 para Previsão de Séries
Temporais ARMA
37
Agrupamento e Classificação de Padrões
38
Agrupamento e Classificação
EE-214/2011
A tarefa de classificação de padrões é atribuir a
das classes pré-especificadas um objeto ou dado
(como forma de onda vocal ou símbolo manuscrito)
representado por um vetor de caracteristicas.
39
Agrupamento e Classificação
EE-214/2011
A tarefa de classificação de padrões é atribuir a
das classes pré-especificadas um objeto ou dado
(como forma de onda vocal ou símbolo manuscrito)
representado por um vetor de caracteristicas.
40
Alternativas para Agrupamento Métodos já vistos
41
(No Transcript)
42
Muito Obrigado!