Neurale Netwerken

1
Neurale Netwerken

• Kunstmatige Intelligentie
• Rijksuniversiteit Groningen

Mei 2005
2
AGENDA

• deze week
• maandag ART
• woensdag Elman
• donderdag/vrijdag practicum
• volgende week
• maandag Spiking neurons
• woensdag voorbeeld-tentamen-vragen en
• feedback practicum
• donderdag/vrijdag practicum
• tentamen vrijdag 17 juni van 900 tot 1200,
  examenhal
• DE STOF ?

3
tentamenstof

• BOEK, behalve H10, H11
• artikelen Elman en Spiking Neurons
• college slides
• practicum

4
hc 8

• ART
• boek H9

5
Wat is ART?

• Adaptive Resonance Theory unsupervised learning
  network
• Carpenter en Grossberg (1987)
• Kohonen oplossing voor plasticity-stability
  dilemma is ad hoc
• Kohonen afnemende learning rate en
  neighbourhood, beperkt simpelweg de plastische
  periode van het netwerk

6
ART claims

• biologische plausibiliteit en
• engineering pluspunten
• geen aparte training/test fases
• bepaalt zelf hoeveel templates er zijn,
• afhankelijk van vigilance parameter
• system control is integrated into the fabric of
  the network (9.1.4)
• wiskundige bewijzen (voorkomt werken aan het
  onmogelijke)
• 9.1

7
drie beschrijvings niveaus

• computational level
• algorithmic level
• implementation level

8
ART1, computational level

• binaire patterns en templates
• bits die aan staan, noemen we features
• resonantie tussen pattern en template treedt op
  als...
• aantal overeenkomende features /
• totaal aantal features in pattern
• gt vigilance parameter ?
• kleine ?, weinig gelijke features nodig
• grote ?, veel gelijke features nodig
• 0 ? 1

9
het netwerk
leaky-integrator dynamics (beide
lagen) competitive dynamics (winner-takes-all)
F2 (j)
Zij
Zji
F1 (i)
I
10
voorbeeld, p. 156 - 157
11
netwerk bij dit voorbeeld
12
Top down templates
pattern A















template 1 X / I 11 / 11 1 1 gt 0,8 (?)
initial
1
2
3
X 11




















A
I11
13
Top down templates
pattern B















template 1 X / I 8 / 11 0,73 0,73 lt 0,8
template 2 X / I 11 / 11 1 1 gt 0,8
initial
1
2
3
X 11




















A
I11




















B
I11
11
8
14
Top down templates
pattern C















template 1 X / I 11 / 17 0,65 0,65 lt 0,8
template 2 X / I 8 / 17 0,47 0,47 lt 0,8
template 3 X / I 17 / 17 1 1 gt 0,8
initial
1
2
3
X 11




















A
I11




















B
I11
11
8




















C
I17
11
8
17
15
Top down templates
pattern D















template 1 X / I 8 / 17 0,47 0,47 lt 0,8
template 2 X / I 11 / 17 0,65 0,65 lt 0,8
template 3 X / I 14 / 170,82 0,82 gt 0,8
initial
1
2
3
X 11




















A
I11




















B
I11
11
8




















C
I17
11
8
17




















D
I17
8
14
11
16
ART leer algoritme

• initialize top-down weights //all 1
• initialize bottom-up weights //random
• repeat
• present input
• initialize J //set of all template nodes
• resonance FALSE
• repeat
• find winning node vj in J
• X I n Z //the templates features
• if X/I gt ? //feature overlap template and
  pattern
• resonance TRUE
• else
• delete vj from J
• until resonance or J is empty
• if resonance
• adjust top-down and bottom-up weights
• until stabilization

17
F2 (j)
Zij
Zji
F1 (i)
I
18
opmerkingen bij het algoritme

• self-scaling property hoe minder features, hoe
  belangrijker het is dat ze hetzelfde zijn
• getrainde templates worden eerst bekeken
• initialisatie top-down weights op 1 zorgt dat
  ongetrainde templates resoneren met elke input
• het noodzakelijke aantal templates hangt samen
  met ?
• stabilisatie is gegarandeerd
• geen gescheiden training en testing
• getrainde netwerk afhankelijk van input volgorde
  en innitialisatie (zoals altijd)

19
9.3.5, 9.3.6

• best moeilijk...
• deze twee sub-paragrafen
• worden niet getoetst

20
?, vigilance

• The ART1 network at system level.
• Right hand side short term memory sets
  F2-node which responds strongest to I, other F2
  nodes inactive (winner takes all)
• Left hand side F1 gain control allows input to
  be transmitted to F2 under the so-called 2/3
  rule.
• Rhs2 if match, then resonance, else reset F2

21
ART2, ART3 en ARTMAP

• ART2, meer lagen
• fuzzy set membership
• ARTMAP, twee ART1 netwerken verbonden door een
  map field
• template paren voor vector paren (x, y)
• fuzzy ARTMAP
• ART3, concatenatie van ART2 netwerken

22
toepassingen

• Boeing classificeren van onderdelen dmv.
  vorm-vector
• ensemble van ART netwerken, verschillende
  vigilance parameters
• plaatjes groeperen in het algemeen
• modelleren van processen in de hersenen,
  voorspellen van fMRI scans

23
ART claims (herhaling)

• biologische plausibiliteit en
• engineering pluspunten
• geen aparte training/test fases
• bepaalt zelf hoeveel templates er zijn,
• afhankelijk van vigilance parameter
• system control is integrated into the fabric of
  the network
• wiskundige bewijzen

24
volgende college

• Elman
• stof artikel