Neurale netwerken

1
Neurale netwerken

• Opdrachttaak kennissystemen
• Door
• Jeroen Van den Elsen
• Piet Vermeir
• Koen Van Campenhout

2
Inleiding

• Geschiedenis
• Wat is een neuraal netwerk?

3
Biologisch Neuron
4
Artificieel Neuron
5
Artificieel Neuraal Netwerk
Een eenvoudig voorbeeld van een artificieel
neuraal netwerk met drie lagen.
6
Eigenschappen van Artificiële Neurale Netwerken

• Local processing
• Parallel processing
• Leren
• Geheugen
• Bestand tegen ruis

7
Definitie van Artificiële Neurale Netwerken

• Een ANN is een rekenmodel, gebaseerd op het
  dierlijk neuraal netwerk, waarbij een invoer
  verwerkt wordt door een parallel netwerk van
  neuronen, de een al belangrijker dan de andere,
  en verbindingen om zo tot een uitvoer te komen.
  Elk van die neuronen verwerkt simpele functies en
  beschikken over een geheugen waardoor leren
  mogelijk wordt gemaakt.

8
Mogelijkheden van een Artificiële Neurale
Netwerken

• Classificatie
• Voorspellen
• Data associatie
• Data conceptualisatie
• Data filtering

9
Enkele toepassingen

• Muis en trackerball
• Kunstmatige intelligentie
• Handschrift herkenning

10
Eigenschappen van verschillende soorten ANN

• Type
• Neuronlagen
• Soort invoer
• Activatie functie
• Leermethode
• Leeralgoritme

11
Eigenschap 1 het type

• Feedforward type
• Eenrichtingsinformatiestroom
• Alleen verbindingen met andere neuronlaag
• Feedback type
• Ook verbindingen met eigenlaag

12
Eigenschap 2 de neuronlaag

• Input layer
• Output layer
• Hidden layer
• Matrix layer
• Map layer

13
Eigenschap 3 Soort invoer

• Binaire waarde
• Reële waarde

14
Eigenschap 4 activatie functie

• Verschillende types onderscheiden zich van elkaar
  door het type output die ze geven

15
Eigenschap 5 Leermethode

• Supervised learning
• Met antwoordboekje
• Generaliserend gedrag
• Unsupervised learning
• Zonder antwoorden
• Gebruiken van patronen
• Reinforcement learning
• Met een goed/fout signaal

16
Eigenschap 6 leeralgoritme

• Hebb learning rule
• Delta learning rule
• Backpropgation
• Simulated annealing
• gebruikt bij feedback types
• Self organization
• gebruikt bij kohonen

Maken gebruik van supervised learning
17
Enkele verschillende soorten

• Perceptron
• Multilayer perceptron
• Backpropagation net
• Hopfield net
• Kohonen Kaart
• Boltzmann Machine

18
Het perceptron
19
Het multilayer perceptron
20
Backpropagation
21
Topografische Kaarten

• Een groep units heeft verbindingen naar elke unit
  in een competitieve laag.
• De units zijn geordend
• Dit wil zeggen de unit die het sterkst reageert
  op een invoer omringt wordt door de units die
  ook, maar minder sterk, reageren. En hoe verder
  de units liggen hoe minder sterk deze reageren.

22
Vervolg

• De topografische kaart ordent zich
• Leert reageren op een extern invoer
• Past zich aan de invoer aan
• Heeft geen hulp nodig van buiten af
• Wordt ook wel self organizing map genoemd

23
Leren in een competitieve map

• Definitie
• Wanneer een axon van cel A dicht genoeg staat om
  een cel B te exciteren, en dit herhaaldelijk of
  continu activeert, dan ontstaat er een
  groeiproces of metabolische verandering in 1 of
  beide cellen. Hierdoor stijgt As efficiëntie.

24
Minimale competitieve kaart

• Twee invoervectoren p1 en p2 en gewichten u1 voor
  unit 1 en u2 voor unit 2.
• De bedoeling is dat tijdens het lerev de
  vectoren van de gewichten zich verplaatsen naar
  de invoervectoren.

25
Reactie van ongetrainde units
26
Training van minimale competitieve netwerken
27
Reactie van getrainde units
28
Vergelijking van reactie door ongetrainde en
getrainde units
29
Analyse van complexe data

• Hoe kan data (items met een label en een reeks
  getallen die een statistische eigenschap van het
  item representeren) in beeld gebracht worden
  zodat er verbanden kunnen gelegd worden tussen de
  items?
• De meest simpele oplossing

30
Andere oplossingen

• Een kohonen kaart met minimal spanning tree

31
Andere oplossing

• Merge clustering algoritme

32
Enkele Toepassingen