Folie 1

1
Ingo Rechenberg
PowerPoint-Folien zur 8. Vorlesung Bionik II /
Biosensorik, Bioinformatik
Organisches Rechnen (Organic Computing)
Struktur und Arbeitsweise neuronaler
Netzwerke
2
Ein organischer Computer" (OC) ist definiert als
ein selbst-organisierendes System, das sich den
jeweiligen Umgebungsbedürfnissen dynamisch
anpasst. Organische Computersysteme haben sog.
Self-x-Eigenschaften" Sie sind
selbst-konfigurierend, selbst-optimierend,
selbst-heilend, selbst-erklärend und
selbst-schützend.
Organische Computersysteme verhalten sich eher
wie intelligente Assistenten als starre
Befehlsempfänger. Sie sind flexibel, robust
gegenüber (Teil)ausfällen und in der Lage, sich
selbst zu optimieren. Der Entwurfsaufwand sinkt,
da nicht jede Variante im Voraus programmiert
werden muss.
Gesellschaft für Informatik e.V.
3
Entwicklung Neuronaler Netze
Ein Meilenstein der Bionik
4
Anwendung neuronaler Netze
Mustererkennung, Bildverarbeitung, Robotik,
Prozessautomatisierung, Diagnose, Medizin,
Betriebswirtschaft, Finanzdienstleistungen
Wissensverarbeitung
5
Natürliches Neuronales Netz
6
Eingangsneuronen
Zwischenneuronen
Ausgangsneuron
Künstliches Neuronales Netz KNN
Neuronales Netz NN
7
Eigenheiten einer Nervenzelle
Impulsfortleitung im Axon
Summiereigenschaft des Zellsomas
Schwellverhalten des Encoders
S
Zeitverhalten der Synapse
Signalgewichtung durch Länge des Dendriten
8
Axon
? PSP
Soma
Encoder
Dendrit
Arbeitsweise einer (biologischen) Nervenzelle
9
Neuron 0. Ordnung
Spannungshöhe statt Impulse
Summiereigenschaft des Zellsomas
Streichung des Schwellverhaltens des Encoders
S
Streichung des Zeitverhaltens der Synapse
Signalgewichtung durch Länge des Dendriten
10
Neuron 0. Ordnung
(Technische Realisierung)
S
11
Neuron 1. Ordnung
Spannungshöhe statt Impulse
Summiereigenschaft des Zellsomas
Streichung des Schwellverhaltens des Encoders
S
S
aufgehoben !
Streichung des Zeitverhaltens der Synapse
Signalgewichtung durch Länge des Dendriten
12
Neuron 1. Ordnung (a)
(Technischen Realisierung)
Ue
S
Ua
Ua
Ue
13
Neuron 1. Ordnung (b)
(Technischen Realisierung)
Ue
S
Ua
Ua
Ue
14
Neuron 2. Ordnung
Impulsfortleitung
Summiereigenschaft des Zellsomas
Spannungs-Frequenzwandler mit Schwelle
S
Verzögerungs-glied 1. Ordnung
Signalgewichtung durch Länge des Dendriten
15
Neuron 2. Ordnung
(Technische Realisierung)
Berliner Bionik-Neuron
VZ1
VZ1
U
S
F
VZ1
F
U
16
Zurück zum Neuron 0. Ordnung
17
Eingangsneuronen
Zwischenneuronen
Ausgangsneuron
Netz mit Neuronen 0. Ordnung
18
Reduktionsgesetz für eine Neuronales Netz 0.
Ordnung
S
19
Belehren statt programmieren eines NN
20
Donald O. Hebb (1904-1985)
HEBB-Regel
Häufiger Gebrauch einer Synapse macht diese
stärker leitfähig !
21
Frank ROSENBLATTs Perceptron
Ue
S
Ua
Neuronales Netz 1. Ordnung (a)
2-schichtig mit springendem Ue-Ua-Verhalten
(Schwell-wertelement) und diskreter Verstellung
der Gewichte
22
Die Perceptron Lernregel
Regel 1 Wenn die Reaktion falsch als 0
klassifiziert wird, dann Gewichte der aktiven
Eingänge um 1 erhöhen.
0 statt 1
1
1
Regel 2 Wenn die Reaktion falsch als 1
klassifiziert wird, dann Gewichte der aktiven
Eingänge um -1 erniedrigen.
1 statt 0
23
Heute
Ue
S
Ua
Neuronales Netz 1. Ordnung (b)
Lernregel Back Propagation Evolutionsstrategie
3-schichtig mit sigmoidem Ue-Ua-Verhalten
(weiches Schwellwertelement) und kontinuierlicher
Verstellbarkeit der Gewichte
24
y
Ue
S
Ua
x
Die sigmoide Kennlinie wird durch die
Fermi-Funktion beschrieben
Sie zeichnet sich durch die besondere
mathematische Eigenschaft aus
25
Belehrung (Training) mit Backpropagation
26
net i
a2
a1
Neuron i
Fermi
1
2
Weiches Schwellwertelement
j nummerierte Eingänge
w24
w13
w23
w14
a4
Neuron 1
a3
4
3
w46
w35
w45
w36
Neuron 2
a6
a5
5
6
Neuron 3
Einfachstes 3-schichtiges Neuronales Netz
Durchrechnung des gesamten Netzes
27
Dh sei 2
Dh sei 1
Experimentator
grad
Unsichtbare geneigte Ebene
2 Elementarschritte in die x-Richtung
1 Elementarschritt in die y-Richtung
Die Idee des Gradientenfortschritts
28
Approximation als Ebenenstückchen
a2
a1
1
2
w24
w13
w23
w14
Angenommen, die 8 Gewichte können über Zahnräder
eines Getriebes verstellt werden. Dann gibt es
eine Übersetzung für jedes Zahnrad, bei der sich
F maximal schnell ver-mindern würde, wenn wir an
der Hauptwelle drehen. Die Übersetzungen sind
gleich den Ableitungen von F nach den Gewichten
w.
a4
Oder nach der Gradientenidee Jedes Gewicht muss
so geändert werden wie sich der Fehler mit einer
Änderung des Gewichts ändert !
a3
4
3
w46
w35
w45
w36
a5
a6
5
6
d Schrittweite
Der Gradientenfortschritt
Gewichtsänderungen
29
Bei den richtigen Getriebeübersetzungen folgt man
dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für
Getriebefaktor (Gewichtsänderung) für
Vorteil der Fermi-Funktion (weiches
Schwellwertelement)
30
a2
a1
Weg der Rechnung
1
2
1. Vorwärtsrechnung zur Bestimmung von
w24
w13
w23
w14
und
a4
a3
4
3
w46
w35
w45
w36
a6
a5
5
6
31
a2
a1
Weg der Rechnung
1
2
1. Vorwärtsrechnung zur Bestimmung von
w13
w24
w23
w14
und
Fehler
4
3
w46
w35
w45
w36
2. Rückwärtsrechnung zur Bestimmung von
bis
5
6
32
a2
a1
Weg der Rechnung
1
2
1. Vorwärtsrechnung zur Bestimmung von
w24
w3
w23
w14
und
Fehler
4
3
w46
w35
w45
2. Rückwärtsrechnung zur Bestimmung von
w36
bis
5
6
3. Einstellung der neuen Gewichte
bis
Text
33
Belehrung (Training) mit der Evolutionsstrategie
34
a2
a1
1
2
w24
w13
w23
w14
a4
a3
4
3
w46
w35
w45
w36
a6
a5
5
6
Die Operation wird l-mal durchgeführt ( 1
Generation). Dann wird das Netz mit dem kleinsten
Fehler zum Ausgang einer neuen Generation.
Text
35
Es sei w ein Vektor mit den Komponenten
36
Algorithmus der (1, l ) Evolutionsstrategie mit
MSR
Streuung s
37
DNA-Kopierer
DNA
Mutation der Mutabilität und Vererbbarkeit der
Mutabilität
Knackpunkt der Evolutionsstrategie
38
w
normalverteilt (Dichte z)
2s
zi

0
w
logarithmisch normalverteilt (Dichte x )
0
1
2
3
4
xi
Interpretetion der Kurve Eine Zufallszahl
zwischen 1/2 und 1/3 ist genau so häufig wie
zwischen 2 und 3
Zur Erzeugung der Mutationen z und x
39
Von-Neumann-Computer versus Neuronencomputer
Mutation
ES-Theorie 10 - 20 optimale Erfolgswahscheinlich
keit
Verbesserung unwahrscheinlich
40
Kausalität
Gleiche Ursache ? Gleiche Wirkung
Schwache Kausalität
Ähnliche Ursache ? Andere Wirkung
Starke Kausalität
Ähnliche Ursache ? Ähnliche Wirkung
Text
41
Schwach kausales Verhalten
Stark kausales Verhalten
Klassischer Computer
Neuronencomputer
Evolutionsfähig
Nicht evolutionsfähig
42
Exemplarische Anwendungsgebiete Neuronaler Netze
Signalverarbeitung Spracherkennung,
Bilderkennung, Bildanalyse, Biometrie
Robotik Motorische Steuerung, Handlungsentscheidu
ngen, Autonome Systeme
Wirtschaft Kreditwürdigkeitsbeurteilungen,
Börsenkurs- und Wirtschaftsprognosen
Psychologie Modellierung kognitiver Vorgänge,
Simulation neuronaler Strukturen
Medizin Elektronische Nasen, Diagnose, Protein
Design, EEG-Auswertung
43
Nachbildung des Phänomens der Farbkonstanz
Gleicher Farbeindruck bei unterschiedlicher
Beleuchtung
In der Trainingsphase wurden die korrekten
Output-Werte vorgegeben (supervised learning) und
die variablen Ge-wichte mit Hilfe der
Backpropagation Lernregel angepasst.
Das Netz wurde in zwei Verarbeitungspfade
unterteilt. Der obere Pfad griff auf
Farbinformationen des Hintergrundes zurück,
während der untere Pfad die Farbe des
betrachte-ten Objekts analysierte.
Sofern mindestens fünf verschiedene
Beleuchtungsbedin-gungen in der Trainingsphase
zur Verfügung stehen und diese relativ
gleichmäßig über den Farbraum verteilt sind, ist
eine Generalisierung des Gelernten festzustellen.
In die-sem Fall zeigt sich Farbkonstanz auch
unter neuen, dem Netz unbekannten
Beleuchtungsbedingungen.
Dem neuronalen Netz wurde das Objekt in der
Trainings-phase unter 40 verschiedenen Farben
dargeboten, wäh-rend die Farbe des Hintergrundes
nicht variierte. Jedoch konnte auch das vom
Hintergrund reflektierte Licht in Ab-hängigkeit
der verwendeten Beleuchtung unterschied-liche
Wellenlängen annehmen. Insgesamt kamen in
verschie-denen Trainingsdurchläufen maximal neun
verschiedene Beleuchtungen zum Einsatz. Ziel des
Trainings war die korrekte Identifikation der
Objektfarbe unter den unter-schiedlichen
Beleuchtungsbedingungen.
Vergleicht man die Ergebnisse des künstlichen
neuronalen Netzes mit Befunden zur Farbkonstanz
bei menschlichen Probanden, so zeigen sich trotz
vereinzelter Unterschiede große Gemeinsamkeiten
bei der Farbeinschätzung von Ob-jekten unter
verschiedenen Beleuchtungsbedingungen.
44
Die Entscheidungshilfe für Aktienanleger Was ist
Stock NeuroMaster? Stock NeuroMaster wurde
entwickelt, um Vorhersagen aus bestimmten
Marktsituationen zu treffen, die Ihnen bei der
Bestimmung des richtigen Kauf- und
Verkaufszeitpunktes helfen.
                                               
                                                  
                                         
Jetzt verdienen Sie an der Börse endlich
Geld! Modernste neuronale Netzwerktechnologie
("künstliche Intelligenz") hat es jetzt
ermöglicht mit einem Standard-PC Vorhersagen
ungeahnter Genauigkeit zu treffen. Der Stock
NeuroMaster nutzt neuronale Netze als Instrument,
um die historischen Börsen-kurse interessanter
Aktien zu analysieren. Basierend auf den
Ergebnissen dieser Analyse spricht die Software
konkrete Kauf- oder Verkaufsempfehlungen aus.
?
45
Ende
46
Bei den richtigen Getriebeübersetzungen folgt man
dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für
Deshalb Rückwärtrechnung
Getriebefaktor (Gewichtsänderung) für
47
Man mache sich klar Bei idealer starker
Kausalität (Funktionsstetigkeit) ist bei kleinen
Mutationen die Erfolgswahrscheinlichkeit gleich
50. Es trifft also nicht zu (wie oft behauptet
wird), dass eine erfolgreiche Mutation in der
Evolution ein extrem seltenes Ereignis darstellt.
Nur große erfolg-reiche Mutationen sind sehr
selten! Die 50 Erfolgswahrscheinlichkeit
(differentiell) kleiner Mutationen ergibt sich
aus der Tatsache, dass eine Berglandschaft in der
unmittelbaren Nähe durch ein geneigtes
Ebenenstückchen approximiert werden kann (Prinzip
der Linearisierung).
48
Vorteil der evolutionsstrategischen
Trainingsmethode Die Fehler an den Ausgängen
müssen nicht explizit bekannt sein. Die Ausgänge
des Neuronalen Netzes können z. B. die Bewegung
eines Roboters steuern, dessen Ist-Trajektorie
mit der Soll-Trajektorie verglichen wird und den
zu minimierenden Fehler darstellt.