PowerPoint-Pr

1
Neuronale Netze und Fuzzy Sets
2
Das Gehirn von Carl Friedrich Gauß (1777-1855)
3
Robert Fludd (1574-1637)
4
Robert Fludd (1574-1637)
5
George Combe (1788-1858)
6
George Combe (1788-1858)
A System of Phrenology, Boston Marsh Capen 1831.
7
Nervenzelle (Neuron)
8
Nervenzelle (Neuron)
9
Neuronenwachstum
10
Neuronenwachstum
Synaptische Verbindungen bei einem Neugeborenen
Synaptische Verbindungen bei einem drei Monate
alten Kind
Synaptische Verbindungen bei einem zwei Jahre
alten Kind
11
Siegmund Exner (1852 -1934)
Entwurf zu einer physiologischen Erklärung der
psychischen Erscheinungen, Leipzig und Wien1894
12
Makroskopische Gliederung der Großhirnrinde
13
(No Transcript)
14
Neuronentypen - Schematische
Darstellung eines Neurons
15
Santiago Ramón y Cajal (1852 -1934)
16
Santiago Ramón y Cajal (1852 -1934)
17
Santiago Ramón y Cajal (1852 -1934)
18
Natürliche Neuronale Netze

• Eingänge des Nervensystems
• Einige Nervenzellen (z.B. Sinneszellen) können
  durch Umweltreize erregt werden.
• Ausgänge des Nervensystems
• Einige Ausgänge von Nervenzellen wirken (über
  Muskelzellen) auf die Umwelt ein.
• Erregungsbedingung
• Eine Nervenzelle geht in den Erregungszustand
  über, wenn genügend viele ihrer Eingänge mit
  erregten Nervenzellen verbunden sind.
• Unabhängigkeit der Nervenzellen
• Der Zustand einer Nervenzelle ist allein durch
  die Verhältnisse an ihren Eingängen bestimmt. Die
  einzelnen Zellen arbeiten also unabhängig
  voneinander.

19
Natürliche Neuronale Netze

• Aufbau einer Nervenzelle
• Eine Nervenzelle besitzt viele Eingänge, nämlich
  die synaptischen Verbindungen, und einen Ausgang,
  nämlich das Axon.
• Zustände einer Nervenzelle
• Eine Nervenzelle kann zwei Zustände annehmen
• den Ruhezustand und den Erregungszustand.
• Verbindungen der Nervenzellen untereinander
• der Ausgang einer Nervenzelle führt zu den
  Eingängen
• anderer Nervenzellen.

20
Nicolas Rashevsky (1899-1972)

• begründete 1939 das Bulletin of Mathematical
  Biophysics (heute Bulletin of Mathematical
  Biology, offizielles Journal der Society of
  Mathematical Biology)
• Erste Studenten Alvin Weinberg, Anatol
  Rapoport.
• Erstes PhD program in Mathematical Biology,
  1947.
• Arbeitsgebiete, Neurowissenschaften,
  Zellbiology Embryologie, Ökologie,
  Psychologie, Soziologie.
• Weitere Studenten George Karreman, Herbert
  Landahl (Mitbegründer der Society of
  Mathematical Biology), Robert Rosen, Robert
  S. Cohen.

21
Pioniere der mathematischen Biologie bzw.
Neurowissenschaften
Alston Householder
Herbert Landahl
22
Rashevskys Forschungen in den 1930er Jahren
Of all cells, the neurones have most completely
lost their property of dividing we should expect
forces of attraction between them. Indeed the
existence of such forces has been inferred by a
number of neurologists, notably Ariens Kappers
and Ramon y Cajal from various observations.
Nicolas Rashevsky Mathematical Biophysics.
Nature, April 6, 1935, p. 528-530 530.
Cornelius Ubbo Ariëns Kappers (1877-1946)
Santiago Ramón y Cajal (1852 -1934)
David P. C. Lloyd (1911 -1985)
Charles Sherrington (1857 -1952)
23
Rashevskys Forschungen in den 1930er Jahren
It has been suggested that a formation of new
anatomical connexions between neurones may be the
cause of conditioned reflexes and learning.
Calculation shows that the above forces may
account for it. Under certain conditions they
will produce an actual new connexion in a very
small fraction of a second. This leads us towards
a mathematical theory of nervous functions. We
find that, under very general conditions,
aggregates of cells such as are studied above
will possess many properties characteristic of
the brain.
Nicolas Rashevsky Mathematical Biophysics.
Nature, April 6, 1935, p. 528-530 530.
Ivan Petrowitsch Pawlow (1849-1936)
24
Rashevsky Mathematical Biophysics And
Psychology,1936
Psychometrika, Vol. 1, No. 1, September 1936, pp.
1-26.
e Erregungssubstanz i
Hemmungssubstanz
Erregung e - i gt 0 Hemmung e - i lt 0
25
Rashevsky Mathematical Biophysics And
Psychology,1936
Psychometrika, Vol. 2, No. 3, September 1937, pp.
199-209.
Neuron I Schwelle h1Neuron II Schwelle h2
Erregungsfaktorenen e1 , e2 Erregungen E1 , E2
e1 gt h1 ? E1 in Neuron I, e2 gt h2
? E2 in Neuron II.
Wenn e1 - h1 genügend klein, dann ist E1
genügend klein, dann ist e2 lt h2,dann wird
Neuron II nicht erregt.
Wenn e1 - h1 so groß ist, dass E1 und
damit e2 so groß sind, dass e2 gth2, dann wird
Neuron II erregt mit E2.
26
Vernetzte Nervenzellen Die Arbeiten von
McCulloch und Pitts in den 1940er Jahren
27
Jack D. Cowan
Jerome Y. Lettvin
28
Warren Sturgis McCulloch (1899-1972)

• Studium ab 1917 Mathematik (Haverford
  College), ab 1918 Philosophie und
  Psychologie (Offiziersschule in Yale),
  Magister in Psychologie (Columbia University,
  New York),
• dann Medizin (Columbia, New York),
• 1928 Neurologe am Bellvue Hospital, New York,
• 1930 Rockland State Hospital für Geisteskranke,
  New York (Forschung zu
  Kopfverletzungen und Epilepsie)
• Labor für Neurophysiologie (Yale)
• Prof. für Psychiatrie in Illinois, Leiter des
  Labors für Grundlagen- forschung in der
  Abteilung für Psychiatrie, (Erforschung von
  Fragen der Physiologie aus Sicht der Anatomie,
  Physik und Chemie).
• 1952 Research Laboratory of Electronics, MIT,
  Boston,
• 1972 gestorben.

29
Walter Pitts (1924-196?)

• geb. in Detroit, Michigan,
• keine Abschlüsse in High School oder College,

• kam 1937 nach Chicago, traf dort Russell,
  Carnap, Rashevsky und McCulloch,
• 1943 Research Assistant bei Wiener am MIT,
• um 1951 Nervenzusammenbruch,
• 1950er Jahre Pitts zerstörte Zeugnisse
  seines Vorlebens, verschwunden,
• starb in den 1960er Jahren.

30
Warren McCulloch, Walter Pitts
A Logical Calculus of the ideas immanent in
nervous activity. Bulletin of Mathematical
Biophysics, Vol. 5, S. 115-133.
31
Künstliche Neuronen

• Ein Neuron ist ein entweder aktives oder
  inaktives binäres Schaltelement.
• Jedem Neuron ist ein fester Schwellenwert eigen.
• Neuronen empfangen Eingaben (inputs) von
  erregenden Synapsen, die ihre Aktivierung mit
  gleichem Gewicht weitergeben.
• Neuronen empfangen auch Eingaben (inputs) von
  hemmenden Synapsen, wodurch ihre Aktivierung
  gerade verhindert wird.
• Innerhalb eines kleinen Zeitabschnittes werden
  die erregenden Eingaben im Neuron addiert
  überschreitet diese Summe den Schwellenwert des
  Neurons, so wird es aktiv.

32
McCulloch, Leiter der Macy-Treffen der Cybernetic
Group, 1944-1953
33
McCulloch Finality and Form
American Lecture Series (Springfield I11,
Charles C. Thomas, 1952).
34
Alles-oder-nichts-Impuls
Wenn ein Klotz angestoßen wird,fällt er ganz um
oder gar nicht. Das ist sein
Alles-oder-nichts-Impuls.
35
Refraktärzeit
Es braucht Zeit, ihn wieder aufzustellen. Das
ist die Erholungs- oder Refraktärzeit.
36
Schwelle - latente Summation
Damit er fällt, muss er hinreichend stark
angestoßen werden. Das ist seine Schwelle.
Ein Stoß, der ihn nicht umfallen lässt, bringt
ihn nur zum Kippen, von wo er in seine alte Lage
zurückkehrt
aber während er noch kippt, kann er durch einen
zweiten gleichen Schlag umgeworfen werden. Das
ist latente Summation.
37
Synaptische Verzögerung
Nachdem ein Klotz angestoßen wurde, dauert es
eine Weile, bis er umfällt. Das ist die
synaptische Verzögerung.
38
Zeitliche Summation
Der Impuls und die latente Summation sind so viel
kürzer als die Refraktärzeit und die synaptische
Verzögerung, dass ein Klotz nie einen anderen
umwerfen kann, indem er ihn zweimal anstößt. Das
ist das Fehlen der zeitlichen Summation.
39
Unumkehrbarkeit der Leitungsrichtung
Ein Klotz, der zwei andere umstößt, wirft sie
möglicherweise nicht um, während die beiden
Klötze zusammen den ersten umwerfen können.Das
ist die Unumkehrbarkeit der Leitungsrichtung.
40
Hemmung - Räumliche Summation
Ein Klotz, der gegen die Kante eines anderen
fällt, kann einen dritten daran hindern, ihn
umzuwerfen. Das ist die Hemmung an einer Synapse.
Zwei Klötze, die gemeinsam einen dritten
anstoßen, können ihn umwerfen, obwohl jeder
allein es nicht geschafft hätte. Das ist
räumliche Summation.
41
Irritabilität
Nicht zuletzt stammt fast alle zum Umwerfen eines
Bausteins nötige Energie aus der Lageenergie, die
beim Aufstellen im Baustein gespeichert wurde.
Diese Energie braucht nicht von dem Stoß zu
kommen, der den Klotz umwirft.Das ist die
Erregbarkeit oder Irritabilität.
42
Signifikante gleichzeitige Funktionen
Wenn C fällt, folgt daraus, dass entweder A oder
B oder beide eine synaptische Verzögerung zuvor
gefallen sind logisches oder (und/oder). Die
logische Relation des Falls von A und/oder B zu
einer bestimmten Zeit, etwa t 1, wird ihre
Disjunktion genannt. Das Umfallen von C zur Zeit
t 2 impliziert nicht das eine oder andere
Ereignis, sondern ihre Disjunktion zur Zeit t 1.
43
Signifikante gleichzeitige Funktionen
Wenn G umfallen soll müssen sowohl E als auch F
innerhalb der Periode der zeitlichen Summation G
angestoßen haben. Wenn G also zur Zeit t 2
fällt, setzt das die Konjunktion des Fallens von
E und F zur Zeit t 1 voraus logisches und.
44
Signifikante gleichzeitige Funktionen
H kann J zum Umfallen bringen, wenn nicht I gegen
den Rand von J fällt und damit sein Umfallen
verhindert. Konjunktion einer Behauptung mit
einer Negation. Das Umfallen von J zur Zeit t 2
setzt voraus, dass zur Zeit t 1 zwar H umfiel,
aber nicht I.
45
Gedächtnis
Werden Bauklötze nebeneinander im Kreis
aufgestellt und fällt einer um, so setzt ich das
Umfallen im Kreis fort, bis der letzte Stein auf
den ersten fällt. Wenn die Klötze so rasch
wieder aufgestellt werden könnten, wie sie
umfallen, würde das Fallen immer weitergehen.
Das ist eine Art Gedächtnis.
46
Wachstum durch Gebrauch
Wie wird die Aufstellung der Klötze (bzw. das
Neuronennetz) durch die Impulse verändert? Regel
Ein Klotz C, der gleichzeitig mit einem Klotz R
umfällt, der aber nicht durch C umgestoßen wurde,
wird so wieder aufgestellt, dass er beim nächsten
Mal R umwerfen kann.
47
Bikonditionale Funktion dann und nur dann
Wenn die Orte und Stoßrichtungen so festgelegt
wurden, dass B beim Umfallen immer C zu Fall
bringt, haben wir Implikation in beiden
Richtungen. Die Fall von C zur Zeit t 2 bedingt
das Umfallen von B zur Zeit t 1. Jetzt bedingt
aber auch das Umfallen von B zur Zeit t 1 das
Umfallen von C zur Zeit t 2.
48
Reflexe
49
(No Transcript)
50
McCulloch, Pitts A Logical Calculus of the
Ideas Immanent in Nervous Activity
Bulletin of Mathematical Biophysics, Vol. 5, S.
115-133.
51
Struktur eines typischen künstlichen Neuronalen
Netzes
Interpretation des neuronalen Netzes als Funktion
52
Struktur eines typischen künstlichen Neuronalen
Netzes
Interpretation des neuronalen Netzes als Black Box
53
Struktur eines typischen künstlichen Neuronalen
Netzes
Auswertung einer Funktion mit n Argumenten
54
Struktur eines typischen künstlichen Neuronalen
Netzes
Generisches Neuron mit Integrationsteil und
Ausgabeteil
Integrationsteil g Zusammenfassung der
Eingabe Ausgabeteil f Berechnung der Ausgabe
55
McCulloch-Pitts-Neuron
56
McCulloch-Pitts-Neuronen zum Aufbau logischer
Funktionen
57
McCulloch-Pitts-Neuronen zum Aufbau logischer
Funktionen
58
Logische Funktionen
59
(No Transcript)
60
Frank Rosenblatt, 1957 Perzeptron
61
Frank Rosenblatt, 1957 Perzeptron
62
Frank Rosenblatt, 1957 Perzeptron
63
McCulloch-Pitts-Zellen geometrische
Interpretation
64
McCulloch-Pitts-Zellen geometrische
Interpretation
65
Perzeptron geometrische Interpretation
66
Logische Funktionen
67
XOR-Problem
x1 x2 x1 XOR x2 0 0 0 1 0 1 0 1
1 1 1 0
68
McCulloch und Pitts Logik der Neuronen
69
Donald Olding Hebb (1904-1985)
Unser Gedächtnis beruht wahrscheinlich darauf,
dass synap-tische Verbindungen zwischen
gleichzeitig aktiven Nerven-zellen gestärkt
werden. Eine solche Veränderung der synap-tischen
Stärke wird als Hebb'sches Lernen bezeichnet.
70
Donald Olding Hebb (1904-1985)
Tatsächlich kann nach wiederholter gleichzeitiger
Stimulation eine Zunahme der synaptischen
Verbindungsstärke festgestellt werden
Nach dem Hebbschen Modell entsteht in Gruppen
von Nervenzellen, die untereinander durch
positive Rückkopplung verbunden sind, kreisende
Erregung. Diese Erregungszustände betrachtete
Hebb als Grundlage von psychischen Komponenten
wie Ideen und Vorstellungen. Gruppen von
Nervenzellen, von Hebb als "Zellgesellschaften"
bezeichnet, bilden sich durch Verstärkung von
synaptischen Verbindungen zwischen gleichzeitig
aktiven Nervenzellen. Hebb hat sein Modell
vorgeschlagen, ohne über experimentelle Hinweise
darauf zu verfügen. Mittlerweile hat man aber
in verschiedenen Regionen des Gehirns Synapsen
mit genau diesen Eigenschaften gefunden. Man
bezeichnet sie heute als Hebb'sche Synapsen.
71
Modell-Neuron
72
Nerveneigenschaften
73
Nerveneigenschaften
74
Logische Operationen
Wenn A dann B
Neuron A
Neuron B
75
Logische Operationen
Wenn A oder B dann C
Neuron A
Neuron B
Neuron C
76
Logische Operationen
Neuron A
Wenn A oder B dann C
Neuron C
Neuron B
77
Logische Operationen
Neuron A
Wenn A und nicht B dann C
Neuron C
Neuron B
78
XOR-Problem
? w1 x1 w2 x2, woraus folgt x2 - (w1
/ w2) x1 (? / w2) Auf der einen Seite der
Geraden gilt w1 x1 w2 x2 gt ?, d. h.
Neuron ist aktiv. Auf der anderen Seite der
Geraden w1 x1 w2 x2 lt ?, d. h. Neuron
ist nicht aktiv.
79
XOR-Problem
x1 0 und x2 1 y soll 1 sein. D. h. w1 0
w2 1 ? ?, d. h. aktiv! x1 1 und x2
0 y soll 1 sein. D. h. w1 1 w2 0 ? ?,
d. h. aktiv! x1 0 und x2 0 y soll 0 sein.
D. h. w1 0 w2 0 lt ?, d. h.
inaktiv! x1 1 und x2 1 y soll 0 sein. D.
h. w1 1 w2 1 lt ?, d. h.
inaktiv! Addieren der beiden ersten
Ungleichungen ergibt w1 w2 ? 2 ?, Aus den
letzten beiden Ungleichungen folgt ?
gt w1 w2 ? 2?, also ? gt2?. Das gilt aber nur
für ? lt 0. Dies steht im Widerspruch zu w1 0
w2 0 lt ?.
80
Zwei nicht linear trennbare Muster
in einem 2-dim. Merkmalsraum in einem 3-dim.
Merkmalsraum
81
Marvin Minsky und Seymour Papert 1969
82
(No Transcript)
83
(No Transcript)
84
(No Transcript)
85
L. A. Zadeh, 1963 Optimality and
Non-Scalar-Valued Performance Criteria
Eine Teilmenge (constraint set) C von ? sei durch
Einschränkungen an das System S definiert. Auf ?
sei eine partielle Ordnung ? definiert, wodurch
jedem System S in ? die folgenden drei
disjunkten Teilmengen von ? zugeordnet werden
können ?gt(S) Teilmenge aller Systeme, die
besser als S sind (superior). ??(S) Teilmenge
aller Systeme, die schlechter oder gleich S sind
(inferior). ?(S) Teilmenge aller Systeme, die
mit S nicht vergleichbar sind. ?gt(S) ? ??(S) ?
?(S) ?. Definition 1 Ein System S0 ist in C
nichtinferior, wenn gilt C ? ?gt(S0)
Ø. (Es gibt somit kein System in C, das
besser als S0 ist.) Definition 2 Ein System S0
ist in C optimal, wenn gilt C ?
??(S0). (Jedes System in C ist somit
schlechter (inferior) als S0 oder gleich S0.)
86
L. A. Zadeh, 1963 Optimality and
Non-Scalar-Valued Performance Criteria
Ist die Menge ? aller betrachteten Systeme durch
ein skalares Kriterium vollständig geordnet,
dann gilt ?(S0) ? und ?gt(S0) und ??(S0)
sind komplementäre Mengen. Wenn C ??gt(S0) ?,
dann gilt sicher ??(S0) ? C. Nichtinferiorität
und Optimalität sind äquivalent Unterschied der
Begriffe ist nicht erkennbar. Vorschlag
Partielle Ordnung von ? durch vektorwertiges
Leistungskriterium berücksichtigen
System S sei durch x (x1, ..., xn)
charakterisiert, dessen reellwertige Komponenten
z. B. die Werte von n veränderlichen Parametern
des Systems S sind. C sei Teilmenge des
n-dimensionalen Euklidischen Raumes.
Die Leistung des Systems S werde durch einen
m-dimensionalen-Vektor p(x) p1(x), ..., pm(x)
gemessen, wobei pi(x), i 1, ..., m,
reellwertige Funktion von x ist. Es gilt nun S
S ? p(x) p(x). Das heißt also pi(x) pi
(x), i 1, ..., m.
87
L. A. Zadeh, 1963 Optimality and
Non-Scalar-Valued Performance Criteria
88
L. A. Zadeh, 1963 Optimality and
Non-Scalar-Valued Performance Criteria
89
Separation Theorem for Fuzzy Sets
90
(No Transcript)