Keinotekoisten neuroverkkojen kehitys...

1
Keinotekoisten neuroverkkojen kehitys...

• ...ja kehittäjät

2
Työssä käsitellään

• Keinotekoisten neuroverkkojen kehitystä
  90-luvulle asti sekä tekoälyn alkuaikoja hieman
  laajemmasta näkökulmasta
• Ihmisiä ideoiden takana
• Lähinnä amerikkalaisesta perspektiivistä

3
1. Taustaa

• -Ajatustoiminnan sijaintipaikaksi olivat ennen
  1800-lukua ehdolla mm. sydän ja perna
• -Paul Broca totesi 1861, että puheen tuottaminen
  voidaan paikallistaa vasempaan aivolohkoon
• -Neuronien olemassaolosta oli keskusteltu, mutta
  havaintoja ei vielä ollut

4
Camillo Golgi

• Kehitti tekniikan neuronien värjäämiseksi
• Ensimmäisen kerran mahdollisuus havaita
  yksittäisiä neuroneita
• Ajattelu tapahtuu väliaineessa, jossa myös
  neuronit ovat

Camillo Golgi Nobel06a
5
Santiago Ramon y Cajal

• Käytti Golgin värjäystekniikkaa omissa
  tutkimuksissaan
• Neuronit mahdollistavat ajattelun

Santiago Ramon y Cajal Nobel06b
Golgin tekniikalla värjättyjä neuroneita Tur
6

-Golgi ja Cajal molemmat palkittiin Nobelilla
1906, huolimatta erilaisista mielipiteistään -Vas
ta Hans Bergerin 1929 kehittämä EEG mahdollisti
elävien neuronien sähköisen toiminnan
tarkkailemisen
7
2. Tekoälyn poikkitieteelliset alkuajat ja
ensimmäinen keinotekoinen neuronin malli
8
Warren McCulloch
-Neurofysiologi, joka halusi muuttaa tuolloiset
epämääräiset teoriat matemaattisen täsmälliselle
pohjalle -What is a number, that man may know
it, and a man that he may know a number
Warren McCulloch McCor79
9
Warren McCulloch
-Neurofysiologi, joka halusi muuttaa tuolloiset
epämääräiset teoriat matemaattisen täsmälliselle
pohjalle -What is a number, that man may know
it, and a man that he may know a number
Walter Pitts
Warren McCulloch McCor79
-Karkasi kotoaan 15-vuotiaana, koska ei halunnut
mennä töihin -Matemaattisesti erittäin lahjakas
ja erityisen kiinnostunut logiikasta -Törmäsi
Bertrand Russeliin puistossa ja päätyi Rudolph
Carnapin oppiin
Walter Pitts MCCor79
10
-McCulloch tarvitsi konsulttiapua omiin
tutkimuksiinsa ja törmäsi Chicagossa Pittsiin,
joka oli Carnapin opissa -Pitts auttoi
McCullochia ymmärtämään miten hermojärjestelmän
kytkennät voisivat muodostaa Turingin
koneen -Yhteisjulkaisu The logical calculus of
the ideas immanent in nervous activity
julkaistiin vuonna 1943 Pittsin ollessa vasta
18-vuotias -Tuotosta pidetään myös ensimmäisenä
tekoälyn alaan kuuluvana tutkimuksena
11
McCulloch-Pitts neuroni(MP)

• Esikuvana biologinen neuroni
• Toiminta samankaltaista, malli kuitenkin hyvin
  yksinkertaistettu
• MP aktivoituu ja lähettää signaalin , jos
  tulosignaalien summa ylittää aktivaatiofunktion
  kynnysarvon
• Loogiset operaatiot toteutettavissa
  yksinkertaisilla verkoilla
• Mikä tahansa laskettava funktio toteutettavissa
  jollain verkolla

Biologisia neuroneita Neg
McCulloch-Pitts neuroniBull
12
John von Neumann

• Yleisnero, joka työskenteli paitsi
  tietokonesuunnittelun, myös Manhattan-projektin
  parissa
• Vaikuttui McCullochin ja Pittsin työstä, ja
  hyödynsi sitä opettaessaan tietokoneiden teoriaa
• Neumann viittaa työhön myös vuoden 1945
  paperissaan First Draft of a report to the
  EDVAC
• McCulloch myöhemmin totesi, että työ olisi voinut
  jäädä huomiotta ellei John von Neumann olisi
  löytänyt sitä

John von Neumann McCor79
13
Norbert Wiener

• Entinen lapsinero, joka väitteli tohtoriksi
  18-vuotiaana
• Hankala luonne, Bertrand Russell koemmentoi
  kirjeessä ystävälleen The youth has been
  flattered, and thinks himself God Almighty --
  there is a perpetual contest between him and me
  as to which is to do the teaching.
• Halusi saada tutkalta tulevan informaation osaksi
  ilmatorjuntatykin tähtäysjärjestelmää
• Huomasi analogian tämän tavoitteen ja ihmisen
  toiminnan välillä jatkuva hienosäätö palautteen
  perusteella
• Lähti etsimään henkilöitä, jotka olisivat
  tutustuneet ongelmaan ihmisen toiminnan puolelta
  ja näin joutui tekemisiin McCullochin kanssa
• Antoi nimen kybernetiikalle, ehkä nimekkäin
  perustajista

Norbert Wiener McCor79
14
-Vuonna 1944 perustettiin poikkitieteellinen
keskustelukerho, Teleological Society, jossa
olivat mukana niin McCulloch, von Neumann, kuin
Wienerkin (muita) -Myös Englannissa oli
vastaava, Ratio Club, jossa mukana mm. Alan
Turing -Jonkin verran vaikutteita
keskenään -Vaikka esim. Wienerillä ja von
Neumannilla ei suoranaisesti ollut tekemistä
neuroverkkojen kanssa, tälle poikkitieteelliselle
pohjalle syntyi myöhemmin tekoäly
"Once upon a time two daughter sciences were born
to the new science of cybernetics. One sister was
natural, with features inherited from the study
of the brain, from the way nature does things.
The other was artificial, related from the
beginning to the use of computers. Each of the
sister sciences tried to build models of
intelligence, but from very different materials.
The natural sister built models (called neural
networks) out of mathematically purified
neurones. The artificial sister built her models
out of computer programs
15
-Vuonna 1949 Donald Hebb esitti kirjassaan The
Organization of Behavior kuinka neuroverkot
voisivat oppia -Jos neuroni A on toistuvasti
osallisena neuronin B laukeamisessa An signaalin
painoarvo kasvaa -Hebbin oivallus ei
suoranaisesti liittynyt keinotekoisiin
neuroverkkoihin, vaan hän oli psykologi ja
kiinnostunut oikeiden aivojen toiminnasta
16
Marvin Minsky

• Matematiikan jatko-opiskelija Princetonissa
• Rakensi Dean Edmondsin kanssa ensimmäisen
  neuroverkkoja simuloivan koneen SNARCin vuonna
  1951
• SNARCin osasina oli 3000 tyhjiöputkea ja B-24
  pommittajan autopilotti
• 40 keinotekoista neuronia simuloivat rottaa, joka
  etsii tietä pois labyrintista

Marvin Minsky McCor79
17
-Kesällä 1956 järjestettiin Darthmouthissa
kesäkoulu, jonka tavoitteena oli saada tekoälystä
kiinnostuneita ihmisiä työskentelemään
yhdessä -Kutsun otsikossa esiintyi ensimmäistä
kertaa termi Artificial Intelligence, joka jäi
elämään alan nimenä -Yksi kutsussa esitetyistä
tutkimusaiheista oli How can a set of
(hypothetical) neurons be arranged so as to form
concepts, ja osallistujissa oli mukana Minskyn
lisäksi mm. Nathaniel Rochester IBMltä, joka oli
työskennellyt neuroverkkojen parissa -Neuroverkot
eivät kuitenkaan Darthmouthissa parantuneet,
suurin ja ainoa menestys oli Allen Newellin ja
Herbert Simonin Logic Theorist
18
3. Perceptron
19
-Frank Rosenblattin ryhmä Cornellin yliopiston
tutkijoita kehitti 50-luvun lopulla uuden
neuronimallin, perceptronin -Inspiraationa sekä
MP, että Hebbin aivojen oppimista koskevat
tulokset -Periaatteessa MPn kaltainen, mutta
tulosignaaleilla oli painoarvot ja niitä voitiin
muuttaa -Rosenblatt tutki kärpäsen näkökykyä ja
kehitti tutkimustensa pohjalta perceptroneista
laitteen joka kykeni tunnistamaan kuvioita
Yksinkertainen perceptron-verkko Este
20
-Rosenblatt oli värikäs persoona joka uskoi
vakaasti perceptroneihinsa -Hän uskoi, että
perceptronien avulla voitaisiin ennen pitkää
ymmärtää kaikkien informaatiota käsittelevien
järjestelmien toiminta, myös ihmisen -Tämä
urheiluautolla kampuksella ajava poikamies oli
niin hyvä tuotteensa edustaja, että perceptronien
ympärille syntyi paljolti tutkimusta -Minsky,
joka oli itse aiemmin turhautunut rakentamansa
neuroverkon rajoittuneisuuteen ja siirtynyt
symbolisen tekoälyn pariin, arsyyntyi
perceptronien saamasta huomiosta -Eikä hän ollut
ainoa, jonka mielestä mallissa oli ongelmia...
21
Seymour Papert

• Etelä-Afrikkalainen matemaatikko
• Erityisen kiinnostunut lasten ajattelusta ja
  oppimisen opettamisesta
• Tutustui Marvin Minskyyn konferenssissa
  englannissa
• Siirtyi myöhemmin yhdysvaltoihin McCullochin
  kutsumana
• Mukana aparteidin vastaisessa liikkeessä, jonka
  vuoksi oli jäädä ilman viisumia
• Minskyn työtoveri MITssä

Seymour Papert MIT
22
-Minsky ja Papert alkoivat kirjoittaa kirjaa
perceptroneista, selvittääkseen mitä niillä
oikeastaan voitiin tehdä -Yksikerroksinen
perceptron kykenee tunnistamaan vain
lineaarisesti erottuvan funktion -XOR oli
yksikerroksiselle perceptronille liian
vaikea -Kerroksia lisäämällä ongelma ratkeaisi,
mutta ei ollut olemassa mitään keinoa
välikerroksen opettamiseen
A)Lineaarisesti erottuva B)Lineaarisesti
erottumaton Bri
23
-Minsky ja Papert totesivat perceptronien
rajoituksista vähemmän kauniiseen sävyyn mm.
näin Appalled by the persistent influence of
perceptrons (and similar ways of thinking) on
practical pattern recognition, we determined to
set out our work as a book. Perceptrons have
been widely publicized as pattern recognition
or learning machines and as such have been
discussed in a large number of books, journal
articles, and voluminous reports. Most of this
writing is without scientific value and we will
not refer by name to the works we criticize.
24
-Kirja ajoi neuroverkkotutkimuksen kriisiin yli
kymmeneksi vuodeksi -Tutkimus neuroverkkojen
ympärillä kuitenkin jatkui vaikkakin
pienimuotoisempana ja pääasiassa muualla
maailmassa -Teuvo Kohosen itseorganisoituvat
kartat 70-luvulta
The bloody work was done by two staunch
followers of the artificial sister, Marvin Minksy
and Seymour Papert, cast in the role of the
huntsmen sent to slay Snow White and bring back
her heart as proof of the deed. Their weapon was
not the dagger but the mightier pen, from which
came a book - Perceptrons - purporting to prove
that neural nets could never fill their promise
of building models of mind only computer
programs could do this. Victory seemed assured
for the artificial sister. And indeed, for the
next decade all the rewards of the kingdom came
to her progeny, of which the family of expert
systems did best in fame and fortune...
25
4. Virkoaminen
26
...But Snow White was not dead. What Minsky and
Papert had shown the world as proof was not the
heart of the princess it was the heart of a
pig. -Seymour Papert, 1988
27
-Vuonna 1982 fyysikko John Hopfield esitti uuden
neuroverkkomallin, Hopfield-verkon, jossa
kytkennät olivat kaksisuuntaisia -Hopfield
analysoi verkkonsa tallentamiskykyä tilastollisen
mekaniikan keinoin ja käsitteli neuroneita ikään
kuin atomeina -Hopfieldin verkko toimi kykeni
toimimaan assosiatiivisena muistina ja
tallentamaan luotettavasti 0.138N
harjoitusesimerkkiä, missä N on verkon neuronien
määrä
Esimerkki Hopfield-verkosta. Kaikki neuronit
toimivat sekä tulo, että lähtökerroksena Soja
28
-Toinen neuroverkkojen uuteen nousuun vaikuttanut
tekijä on takaisinkytkentäalgoritmin(back-propagat
ion) keksiminen uudelleen -Algoritmi mahdollisti
piilotettujen kerrosten opettamisen, ongelman,
johon Minskyllä ja Papertilla ei ollut kirjassaan
ratkaisua -Ironista kyllä, ensimmäisen kerran
algoritmin keksivät Bryson Ho jo vuonna 1969,
mutta se unohdettiin, koska sen ajan tietokoneet
eivät olleet sille tarpeeksi tehokkaita
Esimerkki takaisinkytkentäalgoritmista Ilie
29
Kaksikerroksinen verkko, jossa on riittävästi
piilokerroksen neuroneita voi oppia minkä tahansa
polynomisen funktion Kolmekerroksinen verkko voi
oppia minkä tahansa funktion
30
Käyttökohteita Puheentunnistus,
tekstintunnistus, ohjaaminen, tietokonepelit
jne. Haittoja Vaikea suunnitella, hidas
opettaa, vaikea ymmärtää
31
Kuvalähteet Bri A Brief History of
Connectionism http//www.soe.ucsc.edu/NCS/ Bul
l Introduction to Neural Networks
http//www.cs.bham.ac.uk/jxb/NN/l2.pdf Este
http//ei.cs.vt.edu/history/Perceptrons.Estebon.h
tml Ilie http//www.cs.concordia.ca/comp473_
2/fall2005/INTRO05.pdf McCor79 Pamela
McCorduck, Machines who Think MIT
http//web.media.mit.edu/papert/ Neg
Negnevitsky, M., Artificial intelligence A guide
to intelligent systems Nobel06a
http//nobelprize.org/medicine/laureates/1906/golg
i-bio.html Nobel06b http//nobelprize.org/med
icine/laureates/1906/cajal-bio.html Soja
http//www.sojamo.de/iv/index.php?n10ci003-04
Tur http//www.cs.usfca.edu/www.AlanTuring.net
/turing_archive/ pages/Reference20Articles/wha
t_is_AI/What20is20AI10.html