Reprezentacja wiedzy w jednokierunkowych sieciach neuronowych

1
Reprezentacja wiedzy w jednokierunkowych
sieciach neuronowych

• Inteligentne Systemy Informacyjne
• Jacek Lewandowski

2
Siec neuronowa widziana z zewnatrz
Dzialanie sieci neuronowej polega na klasyfikacji
wzorców
3
Sygnaly wejsciowe i wyjsciowe

• Sygnaly wejsciowe moga byc binarne lub
  rzeczywiste nie ma to wiekszego znaczenia
• Sygnaly wyjsciowe równiez moga byc binarne lub
  rzeczywiste tutaj jednak ma to istotne znaczenie

4
Sztuczny neuron
5
Sztuczny neuron

• Pojedynczy neuron z dwoma
• wejsciami (X, Y)
• Klasyfikacja punktów do jednej z
• dwóch klas
• Ograniczenia takiego neuronu
• Tylko liniowa separacja
• Brak wartosci posrednich
• Tylko dwie klasy
• Mechanizm inferencyjny
• - Neuron sie uczy gdzie postawic granice
• na podstawie przykladów
• - Jesli klika punktów wokól danego punktu
• nalezy do pewnej klasy, to dany punkt tez
• do niej nalezy
• - Inteligencja neuronu lezy w uogólnianiu

6
Rodzaje funkcji aktywacji
Skokowa y 0, dla x lt a y 1, dla x gt
a Ostre rozdzielenie na dwie pólprzestrzenie
Liniowa y ax b Przeksztalcenie liniowe
Sigmoidalna y 1 / (1 exp(-ax)) Gladkie
rozdzielenie na dwie pólprzestrzenie
7
Ograniczenia sztucznego neuronu
I co teraz ?
Nie wystarczy jeden neuron Nie wystarcza dwa
neurony Nie wystarczy jedna warstwa
8
Ograniczenia sztucznego neuronu
u
1
0
v
1
0
Majac dwie warstwy mozna rozwiazac problem XOR
Analizujac siec neuronowa mozna sie dowiedziec
dlaczego podjela jakas decyzje
9
Ile warstw ?
Dwie warstwy Jednospójne obszary wypukle
Trzy i wiecej warstw Dowolne obszary
Jedna warstwa Tylko pólprzestrzenie, rozdzielone
hiperplaszczyzna
10
Jakosc wnioskowania

• Najwazniejsza jest struktura sieci neuronowej
  taka, aby mozliwe bylo jej nauczenie
• Bardzo wazna jest równiez pojemnosc sieci,
  zwiazana z liczba neuronów i polaczen
• Istotny jest takze proces uczenia

11
Pojemnosc sieci
Po co sie meczyc z odpowiednim doborem minimalnej
liczby neuronów i prawidlowym ich nauczeniu ?
Im wiecej neuronów w stosunku do ilosci danych
uczacych, tym mniejsza zdolnosc do uogólniania !
12
Inne problemy
Sieci neuronowe radialne (RBF)
13
Sieci neuronowe moga uczyc sie same
14
Sieci neuronowe maja marzenia
15
Sieci neuronowe maja marzenia
16
Rodzaje sieci neuronowych

• Sieci neuronowe feed-forward
• Perceptron jednowarstwowy (Single-layer
  Perceptron)
• Perceptron wielowarstwowy (Multi-layer
  Perceptron)
• ADALINE
• Sieci o radialnych funkcjach bazowych (RBF Radial
  Basis Function)
• Sieci Kohonena - samoorganizujace sie mapy (SOM
  Self-Organizing Map)
• Sieci neuronowe rekurencyjne
• Prosta siec rekurencyjna - siec Elmana (SRN
  Simple Recurrent Network)
• Siec Hopfielda (Hopfield Network)
• Siec BAM (Bidirectional Associative Memory)
• Siec Hamminga

17
Rodzaje sieci neuronowych

• Stochastyczne sieci neuronowe
• Maszyna Boltzmanna (Boltzmann Machine)
• Modularne sieci neuronowe
• Komitet maszyn (CoM Commitee of machines)
• Skojarzeniowa siec neuronowa (ASNN Associative
  Neural Network)
• Sieci rezonansowe
• ART 1
• ART 2

18
Rodzaje sieci neuronowych

• Inne rodzaje sieci neuronowych
• Sieci momentalnie uczace sie (ITNN
  Instantaneously trained neural networks)
• Sieci neuronowe z neuronami impulsujacymi (SNN
  Spiking Neural Networks)
• Dynamiczne sieci neuronowe (Dynamic Neural
  Networks)
• Kaskadowe sieci neuronowe (Cascade-Correlation)
• Rozmyte sieci neuronowe (Neuro-fuzzy networks)
• Sieci Counter-Propagation

19
Rodzaje uczenia

• Uczenie z nauczycielem (supervised learning)
• Uczenie z krytykiem (reinforcement learning)
• Samouczenie (unsupervised learning)

20
Zastosowania sieci neuronowych

• Aproksymacja funkcji, analiza regresji,
  przewidywanie przebiegów czasowych i modelowanie
• Klasyfikacja, rozpoznawanie wzorców i sekwencji,
  wykrywanie nowych wzorców i sekwencyjne
  podejmowanie decyzji
• Przetwarzanie danych, w tym filtrowanie,
  grupowanie, kompresja

21
Zastosowania sieci neuronowych

• Diagnostyka ukladów elektronicznych
• Badania psychiatryczne
• Prognozy gieldowe
• Prognozowanie sprzedazy
• Poszukiwania ropy naftowej
• Interpretacja badan biologicznych
• Prognozy cen
• Analiza badan medycznych
• Planowanie remontów maszyn
• Planowanie postepów w nauce
• Analiza problemów produkcyjnych
• Optymalizacja dzialalnosci handlowej
• Analiza spektralna
• Optymalizacja utylizacji odpadów
• Dobór surowców
• Selekcja celów sledztwa w kryminalistyce
• Dobór pracowników
• Sterowanie procesów przemyslowych

22
Polskie autorytety
Profesor Ryszard Tadeusiewicz
Profesor Wlodzislaw Duch
23
Zródla i ciekawe linki

• http//en.wikipedia.org, http//pl.wikipedia.org
• http//oen.dydaktyka.agh.edu.pl/dydaktyka/sieci_ne
  uronowe/a_marzenia_w_sn/tadeusiewicz.mpeg
• http//www.jasinski.us/index.php?njako_to_jest_zb
  udowane
• http//www.fizyka.umk.pl/duch/neural.html
• http//winntbg.bg.agh.edu.pl/skrypty/0001/
• Generalnie http//www.google.com
• Neural Networks ? Search

24
Dziekuje za uwage

• Reprezentacja wiedzy w jednokierunkowych
  sieciach neuronowych