Neuronové sítě

Neuronové sítě
Co jsou neuronové sítě ?
●
●
●
Umělé neuronové sítě, simulované
neuronové sítě
Skupiny navzájem propojených umělých
neuronů používajících matematické a
výpočetní modely při zpracování informací
Ve většině případů se jedná o adaptivní
systém, který mění svou strukturu
Inspirace v reálném světě
Historie
●
1943 – Waren Mc Culloch a Walter Pitts
definují matematický model neuronu
vstupy
x1
aktivační
funkce
wj1
wj2
∑ wijxi + Θj
i
x2
f
výstup
wjn
xn
synaptické
váhy
Θj práh
yj
Historie
●
●
●
●
1949 – Donald Hebb představuje hypotézu
mechanismu neurální plasticity
Nejjednodušší mechanismus pro změnu vah
mezi neurony
V současnosti je termín Hebbianské učení
chápán jako matematická abstrakce
Ověřeno v biologických systémech
Historie
●
●
●
●
1958 – Frank Rosenblat – perceptron
Vstup je mapován na výstup funkcí
f(x)=<w,x> + b
Perceptron je typ binárního klasifikátoru
Zpracovává lineárně separovatelné problémy
Historie
●
1969 – Minski a Papert publikují matematický
dokazují neschopnost třívrstvé sítě naučit se
XOR, předkládají názor, že ani vícevrstvé
sítě tuto operaci nedokáží.
Historie
●
●
●
●
1982 – Hopfieldovy sítě se schopností
obousměrného toku (sítě jsou binární a
symetrické)
1986 – Rumelhart, Le Cun – algoritmus BPG
(backpropagation)
Učení je realizováno zpětným šířením chyby
Současnost - neuročipy, neuropočítače
Učení
●
●
●
S učitelem
Je dána trénovací množina, síť je
přizpůsobovaná podle výsledku
Bez učitele = ?
BPG - backpropagation
●
●
●
●
●
●
Předání trénovacího vzorku síti
Porovnat výstup s očekávaným výstupem,
spočítat chybu každého výstupního neuronu
Pro každý neuron spočítat jaký měl být
výstup, určit scaling factor; lokální chybu
Přizpůsobit váhy neuronů pro snížení lokální
chyby
„Obvinit“ neurony v předchozí vrstvě
Opakovat předchozí kroky s „obviněnými“
neurony
BPG - backpropagation
BPG - backpropagation
Unsupervised learning
Učení bez učitele
●
Unsupervised learning is a method of
machine learning where a model is fit to
observations. It is distinguished from
supervised learning by the fact that there is
not a priori output. In unsupervised learning,
a data set of input objects is gathered.
Unsupervised learning then typically treats
input objects as a set of random variables. A
joint density model is then built for the data
set.
Wikipedia.org: Unsupervised learning
Kohenovy sítě
●
●
●
●
Samoorganizující se sítě (SOM, bez učitele)
Vychází z poznatku, že mozek používá pro
uchování informace vnitřní prostorovou
reprezentaci
Založeno na schopnosti rozeznat podobnosti
v referenčních vektorech a třídit vstupní
vektory podle nich
Často se používají pro vizualizaci
Použití
●
●
●
●
●
Aproximace funkcí
Predikce
Klasifikace
Filtrování
Komprese
Výhody
●
●
●
Schopnost učit se a adaptovat
Schopnost generalizace
Získávání znalosti pomocí množiny vzorů,
bez nutnosti získání znalostní explicitně
Nevýhody
●
●
●
Velikost
Složitost
Doba trénování
Zdroje
●
●
Wikipedia.org
Doc.Ing. J. Tučková, CSc. - Úvod do
problematiky umělých neuronových sítí