Vícevrstvá neuronová sít` jako univerzální aproximátor

UMĚLÁ INTELIGENCE
658
A U T O M A T I Z A C E
•
R O Č N Í K
5 2
Vícevrstvá neuronová sít’ jako
univerzální aproximátor
•
Č Í S L O
1 1
•
L I S T O P A D
2 0 0 9
přiřazené spojení mezi daným neuronem
a fiktivním neuronem, jehož aktivace je vždy
1. Mezi dvěma sousedními vrstvami neuronů
nastává tzv. úplné propojení neuronů, kdy
každý neuron nižší vrstvy je spojen se všemi
neurony vrstvy vyšší.
Adaptace vícevrstvé neuronové sítě
V současnosti patří neuronové sítě mezi
významnou část počítačově orientované
umělé inteligence, kde zaujaly postavení
univerzálního matematicko-informatického
přístupu ke studiu a modelování procesů
učení. Kromě umělé inteligence mají neuronové sítě nezastupitelné uplatnění také
v kognitivní vědě, lingvistice, neurovědě,
řízení procesů, přírodních a společenských
vědách, kde se pomocí nich modelují nejen
procesy učení a adaptace, ale i široké spektrum různých problémů klasifikace objektů
a také problémů řízení složitých průmyslových systémů. Neuronové sítě lze proto
použít na řešení velkého množství úloh
z oblastí klasifikace, predikce, optimalizace
apod. Z matematického hlediska je možné
tyto činnosti nazývat aproximací funkce [1]
a především vícevrstvé neuronové sítě
s dopředným šířením jsou nejčastěji používané jako univerzální prostředek pro klasifikaci a predikci. V článku se nejprve seznámíme s tímto nejrozšířenějším modelem
umělých neuronových sítí, především se
však budeme věnovat možností jejich použití jako univerzálního klasifikátoru.
Historické souvislosti
Za počátek vzniku oboru neuronových
sítí je považována práce Warrena
McCullocha a Waltera Pittse z roku 1943,
kteří vytvořili velmi jednoduchý matematický model neuronu. Číselné hodnoty parametrů v tomto modelu byly převážně bipolární,
tj. z množiny {– 1, 0, +1}. Ukázali, že nejjednodušší typy neuronových sítí mohou
v principu realizovat libovolnou aritmetickou nebo logickou funkcí. Ačkoliv nepočítali s možností bezprostředního praktického
využití svého modelu, jejich článek měl
velký vliv na ostatní badatele. V roce 1957
Frank Rosenblatt vytvořil tzv. perceptron,
který je zobecněním McCullochova
a Pittsova modelu neuronu pro reálný číselný
obor parametrů. Pro tento model navrhl učicí
algoritmus, o kterém matematicky dokázal,
že pro daná tréninková data nalezne po
konečném počtu kroků odpovídající váhový
vektor parametrů (pokud existuje) nezávisle
na jeho počátečním nastavení. Přes nesporné
úspěchy dosažené v tomto počátečním období se obor neuronových sítí potýkal se dvěma
problémy [4]. Za prvé, většina badatelů přistupovala k neuronovým sítím z experimentálního hlediska a zanedbávala analy-
tický výzkum neuronových modelů. Za druhé, nadšení některých výzkumných pracovníků vedlo k velké publicitě neopodstatněných prohlášení (např. za několik málo let
bude vyvinut umělý mozek). Tyto skutečnosti diskreditovaly neuronové sítě v očích
odborníků z jiných oblastí a odradily vědce
a inženýry, kteří se o neurovýpočty zajímali.
Navíc se samostatný obor neuronových sítí
vyčerpal a další krok v této oblasti již požadoval radikálně nové myšlenky a postupy.
Omezení, že jeden perceptron nemůže počítat jednoduchou logickou funkci, tzv. vylučovací disjunkci (XOR), bylo považováno za
vážný nedostatek neuronových sítí. Tento
problém bylo možné sice vyřešit vytvořením
dvouvrstvé sítě se třemi neurony, ale pro
vícevrstvý perceptron nebyl v té době znám
učící algoritmus. Nebylo jasné, jak adaptovat
váhové koeficienty, které jsou přiřazené neuronům ze skryté vrstvy. Až v roce 1987
Rumelhart se spolupracovníky [7] navrhli
jednoduchý gradientní algoritmus (backpropagation) adaptace vícevrstvých neuronových sítí s dopředným šířením signálu. Tento
algoritmus je doposud nejpoužívanější učicí
metodou neuronových sítí a jeho publikováním dosáhl zájem o neuronové sítě svého
vrcholu. Tímto se vícevrstvé neuronové sítě
staly velmi populární a dodnes patří mezi
univerzální přístupy teorie neuronových sítí
se širokou paletou aplikací v různých oblastech informatiky a přírodních věd. Navíc
bylo dokázáno, že neuronové sítě tohoto typu
jsou univerzálním aproximátorem, tj. jsou
schopné aproximovat s požadovanou přesností libovolnou spojitou funkci, čímž
mohou být chápány také jako univerzální
prostředek pro regresní analýzu, kde je tvar
funkce určený konfigurací neuronové sítě.
Pod pojmem konfigurace neuronové sítě
máme na mysli nejen topologii vzájemného
propojení neuronů, ale také nastavení váhových a prahových koeficientů na těchto spojeních na určité hodnoty.
Topologie vícevrstvé neuronové sítě
Vícevrstvá neuronová síť je tvořena minimálně třemi vrstvami neuronů: vstupní (neurony jsou označeny Xi, i = 1, ..., n), výstupní
(neurony jsou označeny Yk, k = 1, ..., m)
a alespoň jednou vnitřní vrstvou (neurony
jsou označeny Zj, j = 1, ..., p). Neurony ve
výstupní a vnitřní vrstvě mají definovaný
práh (bias), jež odpovídá váhové hodnotě
Co je nutné k naučení neuronové sítě? Je
to jednak tzv. trénovací množina obsahující
prvky popisující řešenou problematiku a dále
pak metoda, která dokáže tyto vzory zafixovat v neuronové síti formou hodnot synaptických vah. Zastavme se nejdříve u trénovací
množiny. Každý vzor trénovací množiny
popisuje, jakým způsobem jsou excitovány
neurony vstupní a výstupní vrstvy. Formálně
můžeme za trénovací množinu T považovat
množinu prvků (vzorů), které jsou definovány uspořádanými dvojicemi [4] následujícím
způsobem
T=
{ (x t )
k, k
x k ∈ { 0, 1 } ,
n
}
t k ∈ { 0, 1 } , k = 1, L q
m
(I)
kde q počet vzorů trénovací množiny, xk vektor excitací vstupní vrstvy tvořené n neurony
tk vektor excitací výstupní vrstvy tvořené m
neurony.
Nejrozšířenějším adaptačním algoritmem
vícevrstvých neuronových sítí je metoda
backpropagation, jež umožňuje adaptaci neuronové sítě nad danou trénovací množinou.
Samotný algoritmus obsahuje tři etapy:
dopředné (feedforward) šíření vstupního signálu, zpětné šíření chyby a aktualizace váhových hodnot na spojeních. Během dopředného
šíření signálu obdrží každý neuron ve vstupní
vrstvě vstupní signál (xi) a zprostředkuje jeho
přenos ke všem neuronům vnitřní vrstvy.
Každý neuron ve vnitřní vrstvě vypočítá svou
aktivaci (zj) a pošle tento signál všem neuronům ve výstupní vrstvě. Každý neuron ve
výstupní vrstvě vypočítá svou aktivaci (yk),
která odpovídá jeho skutečnému výstupu ktého neuronu po předložení vstupního vzoru.
V podstatě tímto způsobem získáme odezvu
neuronové sítě na vstupní podnět daný excitací neuronů vstupní vrstvy. Takovým způsobem probíhá šíření signálů i v biologickém
systému, kde vstupní vrstva může být tvořena
např. zrakovými buňkami, a ve výstupní
vrstvě mozku jsou pak identifikovány jednotlivé objekty sledování. Otázkou nyní zůstává
to nejdůležitější: jakým způsobem jsou stanoveny synaptické váhy vedoucí ke korektní
odezvě na vstupní signál. Proces stanovení
synaptických vah je spjat s pojmem učení
(adaptace) neuronové sítě.
Na rozdíl od již popsaného dopředného
chodu při šíření signálu neuronové sítě spočívá tato metoda adaptace v opačném šíření
informace směrem od vrstev vyšších
k vrstvám nižším. Během adaptace neuronové sítě metodou backpropagation jsou srov-
UMĚLÁ INTELIGENCE
A U T O M A T I Z A C E
•
R O Č N Í K
5 2
návány vypočítané aktivace yk s definovanými výstupními hodnotami tk pro každý neuron ve výstupní vrstvě a pro každý
vzor trénovací množiny. Na základě tohoto
srovnání je definována chyba neuronové sítě,
pro kterou je vypočítán faktor δk
(k = 1, ..., m), jenž odpovídá části chyby, která se šíří zpětně z neuronu Yk ke všem neuronům předcházející vrstvy majícím s tímto
neuronem definovaná spojení. Podobně lze
definovat i faktor δj (j = 1, ..., p), který je částí chyby šířené zpětně zronu Zj ke všem neuronům vstupní vrstvy, jež mají s tímto neuronem definovaná spojení. Úprava váhových
hodnot wjk na spojeních mezi neurony vnitřní a výstupní vrstvy závisí na faktoru δk
a aktivacích zj neuronů Zj ve vnitřní vrstvě.
Úprava váhových hodnot vij na spojeních
mezi neurony vstupní a vnitřní vrstvy závisí
na faktoru δj a aktivacích xi neuronů Xi ve
vstupní vrstvě. Aktivační funkce f pro neuronové sítě s adaptační metodou backpropagation musí mít následující vlastnosti: musí být
spojitá, diferencovatelná a monotónně neklesající. Nejčastěji používanou aktivační funkcí je proto standardní sigmoida a hyperbolický tangens [3 a 4].
Chyba sítě E(w) je definována jako součet parciálních chyb sítě El(w) vzhledem
k jednotlivým vzorům trénovací množiny
a závisí na konfiguraci sítě w jako
q
E (w ) = ∑ El (w )
(II)
l =1
Parciální chyba El(w) sítě pro l-tý tréninkový vzor (l = 1, ..., q) je úměrná součtu
mocnin odchylek skutečných hodnot výstupu
sítě pro vstup l-tého vzoru trénovací množiny od požadovaných hodnot výstupů
u tohoto vzoru jako
1
2
(III)
( yk − t k )
∑
2 k∈Y
Cílem adaptace je minimalizace chyby
sítě ve váhovém prostoru. Vzhledem k tomu,
že chyba sítě přímo závisí na komplikované
nelineární složené funkci vícevrstvé sítě,
znamená tento cíl netriviální optimalizační
problém.
Pro jeho řešení představuje v základním
modelu metoda backpropagation nejjednodušší variantu gradientní metody. Chybová
funkce určuje chybu sítě vzhledem
k trénovací množině v závislosti na konfiguraci sítě. Při adaptaci sítě hledáme takovou
konfiguraci, pro kterou je chybová funkce
minimální. Začneme s náhodně zvolenou
(0)
konfigurací w , kdy zřejmě bude odpovídající chyba sítě od požadované funkce velká.
V analogii s lidským učením to odpovídá
počátečnímu nastavení synaptických vah
u novorozence, který místo požadovaného
chování jako chůze, řeč apod. provádí náhodné pohyby a vydává neurčité zvuky. Při
(0)
adaptaci sestrojíme v tomto bodě w ke grafu chybové funkce tečný vektor (gradient)
El (w ) =
•
Č Í S L O
∂E
w ( 0)
∂w
(
1 1
•
)
L I S T O P A D
(IV)
a posuneme se ve směru tohoto vektoru dolů
o krok ε. Pro dostatečně malé ε tak získáme
(1)
(0)
(1)
novou konfiguraci w = w + ∆w , pro
kterou je chybová funkce menší než pro
(0)
(0)
původní konfiguraci w , tj. E (w ) ≥ E
(1)
(w ). Celý proces konstrukce tečného vek(1)
toru opakujeme pro w a získáme tak
(2)
(1)
(2)
w takové, že E (w ) ≥ E (w ) atd., až
se limitně dostaneme do lokálního minima
chybové funkce. Tato metoda vždy konverguje k nějakému lokálnímu minimu
z libovolné počáteční konfigurace, není však
zaručeno, že se tak stane v reálném čase.
Obvykle je tento proces časově velmi náročný i pro malé topologie vícevrstvé sítě
(desítky neuronů).
Hlavním problémem gradientní metody
je, že nemůžeme stanovit, zda je nalezené
minimum globální. Uvedený postup adaptace
se v takovémto minimu zastaví (nulový gradient) a chyba sítě se již dále nesnižuje. To lze
v analogii s učením člověka interpretovat tak,
že počáteční nastavení konfigurace v okolí
nějakého minima chybové funkce určuje
možnosti jedince se učit. „Inteligentnější
lidé“ začínají svou adaptaci v blízkosti hlubších minim. I zde bývá chybová funkce definovaná relativně vzhledem k požadovanému
„inteligentnímu“ chování (tréninková množina), které však nemusí být univerzálně platné,
neboť hodnotu člověka nelze měřit žádnou
chybovou funkcí. Elektrické šoky aplikované
v psychiatrických léčebnách připomínají
některé metody adaptace neuronových sítí,
které v případě, že se učení zastavilo
v mělkém lokálním minimu chybové funkce,
náhodně vnáší šum do konfigurace sítě, aby
se síť dostala z oblastí abstrakce tohoto lokálního minima a mohla popř. konvergovat
k hlubšímu minimu.
Nyní již můžeme přistoupit k popisu
adaptačního algoritmu backpropagation [3]:
Krok 0. Váhové hodnoty a práh jsou inicializovány malými náhodnými čísly.
Přiřazení inicializační hodnoty koeficientu
učení α.
Krok 1. Dokud není splněna podmínka
ukončení výpočtu, opakovat kroky (2–9).
Krok 2. Pro každý pár vektorů trénovací
množiny s:t provádět kroky (3–8).
Feedforward:
Krok 3. Aktivovat vstupní neurony (Xi, i =
1, ... n) xi = si.
Krok 4. Vypočítat vstupní hodnoty vnitřních neuronů: (Zj, j = 1, ..., p):
n
z _ in j = v0 j + ∑ xi vi j
i =1
659
2 0 0 9
(V)
Stanovení výstupních hodnot vnitřních neuronů zj = f(z_inj).
Krok 5. Stanovení skutečných výstupních
hodnot neuronové sítě (Yk, k = 1, ..., m):
y _ ink = w0 k +
p
∑zw
j =1
j
jk
yk = f ( y _ ink )
,
(VI)
Backpropagation:
Krok 6. Ke každému neuronu ve výstupní
vrstvě (Yk, k = 1, ..., m) je z trénovací množiny přiřazena hodnota očekávaného výstupu.
Dále je vypočteno
δ k = ( tk − yk ) f ′ ( y _ ink )
(VII)
které je součástí váhové korekce ∆wjk = αδkzj
i korekce prahu ∆w0k = αδk.
Krok 7. Ke každému neuronu ve vnitřní
vrstvě (Zj, j = 1, ..., p) je přiřazena sumace
jeho „delta“ vstupů (tj. z neuronů, které se
nacházejí v následující vrstvě)
m
δ _ in j = ∑ δ k w j k
(VIII)
k =1
Vynásobením získaných hodnot derivací
jejich aktivační funkce obdržíme
δ j = δ _ in j f ′ ( z _ in j )
(IX)
které je součástí váhové korekce ∆vij =
αδjxi i korekce prahu ∆v0j = αδj.
Aktualizace vah a prahů:
Krok 8. Každý neuron ve výstupní vrstvě
(Yk, k = 1, ..., m) aktualizuje na svých spojeních váhové hodnoty včetně svého prahu (j =
0, ..., p):
wjk (new) = wjk (old) + ∆wjk.
Každý neuron ve vnitřní vrstvě (Zj, j =
1, ..., p) aktualizuje na svých spojeních váhové hodnoty včetně svého prahu (i = 0, ..., n)
vij (new) = vij (old) + ∆vij.
Krok 9. Podmínka ukončení: Pokud již
nenastávají žádné změny váhových hodnot
nebo pokud již bylo vykonáno maximálně
definované množství váhových změn, stop;
jinak, pokračovat.
Ačkoli vlastní popis učícího algoritmu
backpropagation je formulován pro klasický
von neumannovský model počítače, přesto je
zřejmé, že jej lze implementovat distribuovaně, neboť výpočet sítě při zpětném chodu
probíhá sekvenčně po vrstvách, přičemž
v rámci jedné vrstvy může probíhat paralelně. Odvození adaptačního pravidla standardní metody backpropagation je uvedeno např.
v [3].
Dopředná třívrstvá neuronová síť jako
univerzální aproximátor
Nyní budeme studovat důležitou otázku
teorie dopředných třívrstvých neuronových
sítí, kdy se ptáme zda existuje taková síť, aby
n
libovolná funkce ϕ : R →(0,1) zadaná trénovací množinou, byla aproximovaná
s požadovanou přesností. Německý matema-
UMĚLÁ INTELIGENCE
660
A U T O M A T I Z A C E
tik David Hilbert v roce 1900 na
Matematickém kongrese konaném v Paříži
formuloval 23 problémů, které pokládal za
velmi důležité pro budoucí vývoj matematiky. Třináctý problém se týkal nemožnosti
obecně řešit rovnice 7. řádu složením spojitých funkcí s jednou a/nebo dvěma proměnnými. Abychom tento problém vyřešili, tak
7
musíme dokázat, že rovnice sedmého řádu x
3
2
+ ax + bx + cx + 1 = 0 nemůže být řešená
použitím funkcí s jednou a/nebo dvěma proměnnými. Avšak v roce 1957 ruský matematik Andrej N. Kolmogorov dokázal, že každá
spojitá funkce n proměnných může být vyjádřená pomocí konečné kompozice funkcí
s jednou proměnnou. Tento výsledek použil
americký informatik Hecht-Nielsen a publikoval významnou práci [5], kde poukázal
na formální podobnost mezi třívrstvovou
dopřednou neuronovou sítí a Kolmogorou
větou. Rakouský matematik a statistik Kurt
Hornik se svými spolupracovníky pak dokázal [6], že libovolná spojitá funkce může být
s požadovanou přesností aproximovaná
pomocí třívrstvé neuronové sítě (s jednou
vrstvou skrytých neuronů), kde aktivační
funkcí neuronů ve skryté a výstupní vrstvě je
standardní sigmoida. Věnujme nyní pozornost následující větě.
n
Věta: Nechť ϕ : R →(0,1) je spojitá
funkce a nechť f : R →(0,1) je spojitá, ohraničená a monotónní funkce. Potom pro každou přesnost (reprezentovanou malým kladným číslem ε > 0) existuje takové celé číslo
p a taková reálná čísla w0, wj, v0j, vij (pro j =
1, 2, ..., p, a i = 1, 2, ..., n), že formule
⎛ n
⎞
z j = f ⎜ ∑ vij xi + v0 j ⎟
(XI)
⎝ i =1
⎠
Třetí vrstva obsahuje pouze jeden výstupní neuron, který realizuje transformaci vážené sumace aktivit skrytých neuronů pomocí
aktivační funkce f jako
⎞
⎛ p
y = f ⎜ ∑ w j z j + w0 ⎟
(XII)
⎝ j =1
⎠
Vidíme, že interpretace uvedené věty je
ekvivalentní s třívrstvou neuronovou sítí
s dopředným šířením signálu. Podmínky pro
aktivační funkci f, které ji specifikují jako
spojitou, ohraničenou a monotónní jsou automaticky splněné pro aktivační funkci typu
standardní sigmoida, potom funkce F musí
být specifikována jako zobrazení
( x1 , x2 ,..., xn ) =
⎛ p
⎞
⎛ n
⎞
= f ⎜ ∑ w j f ⎜ ∑ vij xi + v0 j ⎟ + w0 ⎟
(X)
⎝ i =1
⎠
⎝ j =1
⎠
aproximuje funkci ϕ, tj. | F(x) – ϕ(x)| < ε,
n
pro každé x ∈ R .
Tato věta, jejíž důkaz je uveden např.
v [2], může být jednoduše interpretovaná
pomocí třívrstvé neuronové sítě. Síť obsahuje tři vrstvy neuronů. První vrstva obsahuje
vstupní neurony, které jen kopírují externí
vstupní aktivity x1, x2, ..., xn. Druhá vrstva
obsahuje p skrytých neuronů, které zpracovávají váženou sumaci vstupních aktivit
pomocí aktivační funkce f jako
•
R O Č N Í K
5 2
•
n
F : R →(0,1).
Uvedená věta o univerzálnosti třívrstvé
neuronové sítě s dopředným šířením signálu
má existenční charakter, tj. garantuje existenci
takové
neuronové
sítě,
která
s požadovanou přesností aproximuje funkci
F. Neposkytuje však již návod, jak takovouto
neuronovou síť navrhnout, aby aproximovala funkci F specifikovanou pomocí trénovací
množiny. Je již ponechané na řešiteli, aby
vhodnými technikami takovouto síť navrhnul, což je obecně netriviální problém.
Neuronové sítě však mají i nesčetné další
možnosti použití. Původním cílem jejich
výzkumu byla snaha pochopit a modelovat
způsob, jakým myslíme a způsob, jak funguje lidský mozek. Při vytváření modelů umělých neuronových sítí nám nejde o vytvoření
identických kopií lidského mozku, ale napodobujeme zde pouze některé jeho základní
funkce. Neurofyziologie tu slouží jen jako
zdroj inspirací a navržené modely umělých
neuronových sítí jsou dále rozvíjeny bez
ohledu na to, zda modelují lidský mozek, či
nikoliv. Nejvýznamnější oblasti použití umělých neuronových sítí jsou následující [4]:
rozpoznávání obrazců, řízení složitých zařízení v dynamicky se měnících podmínkách,
predikce a následné rozhodování, analýza
a transformace signálů, komprese dat,
expertní systémy a další. Nejrozšířenějším
modelem z hlediska použití jsou především
vícevrstvé neuronové sítě s adaptačním algo-
Č Í S L O
1 1
TAURID Ostrava s.r.o.
www.taurid.cz
We implement
control
for industrial
processes
2 0 0 9
L I T E R AT U R A
[1] ZELINKA, I., Umělá inteligence
I. Neuronové sítě a genetické
algoritmy. Brno : VITIUM, 1998.
[2] KVASNIČKA, V., BEŇUŠKOVÁ, L.,
POSPÍCHAL, J., FARKAŠ, I., TIŇO, P.,
KRÁĽ, A., Úvod do teórie neurónových
sietí. Bratislava : IRIS, 1997.
[3] FAUSETT, L. V., Fundamentals of
Neural Networks. New Jersey :
Prentice-Hall, Inc., Englewood Cliffs,
1994.
[4] ŠÍMA, J., NERUDA, J., Teoretické otázky neuronových sítí. Praha :
Matfyzpress, 1996.
[5] HECHT-NIELSEN, R., Kolmogorov’s
mapping neural network existence
theorem. In Proceeding of the
International Conference on Neural
Networks, vol. 3. IEEE Press, New
York, 1984, pp. 11–14.
[6] HORNIK, K., STINCHCOMBE, M.,
WHITE, H., Multilayer feedforward
networks are universal approximators.
Neural Networks, 2 (1989),
pp. 359–366.
[7] RUMELHART, D. E., HINTON, G. E.,
WILIAMS, R. J., Learning internal
representation by error propagation. In:
D.E. Rumelhart, J.L. McClelland, and
PDP Research Group. Parallel
Distributed Processing. Explorations
in the Microstructure of Cognition.
Vol 1: Foundation. The MIT Press,
Cambridge, MA, 1987, pp. 318–362.
TRANSPORT A ZPRACOVÁNÍ
TRANSPORT AND PROCESSING OF
POLOTOVARŮ SEMI-PRODUCTS
dopravníky, manipulátory, zdviže, zakladače, paletizátory
ohřev lázní, chlazení, sušení, řezání polotovarů
navažování, míchání
analýza a simulace výrobních systémů
diskrétní a kontinuální výroba
L I S T O P A D
ritmem zpětného šíření chyby, jež jsou
používány v přibližně 80 % všech aplikací
umělých neuronových sítí.
doc. RNDr. PaedDr. Eva Volná, Ph.D.
PřF, Ostravská univerzita v Ostravě,
Ostrava
I N Z E R C E
Realizujeme
řízení
výrobních
procesů
•