C2. Umělé neuronové sítě
3. Asociativní paměti, topologie, klasifikace pamětí, uchovávání a vyvolávání informací, učící
algoritmy, adaptivní resonanční dynamika, heteroasociativní a autoasociatívní sítě,
synchronní a asynchronní sítě, Ljapunovova funkce a funkce energie, Hopfieldův model
sítě.
Asociativní paměti se liší od klasických pamětí, které jsou známy např. z počítačového světa,
např. tím, že místo, kde se informace uloží v paměti, není určeno z venku, ale její zakódování určuje
samotný obsah informace.
Pro označení množiny neuronů používáme pojem pole. Na neuronovou síť se můžeme dívat
jako na pole neuronů, které jsou topologicky seskupeny. Jednotlivé neurony mezi jednotlivými poli
a v rámci polí jsou vzájemně v relaci prostřednictvím synaptických spojení.
Má-li vstupní pole FX celkem n neuronů a výstupní pole FY p neuronů, pak zobrazením vstupu
x1 , x 2 , K , x n do výstupu y1 , y 2 , K , y p je možné definovat závislost f : ℜ n → ℜ p .
Předpokládejme, že všech n neuronů v poli FX je synapticky propojeno se všemi p neurony
v poli FY . Jejich váhy označíme wij , což znamená, že i-tý neuron v poli FX je propojen s j-tým
neuronem v poli FY . Hodnoty synaptických vah mohou být negativní, pozitivní nebo nulové. Je
vhodné tyto synaptické váhy zapsat do matice M stupně n × p , kterou nazveme matici propojení.
Touto maticí je realizována projekce neuronů z pole FX do pole FY . Analogicky s maticí M , která
reprezentuje projekci neuronů z pole FX do pole FY , je maticí N stupně p × n popsána zpětná
synaptická projekce z pole FY do pole FX .
Topologie sítě BAM.
Klasifikace asociativních pamětí:
1.) struktury vazebních matic M a M T
Když matice vah M na synaptickou projekci neuronů z pole FX do pole FY má stejnou
strukturu jako matice vah N na zpětnou synaptickou projekci neuronů z pole FY do pole FX ,
pak mluvíme o dvojsměrných (bidirectional) sítích (jde v podstatě o dvojvrstvou síť se zpětnou
vazbou nebo se zpětným šířením signálů). Jestliže aktivační dynamika neuronů v polích FX a
FY vede ke stabilnímu chování sítě, pak se tyto sítě nazývají dvojsměrné asociativní paměti
(BAM). BAM uchovává asociace mezi dvěma informacemi X a Y.
Specifickým případem BAM sítě je jednorozměrná síť. Jednorozměrná síť vznikne z BAM
sítě, jestliže obě dvě pole neuronů vzájemně splynou. Tak vznikne jedno pole neuronů, které
jsou propojeny samy se sebou. Matice synaptických propojení je čtvercová.
Zatímco BAM je heteroasociativní síť, po splynutí do jednoho pole vznikne autoasociativní
síť.
2.) aktivační funkce neuronu
Sítě, jejichž aktivační funkce neuronů jsou dány výrazy (3.1) – (3.4) se nazývají
dvouhodnotové asociativní paměti (výstupy neuronů mohou nabývat jen dvou hodnot: +1,
pokud je neuron aktivní; 0 nebo -1, pokud není neuron aktivní).
C2-3
1/4
C2. Umělé neuronové sítě
Podle používaných aktivačních funkcí neuronů se klasifikují systémy asociativních pamětí
na systémy s binární – (3.1), (3.2) – nebo bipolární – (3.3), (3.4) – prahovou funkcí.
1
1
, pro xik > Θ
, pro xik > Θ


Oi xik = Oi xik −1 , pro xik = Θ (3.1)
Oi xik = Oi xik −1 , pro xik = Θ
(3.3)
k
k
0

, pro xi < Θ
, pro xi < Θ

− 1
( )
( )
Oi y kj
( )
1

= O j y kj −1
0

(
( )
)
, pro y kj > Θ
, pro y kj = Θ
, pro y kj < Θ
( )
Oi y kj
(3.2)
( )
1

= O j y kj −1
− 1

(
)
, pro y kj > Θ
, pro y kj = Θ
, pro y kj < Θ
(3.4)
Oi (xik ) ... binární aktivační funkce i-tého neuronu v určitém časovém okamžiku k vrstvy FX
( )
O j y kj ... binární aktivační funkce j-tého neuronu v určitém časovém okamžiku k vrstvy FY
Θ ... prahové hodnoty (nejčastěji rovny 0)
3.) dynamiky aktivace neuronů
Neurony mohou aktivovat moje hodnoty v čase synchronně nebo asynchronně.
synchronní sítě - všechny neurony konvertují své vnitřní potenciály simultánně
asynchronní sítě - jedna podmnožina neuronů pole FX či FY může nezávisle na jiných
neuronech rozhodovat, zda bude nebo nebude v daném okamžiku aktivovat
své vnitřní potenciály
Dvousměrná asociativní paměť je heteroasociativní a synchronní, tzn. že přijímá binární nebo
bipolární vstupní vektor dat na jednom poli neuronů FX a tento vede k výstupnímu poli FY . Tato
dvě pole neuronů jsou navzájem propojena obousměrnými vazbami. Vazby mezi poli neuronů jsou
reprezentovány maticí synaptických vah M (od FX do FY ) a maticí M T (od FY do FX ).
Rovnovážným stavem BAM se nazývá stav, ve kterém z informace přivedené na vstup ve formě
vektoru x dostaneme prostřednictvím rezonance popsané vztahy
( )M
(
)
( ) M = ∑ O (x )m = (y
, y 2k +1 , K , y kp+1 ,
x k +1 = O y k
y k +1 = O x k
T
T
( )
p
T
= ∑ O j y kj m ji = x1k +1 , x 2k +1 , K , x nk +1 ,
j =1
n
i =1
i
k
i
ij
k +1
1
)
dostaneme na vstupu opět informaci x jako odpověď sítě na původní podnět x . Na základě
symetrie matice M můžeme rovnovážný stav definovat i opačně, tedy přivedeme-li na výstup
informaci y , na vstupu dostaneme informaci x , která je asociovanou informací k informaci y .
Po dosažení rovnovážného stavu je další rezonance neúčinná a systém setrvává v rovnovážném
stavu.
Učením nazýváme postupné vytváření korelační matice M . Jednotlivé prvky mij matice M
jsou korelačními koeficienty, pomocí kterých se pamatují vztahy mezi vstupní a výstupní informací.
Na to, abychom na výstupu dostali informaci y r , když na vstupu je informace x r , vytvoříme
korelační matici M r jako
M r = x Tr y r .
Kdybychom požadovali, aby si korelační matice pamatovala i další vztah, např. mezi x s a y s ,
potom korelační matici
M s = x Ts y s
připočteme k matici M r , čímž dostaneme výslednou korelační matici pro zakódování dvou párů
informací
C2-3
2/4
C2. Umělé neuronové sítě
M = M r + M s = x Tr y r + x Ts y s .
Všeobecnou korelační matici M pro m dvojic vzorů
informací, dostaneme Hebbovým pravidlem
(x i , y i ) ,
která si pamatuje m párů
m
M = ∑ x Ti y i .
i =1
Problémem je určit, kolik vzorů lze v paměti uschovat. Jeden ze vztahů pro horní hranici počtu
vzorů zapamatovaných pamětí je
n
2 log 2 n ,
kde n je velikost vzoru (počet neuronů vstupního pole FX ).
Uvedené přístupy souvisí s určováním stability BAM systému.
Už Hopfield zavedl a definoval pojem energie sítě takovým způsobem, že jeho síť má vždy
tendenci tuto energii snížit nebo udržet, nikdy však nestoupne.
Pomocí Ljapunovovy funkce L se zobrazují stavové proměnné systému do reálných čísel.
Funkce L je v čase klesající. Při aplikaci Ljapunovovy funkce na BAM systém jde o zobrazení
dvouhodnotových stavů neuronů polí FX a FY do množiny reálných čísel, tj.
L : Bn × B p → ℜ ,
kde B n označuje Booleovský n rozměrný prostor [0, 1] n nebo bipolární n rozměrný prostor [−1, 1]n .
Jedna z navržených forem Ljapunovovy funkce je
1
1
L = ∑ xi2 = xIx T ,
2 i
2
kde x1 , x 2 , K , x n jsou definovány prvky vektoru stavových proměnných systému, pomocí kterých je
charakterizováno chování celého systému a I je jednotková matice.
Pro vyhledání kandidáta na Ljapunovovu funkci BAM systému byla navržena zprůměrovaná
funkce energie potenciálů neuronů při přechodu signálů ze stavové normy O(x ) do stavové normy
O(y ) a naopak, tj.
L = −O(x )MO (y ) .
Tato funkce se také nazývá Ljapunovova funkce signální energie a pro obecně dvousměrné sítě
se chová jako Ljapunovova funkce, tj. L klesá ve směru trajektorie dané množinou synchronních
nebo podmnožinou asynchronních změn signálních stavů neuronů.
Energetická plocha
T
L = −O(x )MO (y )
má lokální minima reprezentující předložené vzory. Iterační proces adaptivní rezonance sítě
vyjadřuje proces pohybu tohoto bodu po energetické ploše až k některému stabilnímu bodu, který je
reprezentován některým jejím lokálním minimem, tzv. atraktorem.
Hopfieldova síť je model asociativní paměti, ve kterém pole neuronů splývají a existuje úplné
obousměrné synaptické propojení neuronů. Zásadní podmínkou však je, aby síť byla asynchronní.
Váhy synaptických propojení neuronů jsou dány maticí M dimenze n × n , která je symetrická,
tj. platí M = M T a tedy mij = m ji . Prvky na hlavní diagonále se obvykle inicializují na nulové
hodnoty.
Na uchování m autokorelací v paměti se analogicky s BAM sítí používá Hebbovo pravidlo,
které má tvar
T
m
M = ∑ x Tr x r − mI ,
r =1
kde I je jednotková matice stupně n. Symbolem n je označen počet neuronů sítě. Členem mI se
dosahuje nulování prvků hlavní diagonály matice M .
C2-3
3/4
C2. Umělé neuronové sítě
Důležitou vlastností Hopfiledova modelu je, že aktivační
dynamika musí být asynchronní. to znamená, že každý neuron
v síti vyhodnocuje své výstupy v časové na sobě nezávislých
okamžicích na ostatních neuronech sítě. Pokud v určitém časovém
okamžiku změní stav více jak jeden neuron, síť je nestabilní.
Je-li matice vah symetrická, energie Hopfieldovy sítě
v průběhu relaxace monotónně klesá, dokud nedosáhne minima.
Pomocí Hopfieldova modelu neuronové sítě je možné např.
řešit problém obchodního cestujícího (TSP). Vhodnost aplikace
Topologie sítě Hopfieldova
Hopfieldovy sítě na řešení TSP se vyhodnocuje porovnáním
modelu pro 4 neurony.
výsledků s nejlepším tradičním konvenčním algoritmem. Např. se
ukázalo, že řešení úlohy pomocí Hopfieldovy sítě s binárními
prahovými funkcemi jejich neuronů nevede k uspokojivým výsledkům neboť síť rychle zaujme
nějaké lokální minimum. Lepší výsledky se získaly s neurony sítě využívající princip simulovaného
žíhání s pravděpodobnostními neurony nebo sítí se spojitou aktivační funkcí. Jiná řešení jsou
založena na principech a použití funkce energie sítě, numerických simulací apod.
C2-3
4/4
Download

odkaz