Vetake neuronske mree

VNM

to su VNM ?
Organizacija mozga
Modeli neurona
Arhitektura mree
Reprezentacija znanja
Vizualizacija procesa u neuronskim mreama
AI i neuronske mree
Istorijat

Biological Neural Nets

Pigeons as art experts (Watanabe et al.
1995)
Experiment:
Pigeon in Skinner box
Present paintings of two different artists (e.g.
Chagall / Van Gogh)
Reward for pecking when presented a particular
artist (e.g. Van Gogh)

 Pigeons were able to discriminate between Van Gogh

and Chagall with 95% accuracy (when presented with
pictures they had been trained on)
Discrimination still 85% successful for previously
unseen paintings of the artists
Pigeons do not simply memorise the pictures
They can extract and recognise patterns (the style)
They generalise from the already seen to make
predictions

This is what neural networks (biological

and artificial) are good at (unlike
conventional computer)

Gde ove podatke uvamo?

Biologija je inspiracija
Ljudski mozak sadri
oko 10 milijardi nervnih elija (neurona)
Svaki neuron je povezan sa ostalima preko oko
10000 sinapsi
Mozak moe da naui, reorganizuje se na osnovu
iskustva
On se prilagoava okruenju
Robustan je i tolerantan na greke

 VNM su inspirisane nervnim sistemom

Struktura veliki broj meusobno
povezanih procesorskih elemenata neurona
Ue na primerima - grekama

 Konfiguriu se za specijalizovane zadatke

prepoznavanje oblika, klasifikaciju
podataka, predikciju
Kod prirodnih NM uenje podrazumeva
podeavanje osobina sinaptikih veza
izmeu neurona
Isto vai i za VMN

Bioloki neuron

Neuron ima
Ulaze - dendrite
Jedan izlaz - Akson

Impuls se kree u smeru dendriti - akson

Veza dendrita i aksona dva neurona naziva se sinapsa
Sinapse se razlikuju po jaini
Mogu da budu pobuujue i inhibitorne

Inspiracija iz neurobiologije
Neuron: Mnogo ulaza
jedan izlaz
Moe da doe do
pobuivanja neurona (ali i
ne mora)
Jaina signala na ulazu
odreuje da li e neuron
da opali

ta je neuron ?
Nelinearna funkcija vie promenljivih sa
ogranienim opsegom izlaza

x2

y f w0 wi xi
i 1

w0

x1

n 1

x3

Koncept sinapse
Otpor sinapse prostiranju dolaznog
signala moe da se menja tokom procesa
uenja [1949]
Hebbovo pravilo:
Ako impuls na ulazu neprestano ini da neuron
okida u sinapsi se dogaa metabolika promena
koja uzrokuje smanjenje otpora odgovarajueg ulaza

Matematika predstava
Neuron rauna zbir proizvoda ulaza i njima odgovarajuih teina.
Taj rezultat uporeuje sa pragom aktivacije. Ako je suma vea od
praga aktivacije vrednost izlaza je 1. u suprotnom rezultat je -1
(moe da bude 0)

Nelinearnost

Perceptron
Mrea od jednog neurona
Promena teine je
proporcionalna razlici
dobijene i eljene
vrednosti izlaza
Wi = * (D-Y).Ii izlaz
Brzina
obuavanja

Oekivana
vrednost

Dobijena
vrednost

Obuavanje percepretona

Linearna separabilnost
Structure
Single-Layer

Two-Layer

Three-Layer

Types of
Decision Regions

Exclusive-OR
Problem

Half Plane
Bounded By
Hyperplane

Convex Open
Or
Closed Regions

Abitrary
(Complexity
Limited by No.
of Nodes)

Neural Networks An Introduction Dr. Andrew Hunter

Classes with Most General

Meshed regions Region Shapes
B

Mrea za reavanje problema

osnovnih logikih operacijaa
Svi ulazi i izlazi su
binarni
Izlazi su
1 ako je
W0I0 + W1I1 + Wb > 0
0 ako je
W0I0 + W1I1 + Wb 0

Faza obuavanja
Na osnovu iskustva: trening set
Naueno se nalazi u teinama svake veze
Mrea se prilagoava reenju promenom
teina
U radnom reimu teine su fiksirane

Online / Offline reim

Offline
U radnom reimu teine su fiksirane
Najee su u upotrebi

Online
Uvek ue
Obino su sloenije arhitekture

Faze rada
Kontinualni proces:
Raunanje izlaza
Podeavanje teina Uenje
Obrada novog ulaza

Vrste obuavanja
Vrste uenja:
Nadgledano
Nenadgledano

Nadgledano uenje
Profesor daje ocenu dobijene vrednosti
Mrei se saoptava broj poznatih parova
ulaznih vektora i oekivanih izlaza
Ocenjuje se koliko je mrea pogreila
Podeavaju se teine tako da mrea daje
bolju aproksimaciju eljenog izlaza

Nenadgledano uenje
Bez pomoi spolja
Nema trening skupa niti informacije o eeljenim
izlazima
Mrea prouava strukturu, uoava pravilnosti i
na osnovu toga podeava teine
Primer: Kohonens zakon obuavanja
Winner takes all
menjaju se teine iskljuivo neurona sa najjaim
signalom na ulazu

Back propagation error (BPE)

Poznati su eljeni izlazi trening skupa
greka = Razlika dobijenog i eljenog
izlaza
Promena teine je srazmerna veliini
greke
Greka se rauna od poslednjeg ka prvom
sloju
Veoma efikasne i najee koriene

Generalizacija i specijalizacija

Optimalni broj neurona u skrivenom sloju

Ako ih je previe dolazi do memorisanja
trening skupa i gubitka moi generalizacije
Ako ih je malo mrea nije sposobna da
prepozna problem
Previe primera u trening skupu mrea,
takoe, pamti strukturu trening skupa

Primene VNM
Prepoznavanje
Neodreeni problemi
Predikcija
klasifikacija
Asocijacija podataka
Konceptualizacija podataka
Filtriranje
planiranje

Primene VNM
Predvianje na osnovu iskustva
Stanje na tritu
Vremenska prognoza
Rizik od oboljenja

klasifikacija
Obrada i prepoznavanje
Verovatnoa bankrota kompanija
Veliina premije za ivotno osiguranje

Primene VNM
Prepoznavanje
Prepoznavanje pravilnosti SNOOPE
detektor bombi na aerodromima
Prepoznavanje teksta
Prepoznavanje rukopisa

Asocijacija
Otkriva situacije kada npr. prepoznavanje
teksta ne radi pravilno

Primene VNM
Konceptualizacija
Na osnovu podataka iz baze kupaca povezuje kupce i
proizvode koje oni vole da kupuju

Filtriranje signala
Proiavanje telefonskog signala

Planiranje
Planiranje manevra podmornice na osnovu
oslukivanja neprijatelja

Prednosti i mane
Prednosti
Dobro snalaenje u nepoznatim situacijama
Velika inertnost na greke u delovima mree
Nezavisni procesi obuavanja i generalizacije

Nedostatci
Nisu egzaktne postoji konana greka
Visoka kompleksnost strukture

Aktivacione funkcije
20
18
16

yx

Linearna

14
12
10
8
6
4
2
0

10

12

14

16

18

20

2
1.5
1

Logistika

0.5
0
-0.5

1
1 exp( x)

-1
-1.5
-2
-10

-8

-6

-4

-2

10

Tangens hiperbolikus

1.5
1

exp( x) exp( x)
y
exp( x) exp( x)

0.5
0
-0.5
-1
-1.5
-2
-10

-8

-6

-4

-2

10

Feed Forward Neural Networks

Nema povratnih veza
Vreme ne igra ulogu

Izlazni sloj
Drugi
skriveni sloj
Prvi skriveni
sloj

x1

x2

..

xn

Rekurentne VNM

0
1

0
0

1
x1

x2

Dobre za aproksimaciju
dinamikih sistema
Signali iz prethodnih stanja
ulaze u proraun
Tei za treniranje
esti problemi

VNM
Univerzalni modeli za aproksimaciju funkcija
Teorema: Svaka neprekidna funkcija moe da
bude aproksimirana VNM koja ima konaan broj
neurona
Vrste aproksimatora
Linearni broj parametara raste eksponencijalno sa
porastom broja promenljivih funkcije
Nelinearni broj parametara raste linearno sa
porastom broja promenljivih funkcije

Adaptivnost
Sposobnost generalizacije u situacijama kada
nemamo sve podatke

Example

Neuro-raunarstvo u poreenju
sa tradicionalnim

Pregledni tablini prikaz razlika izmeu neuronskih mrea i

tradicionalnog raunarstva dali su Anderson i McNeil u svom
elektronikom tutorialu). Razlike se mogu saeti u nekoliko taaka:
neuronske mree imaju distribuiranu asocijativnu memoriju - njihova
memorija su teine meu neuronima; vrednost teina predstavlja
trenutno stanje znanja u mrei,
tolerancija greke kod neuronskih mrea je velika, jer mogu dati
zadovoljavajue reenje i u sluaju kad je deo neurona iz nekih
razloga onesposobljen i ne uestvuje u raunanju, to nije sluaj
kod tradicionalnih raunarskih sustava,
neuronske mree su sposobne da prepoznaju uzorke u veem
stepenu od tradicionalnih statistikih sistema i ekspertnih sistema,
neuronske mree su u mogunosti da sintetizuju sloene
kontinuirane funkcije, analogno biolokim sistemima koji mogu da
koordiniraju vie pokreta, npr. da zamahne reketom i baci lopticu u
isto vreme.

An approach to Synthesis and

Analysis of Complex Recurrent Neural
Network
K. Nikoli, I. epanovi
Faculty of management Novi Sad,
Novi Sad

Paper content

Introduction
Mathematical Presentation of RANN
Training Algorithms and RNN Synthesis
Example
Conclusion

Introduction
This paper presents an approach to optimization of
recurrent artificial neural networks (RNN) that leans on the
appliance of stochastic search (SS).
In certain sense, suggested approach is more appropriate
for engineering practice than back propagation error (BPE)
method, because it does not condition the differentiability of
activation neuron function, as well as transformation of
RNN in corresponding multi-layered network with forward
propagation signal, and after that applying BPE i.e. BPE
through time algorithm.
Relatively simply SS algorithm, constructions easy
adjustment to the present problem, a slight noise
sensitivity, a good behavior in singular dots environment
and, which is the most important an convergence to the
optimum grows with complexity of a system.

Mathematical Presentation of
RANN
It was proven as an adequate approach that RNN are
seen from the aspect of ay state system concept.
1
u1
dx
~
y 2 a) x ( x, u , , )
u2
x
N
dt
x ,u , ,
ym
un
y ( x),
t t0
U

u1
w

u2

- xr

b)

....

......
u3

The discrete form of the previous equation has

the following shape:

1
c

(x)

1 e x
x
( x) tanh
1 e x
2

Model of dynamic neuron

x(k 1) x(k ), u (k ), ,
y (u ) x(k ),
tk
k=0,1,2 , N

Training Algorithms and RNN

Synthesis

-1

u1
up

...

...

y (n 1) f i (n)

-1

...

-1

...

f j (n) ji (n) ui (n)

...

and u q B

bias

-1

...

...

u u 1 , u 2 , u q

and u p A

-1

...

ueks u1 , u2 ,K u p

...

This work considers the

appliance of SS algorithms for
general case where special
attention is paid to the structure

Training Algorithms and RNN

Synthesis
Supervised training algorithms
For the observed neuron (j) in a hidden layer of a following structure, the
training is done on the basis of error supervision

y (jd ) (n) y j (n), if

e j ( n)

0,

The corresponding cost

function Q
1

Q ( n)

if

e ( n)
2

jQ

j Q
j Q

i.e. Qtot Q(n)

The training is done according to the following, well-known

relations:

ij (n 1) ij ( n) ij (n)

ij (n)

Q(n)
ij (n)

Training Algorithms and RNN

Synthesis
The essence of SS algorithm appliance is in a
replacement
Q(n)
By accidental vector ij (n) i.e.

ij (n)

ij( ) (n) ij( ) (n),

1,2,...N

SS algorithm is of a SS AI type

Q*1 max Q ( s ) 1
ij
where

( N ) T

for Q ( s ) 1 0

ij(1) , ij( 2 ) ,... ij , 1, 0 1, 0 1

Example
This example elaborates input variables that are
connected to the copper content in the flotation
process

RNN optimisation that gives corresponding predictive model is

determined by the parameters p=5, q=4; (p+q)q=36

Conclusion

In the paper there has been an attempt to offer relatively simple approach in
RNN training applying stochastic search.
The fact is that the algorithms suggested here have the characteristic to
become more efficient with enhancement of a structure complexity, in
optimization procedures that are used for FNN, i.e. RNN training.
Considerable advantage of SS algorithms is that they do not ask for
differentiability of optimization object.
On the basis of having these characteristics, the appliance of SS algorithms
gives valid results when some of the familiar ones are breaking down. In the
following researches presented procedure of stochastic search with
accumulation information will be to extend modeling a nonlinear adaptive
prediction of non-stationary signals in real-time.
This characteristic along with others stated in this work make algorithms in
stochastic research concurrent in their appliance on complex RNN and
complex conditions in which they function.

Discussion

Generating the accidental vector