Hamming A ve renmesi

1915 - 1998
Murat zalp
Bilecik eyh Edebali niversitesi
Yapay Sinir Alar (doktora) ders devi
2015, Bilecik
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

indekiler

Giri

Hamming Mesafesi

Hamming A

rnek Hamming A

Hamming A'nn Karakteristik zelikleri

Yapay Sinir Alar Snflandrmas

Matematiksel likiler

Arlklarn Hesaplanmas

rnek Uygulama

21.12.2015

Murat zalp

2/17

Giri

Richard Hamming, 1915-1998 yllar arasnda yaad.

1940'l yllarda delikli kartlarla alrken, veri iletiiminde
hata dzeltme zerine almaya balad.
Hata dzeltme zerine alrken; iki vektrn (dize'nin,
metnin) birbirine benzerliini ifade etmek iin, 1950 ylnda
Hamming Mesafesi kavramn ortaya koydu.
Literatrde kaba bir aratrma sonucunda; yapay sinir
alar konusunda Hamming mesafesi ifadesinin
bulabildiim en eski kullanm, Hopfield tarafndan 1982
ylnda yaynlanan Neural networks and physical systems
with emergent collective computational abilities isimli
makale oldu. (referans)
Hamming alar tanm ise ilk kez 1987'de Lippmann
tarafndan, An Introduction to Computing with Neural
Nets isimli almada ifade edilmitir. (referans)

21.12.2015

Murat zalp

3/17

Hamming Mesafesi

ki vektrn birbirine uzakln bulmak iin kullanlan

bir ok yntemden birisi Hamming mesafesidir. En
yaygn yntemlerden birisi olan klid mesafesi ve
benzerleri, saysal verilerle ilem yaparlar.
Hamming mesafesi ise iki ifade arasnda ka tane
farkl sembol olduuna bakarak mesafe lm yapar.
rnekler:

21.12.2015

11110000

10110001

Mesafe: 2

abc123

abc120

Mesafe: 1

Antakya

Antalya

Mesafe: 1

Murat zalp

4/17

Hamming A
Desen eletirme (pattern matching) ve snflandrma
(classification) gibi amalarla kullanlmaktadr. An
giriinde vektr biiminde verilen bir desenin, eldeki bilinen
desenlerden en ok hangisine benzediini syleyebilir.
y1

y2

x1

21.12.2015

x2

Murat zalp

x3

x4

5/17

rnek Hamming A

0-9 aras rakamlar tanyan

an temsili gsterimi
10 tane k
olmaldr.

klar, 0-9 aras rakamlar temsil eder

y1

y2

5x3=15 tane
giri olmaldr.
21.12.2015

x1

x2

Murat zalp

x3

x4

6/17

Hamming A'nn Karakteristik zelikleri

Sabit arlkl yarmac alardandr (fixed weight competitive nets). Bu kategorideki

dier a trleri ise MaxNet ve Meksika apkas'dr.
Bir giri vektr verildiinde; nceden aa verilmi olan rnek (exemplar ~ prototip,
snf, class) vektrler ile karlatrlarak, giriin hangi rnee en yakn olduuna
baklr. Bu ekilde snflandrma yaplmaktadr.

Vektrlerde; genellikle {-1,1} eklinde iki semboll alfabe kullanlr.

En yakn komu snflandrmasnn Hamming mesafesi kullanlan zel bir trdr.

Hamming a, tek katmandan oluur. Bu tek katmann grevi; giri vektrlerinin,

rnek vektrlerden hangisine daha ok benzediine karar vermektir. Hamming ana
genellikle, en yksek girii bulan bir MaxNet a ilave edilir.
Hamming ann yapt i; desen eletirme (pattern matching, inner product)
eklinde de ifade edilmektedir.

Eiticisiz Yarmac Alar

MaxNet
Hamming Net
Mexican Hat Net
Self-Organizing Map (SOM)
Adaptive Resonance Theory (ART)
21.12.2015

Eiticili Yarmac Alar

Learning Vector Quantization (LVQ)
Counterpropagation

Murat zalp

7/17

Yapay Sinir Alar Snflandrmas

Hamming, MaxNet, Mexican Hat

21.12.2015

Murat zalp

8/17

Matematiksel likiler

a ve b, iki farkl vektr olsun. Bu vektrler iin;

Birbirleri ile ayn olan eleman says: A(a,b) eklinde (A: Agree) gsterilir.

Farkl olan elemanlarn says ise H(a,b) eklinde (A: Hamming) gsterilir.

Bu ili vektrn skaler arpmlar (dot product); ayn elaman saysnn, farkl
eleman saysndan farkna eittir. Yani;

a . b= A (a , b)H (a ,b)
rnek:
a vektr = [1,1,1,1]
b vektr = [1,1,1,1] olsun.
A(a,b) = 3 ve H(a,b)=1 olacaktr.
A(a,b) - H(a,b) = 3-1 = 2 olur.
a.b skaler arpm da = (1*1) + (-1*1) + (-1*-1) + (-1*-1) = 1-1+1+1 = 2 olur.

21.12.2015

Murat zalp

9/17

Matematiksel likiler

Hamming alarnda; A(a,b) deeri kullanlmaktadr.

Aa nceden belirli sayda rnek vektr verilmektedir. Bu vektrleri c (1),
c(2), c(M) eklinde (c: class ~ snf) M tane olacak ekilde ifade edebiliriz.
Giri vektr (rnein x), c(j) vektrleri ile karlatrlmakta ve en yakn
olan vektr belirlenmektedir.

Matris ilikileri:
x vektr [.]1xN biimindedir.
c(j) vektrleri de = [.]1xN biimindedir.
Bu durumda; c(j) vektrleri, Hamming ann arlk matrisini oluturmak
iin, stun vektr haline getirilip, NxM boyutunda bir matris elde edilir.
c(1)

rnek vektrler:

21.12.2015

c(2)

c(M)

c 11 c 12 c 1 N
c 21
c2 N

c N 1 c N 2 c NM

NxM

Murat zalp

10/17

Matematiksel likiler
Skaler arpm ifadesini biraz dzenleyelim. Vektrlerden birisi x giri vektr olsun.
Dieri de e rnek vektr olsun.
a . b= A (a , b)H (a ,b) veya x . c= A ( x , c)H (x , c)
stteki ifadede her iki taraf ikiye blp biraz dzenleyelim:

1 T
n
x . c= H (x , c)
2
2
n: vektrdeki sembol says
a: karlatrlan iki vektrde ayn olan sembol says olmak zere;
H(x,c)=na
olduunu bir kez daha hatrlayalm ve sonra benzerlii ifade etmek zere
ifadeyi yeniden dzenleyelim:

1 T
n
a= x . c+
2
2
21.12.2015

Murat zalp

11/17

Arlklarn Hesaplanmas

[]

x1
x= x 2

xn

net j=x T . w j +b j
nx 1

Arlk Matrisi

nceki eitliklerden yararlanarak,

yukardaki formldeki arlk (w) ve
eik (b) deerlerini belirtelim:

c 11 c 12 c 1 N
1 c 21
c2 N
W=
2

c N 1 c N 2 c NM

w j =[w j 1 w j 2 ... w jn ]

b j=

n
2

j=1,2,... , M

ve

21.12.2015

1
w j= c j
2

j=1,2,. .., M

1
w ji = c ji
2
Murat zalp

NxM

, i=1,2,... ,n ; j=1,2,. .. , M

12/17

rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa: 240)

3x3 piksel ile ifade edilen C, H ve L harflerini tanyan

(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.
Bu harflerin vektr ile ifadesi yledir:
c1=(111;111;111)
c2=(111;111;111)
c3=(111;111;111)

C harfi
H harfi
L harfi

x=(111;111;111) giriinin, bu aa gre snfn bulmaya alalm.

An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.
Arlk matrisini (w) ve eik (b) deerini hesaplayalm:

1
1
1
1
W = 1 1
1
2
1 1 1
net 1=b1 + x i w 1i

1 1 1 1
1
1
1
1 1 1
1 1 1 1
1

1
1
1

ve

n 9
b 1=b 2=b3 = =
2 2

, i=1,2,... ,9

9
= +1(0,5)+1(0,5)+1(0,5)+1(0,5)+1(0,5)+(1)(0,5)+1(0,5)+1(0,5)+1(0,5)
2
=8
21.12.2015

Murat zalp

13/17

rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa: 240)

3x3 piksel ile ifade edilen C, H ve L harflerini tanyan

(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.
Bu harflerin vektr ile ifadesi yledir:
c1=(111;111;111)
c2=(111;111;111)
c3=(111;111;111)

C harfi
H harfi
L harfi

x=(111;111;111) giriinin, bu aa gre snfn bulmaya alalm.

An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.
Arlk matrisini (w) ve eik (b) deerini hesaplayalm:

1
1
1
1
W = 1 1
1
2
1 1 1
net 1=b1 + x i w 1i

1 1 1 1
1
1
1
1 1 1
1 1 1 1
1

1
1
1

ve

n 9
b 1=b 2=b3 = =
2 2

, i=1,2,... ,9

9
= +1(0,5)+1(0,5)+1(0,5)+1(0,5)+ (1 ) (0,5)+(1)(0,5)+1(0,5)+1(0,5)+1(0,5)
2
=6
21.12.2015

Murat zalp

14/17

rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa: 240)

3x3 piksel ile ifade edilen C, H ve L harflerini tanyan

(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.
Bu harflerin vektr ile ifadesi yledir:
c1=(111;111;111)
c2=(111;111;111)
c3=(111;111;111)

C harfi
H harfi
L harfi

x=(111;111;111) giriinin, bu aa gre snfn bulmaya alalm.

An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.
Arlk matrisini (w) ve eik (b) deerini hesaplayalm:

1
1
1
1
W = 1 1
1
2
1 1 1
net 1=b1 + x i w 1i

1 1 1 1
1
1
1
1 1 1
1 1 1 1
1

1
1
1

ve

n 9
b 1=b 2=b3 = =
2 2

, i=1,2,... ,9

9
= +1(0,5)+1(0,5)+1(0,5)+1(0,5)+ (1 ) (0,5)+(1)(0,5)+1(0,5)+1(0,5)+1(0,5)
2
=6
21.12.2015

Murat zalp

15/17

rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa: 240)

3x3 piksel ile ifade edilen C, H ve L harflerini tanyan

(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.
Bu harflerin vektr ile ifadesi yledir:
c1=(111;111;111) C harfi
An klar aadaki gibi bulunmutur.
c2=(111;111;111) H harfi
Net1=8
c3=(111;111;111)
L harfi

Net2=6
x1=(111;111;111)
giriinin, bu aa gre snfn bulmaya alalm.
Net3=6

An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.
Byk olan
mesafesi asndan, x giri
Arlk matrisini
(w) vedeer,
eik (b)Hamming
deerini hesaplayalm:

olan1 deerdir.
1vektrne
1
1 en
1 yakn
1 1
1
1
1 grevi tamamlanmtr.
W = 1 1
1
1
1
1 1 1 1
2
1 1 1 1 1 1 1
1
1

net 1=b1 + x i w 1i

Burada Hamming ann

ve

n 9
b 1=b 2=b3 = =
2 2

, i=1,2,... ,9

9
= +1(0,5)+1(0,5)+1(0,5)+1(0,5)+ (1 ) (0,5)+(1)(0,5)+1(0,5)+1(0,5)+1(0,5)
2
=6
21.12.2015

Murat zalp

16/17

Kaynaklar
1) Pattern Recognition and Image Preprocessing,Sing-Tze Bow,
2002, Marcel Dekker Yaynevi
2) Fixed Weight Competitive Nets, K. Ming Leung,
2007, Polytechnic University ders notlar
3) Neural Networks Based on Competition, M. Bennamoun,
CS407 Neural Computation ders notlar

21.12.2015

Murat zalp

17/17