Professional Documents
Culture Documents
, ErrorCorrecting Codes,
(data)
ECC ,
(channel),
ECC , ,
, CD ,
, ,
RAM
, ,
(noisy data),
, ,
, ,
? 1948
(magnetic tape)
, ,
, ,
, (CD
1948 Claude
player) ,
Shannon A mathemat-
(model) ( 1)
,
,
data
............................................................................
channel
noisy
data
, (channel capac-
..........................................................................
ity), ,
, (code)
1
2 83 12
, ,
,
,
(sets) ABC ( 3.1)
, ,
(information theory),
ECC 1948
40 ,
Shannon
, Shannon ?
............................
.............................
..........
.......
..........
.......
..... ...........
.....
.......
....
.
...
.
.
...
... .....
.
.
.
...
.. ....
..
.
.
...
...
..
....
....
..
...
...
....
...
...
...
...
...
...
...
.
...
.
...
...
.
..
.
..
.....................................
...
.
.
.
.
.
.
.
.
.
......
...
...
.
.
.....
.
.
.
.
.
.
.
.
.
.
.
... ..
.....
...
...
..
... ...
...
...
...
....
.....
...
....
...
...
...
.....
.........
....
...
......
...
..... ...........
.....
.
.
.
.
.
.
........ ...
.
.
.
.
.
.
.
..........
...................................
...............................
.
..
...
.
...
..
...
...
...
..
.
...
.
.
.
...
..
...
...
....
...
.....
....
......
.....
.
.
.
.
.
........
....................................
A....................
,
(en-
3.1
coder)( 2)
1, 2, , 7,
data Encoder ................data
................................................................
Channel......................
...
redundancy
...
......................................
...
...
...
...
..
...
...
...
...
...
...
...
...
...
..
..........................................................................................................................................
good
noisy data
...................data
......................................
Decoder
noisy redundancy
2
,
, (redundant bits),
,
1101, 1, 2, 3, 4
, bits ,
1, 3.2
............................
.............................
..........
..........
.......
.......
..... ..........
.....
........
....
.
...
...
........
.
.
...
.. ....
..
.
.
...
...
....
....
..
..
...
...
...
..
..
..
...
..
...
...
...
....
...
..
.
...
.
..
..........................
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
. ..........
...... ....
.
...
.
.
.
.
.
.
.
.....
... ...
...
..
....
...
... ...
...
...
....
...
....
....
...
...
...
...
........
...
.....
...
..
......
.....
..... ..........
.
.
.
.
.
.
.
.
.
.
.
.
.
........
........ .
.
.......................................
.....................................
.
..
...
...
....
...
...
..
...
.
...
..
.
...
.
...
...
...
...
...
....
......
.....
.
.
.
.
.
.......
............. ...................
.........
A....................
3.2
,
, (decoder),
bits 010,
1101010, ,
,
, 1101010,
6 bit , 1 0, 3.3a
, 3.3b, A 3 1,
..............................
................................
.........
.......
......
.........
...... ...........
.....
......
....
.....
.......
....
...
....
.
.
.
.
.
...
...
... ....
.
.
...
...
..
..
...
.
.
...
...
....
....
...
..
...
...
...
...
...
..
...
..
..
.
..
.
...
.....................
..
.
.
.
.
.
.
...
..........
..............
.
.
.
.
.
.
.
.
.
.
.
...
......
...
.
.
....
.
.
.
.
.
.
...
.
.
.
.
.
.
...
... ...
.
....
...
...
......
...
...
....
...
....
...
.....
.....
...
....
..
..... ..........
......
... ...........
.....
........
........ ....
.
.
.
.
.
.
.
.
.
.
...............................
..............................
..
.
..
.....
.
...
...
...
....
...
.
.
.
...
.
.
...
..
...
...
....
...
.....
....
......
......
.
.
.
........
.
.
.
...............................
3.3a
, B 4 1, , C 3 1,
, A C B C ,
3, ,
bit, 3.3c,
, AB C,
1
, , ,
, single
error correcting (SEC)
.........
.......................................
............. ...................
......
.......
.......
......
.....
..... ........
.....
.....
....
........
...
.
.
.
...
.
... .....
...
...
.
.
...
...
....
....
...
...
....
...
..
..
..
.
..
...
.
....
....
..
..
.
..
..
..
.
..
...
..............................
.
.
.
.
.
.
.
...
. ..........
.
...... ...
.
.
.
.
.
.
.
.
.
.....
...
... ..
.
.....
....
...
... ...
...
....
...
...
......
...
...
...
....
...
...
....
...
.....
..
..... ..........
.....
.
.
......
.
.
.
.
.
.
.
.
.
.
.
........
.
.
..
......... ..
........................................
.................................
..
.
..
.....
.
..
.
.
...
...
...
...
...
..
...
..
...
.
.
.
...
...
.....
.....
......
......
........
....................................
....................................
....................................
........
......
........
......
......
..... ..........
.....
.....
.......
....
.
.
.
.
...
..
...
...
... ...
...
.. ....
...
.
.
...
...
..
....
.
..
...
...
...
.....
..
...
..
....
.
.
...
..
.
...
...
... .......... ...
..
..
...
....... ................
.
.
.
.
.
.
.
.
.
.
...
. .........
.... ....
.
.
.
.
.
.
.
.
.
.
.....
...
... ..
.
....
...
...
... ...
...
...
...
...
....
...
...
...
.....
........
...
...
...
......
...... ...........
......
.
.
.
.
....... ...
.
.
.
.
.
.
.
. .
..........
................ .................
...............................
......
..
..
..
....
.
..
...
...
...
....
...
.
.
...
..
...
...
....
...
...
.....
.....
......
.
.
.
.
.
........
.
....................................
3.3b
3.3c
,
1 , A 1,
, C 1, , B
............................
...............................
..........
.......
.........
.......
..... ...........
.....
.......
...
...
...
.
.
...
... .....
..
...
.
.
...
..
..
...
.
.
...
..
.....
....
..
...
..
..
...
..
...
...
.
..
...
.
..
...
.
.........................
...
..
.............
..
...
..........
.
.
.
.
.
.
.
.
.
.
......
...
...
.
......
.....
... .....
...
...
....
...
... ...
...
...
....
...
.....
....
...
...
...
.....
.....
.... .........
.
.
...
.
.
......
.
.
.
.
.
.
... .......
.......
....
........ ...
.
............
....................................
..........................
..
..
....
..
...
...
...
..
...
...
...
...
...
.
.
.
...
..
...
...
.....
.....
......
......
........
....................................
A...................
3.1
A , B C ,
4 bit,
, , ,
bits ,
3 1, , 6
, , ?
, 0 1,
, ,
, 3 bit,
bits ,
4 83 12
3 bits,
codewords ?
, bits
,
,
(binary arithmetics), ,
1 1 1 0 1 0 0
H=
1 1 0 1 0 1 0
1 0 1 1 0 0 1 ,
C codewords ,
x C xrow vector,
HxT = 0, CH null
space, dimension 7
rank 3, 4, C
24 = 16 codewords
, 4 data bits,
....
...
..
...
...
...
.
...........................................................................
....
..
....
...
....
..
.
....
...
..
...
...
...
.
...........................................................................
....
..
....
...
....
..
.
0 0
0 0
1 1
1 0
7 bits, 4 bits
, 24 16 , 16
codewords.
1.1 Syndrome
codewords
H null space, ?
codeword x,
1
modulo 2,
e, 4
2
,
x ........................................ Channel
........................................
y =x+e
, :
x1
+ x2 + x3
x1 + x2
x1
+ x5
+ x4
=0
+ x6
+ x3 + x4
=0
+ x7
=0
xi {0, 1}
4
bit , ebit
1, 0, 1 1,
1, 1 0, e
(linear equations),
syndrome, syndrome
, ,
, ,
syndrome ?
HyT , y = x + e,
1 ,
e (0000010),
0
, 15 ,
, 1 ,
, (1101010)
1 1 1 0 1 0
1 0 1 0 1
1 0 1 1 0 0
0
0
0
1
0
, syndrome
0 ,
0
1
bit ,
1 ,
1
1
bit
1 , , bit
0 , syndromes ,
1
syndrome
, ,
codeword
, , (7,
4) Hamming code
x = (0001011) x
bit 1, H
, dH (x, x ) =
e?
6 83 12
3, 3 bits Ham-
ming weight, 0
, wH (x) = 3, wH (x ) =
4 x x Hamming
distance x + x Hamming
1 1 1 0 1 0 0
H=
1 1 0 1 0 1 0
1 0 1 1 0 0 1
null space
weight, 0 + 0 = 0, 1 + 1 = 0,
1,
0 bits ,
weight, codeword
0 , 1
tance ,
1? ,
minimum distance,
codeword weight 1, H
codewords Ham-
cloumn, 0,
ming distance,
minimum distance:
1 2 ,
minimum
distance
weight 2 codeword H,
x,x C
x6=x
minimum weight,
0 codewords, Hamming
weight minimum
weight:
wmin (C) = min wH (x).
xC
x6=0
H column , H
column ,
0, codeword
null space 3?
, weight 3 codeword H
3 columns ,
col
0
0
umn column
0 , 0
1
1
column, codeword
(1100001), weight 3,
weight ,
codewords 7
, dmin = wmin = 3
, t,
cordwords codeword,
? minimum distance
, t, minimum
Hamming weight,
distance 2t + 1, ? 5
columns
..........
..........................
........... .................
.........
......
.....
......
......
.....
.....
....
.....
...
...
...
.
...
.
.
.
...
.
...
...
...
...
...
..
..
.
...
....
...
...
..
.
..
..
....
.....................................................................................................................
...
...
...
...
...
..
.
...
.
.
.
.
...
...
.
.
.
.
.
.
...
...
...
...
...
...
...
..
....
.....
....
......
......
.....
......
........
.........
......
.............................
...........................
columns , columns
, weight 2
codeword, H, columns
, 0, column
, columns
5
, codeword,
codeword Hamming
, ? rows
bits, columns
distance t (binary
bits data , ,
vectors), t,
rows , columns ,
, , x
, ,
t, x t,
3 rows, columns 7 ,
x, x ,
8 ? 8 ,
t, 1,
column ,
0
0
, xx t + 1 + t =
2t + 1, codewords
2t + 1, minimum distance
2t + 1 , minimum distance 2t + 1,
t,
,
0 , 0 , ,
0
0
,
syndrome
0
0 , , bit
0
, , 3 rows ,
codeword ,
23 1 = 7 columns
t,
? rows m,
codewords,
2m 1 columns,
2t + 1 minimum
, :
distance 3, ,
2. SEC Hamming
Codes
(7, 4) Hamming code
, minimum
distance
3,
H=
1 0
.
..
.
..
1
0
..
.
0 0
..
{z
2m 1
2m 1 bits,
H rows (linearly inde-
8 83 12
dimension 2 1 rank m,
, ,
, H
SEC
maing code
.Double-Error
Correcting (DEC) Codes
= (1 2 15 ), where 1
0
0
, 2
0
0
, , etc.
1
1
0
,
, 4 rows,
4 1 column vectors, i
, ,
, , ,
, ?
?
, m =
15
15
syndrome,
0
0
.. ,
.
0
column, ,
4,
000000011111111
H =
0
HDEC =
i,
1. SEC DEC
0011110000111
1100110011001
101010101010101
columns , ,
syndromes
, column columns
, i
4 15, column
i, i = f (i ),
, ,
, , f
, 11 bits data,
, ,
4 redundant bits ,
4 bits
, 4 rows,
,
, , i
, ?
2. Finite Fields
, ,
0
0
, ,
? ,
, 0 , Abelian
Abelian group,
0
1
,
, ;
group; ,
0
, 4 1
, field
16 field, 16
tors, 16
0, 1, 2, , 9, A, B, C, D, E, F,
field , field
2,
, ,
, ,
, ,
Abelian group, 0
field field
Abelian group, ,
, , field
field, ?
Hexadecimal field
+
0
1
2
3
4
5
6
7
8
9
A
B
C
D
E
F
0
0
1
2
3
4
5
6
7
8
9
A
B
C
D
E
F
1
1
0
3
2
5
4
7
6
9
8
B
A
D
C
F
E
2
2
3
0
1
6
7
4
5
A
B
8
9
E
F
C
D
3
3
2
1
0
7
6
5
4
B
A
9
8
F
E
D
C
4
4
5
6
7
0
1
2
3
C
D
E
F
8
9
A
B
5
5
4
7
6
1
0
3
2
D
C
F
E
9
8
B
A
6
6
7
4
5
2
3
0
1
E
F
C
D
A
B
8
9
7
7
6
5
4
3
2
1
0
F
E
D
C
B
A
9
8
8
8
9
A
B
C
D
E
F
0
1
2
3
4
5
6
7
9
9
8
B
A
D
C
F
E
1
0
3
2
5
4
7
6
A
A
B
8
9
E
F
C
D
2
3
0
1
6
7
4
5
B
B
A
9
8
F
E
D
C
3
2
1
0
7
6
5
4
C
C
D
E
F
8
9
A
B
4
5
6
7
0
1
2
3
D
D
C
F
E
9
8
B
A
5
4
7
6
1
0
3
2
E
E
F
C
D
A
B
8
9
6
7
4
5
2
3
0
1
F
F
E
D
C
B
A
9
8
7
6
5
4
3
2
1
0
0
1
2
3
4
5
6
7
8
9
A
B
C
D
E
F
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
1
2
3
4
5
6
7
8
9
A
B
C
D
E
F
2
0
2
4
6
8
A
C
E
3
1
7
5
B
9
F
D
3
0
3
6
5
C
F
A
9
B
8
D
E
7
4
1
2
4
0
4
8
C
3
7
B
F
6
2
E
A
5
1
D
9
5
0
5
A
F
7
2
D
8
E
B
4
1
9
C
3
6
6
0
6
C
A
B
D
7
1
5
3
9
F
E
8
2
4
7
0
7
E
9
F
8
1
6
D
A
3
4
2
5
C
B
8
0
8
3
B
6
E
5
D
C
4
F
7
A
2
9
1
9
0
9
1
8
2
B
3
A
4
D
5
C
6
F
7
E
A
0
A
7
D
E
4
9
3
F
5
8
2
1
B
6
C
B
0
B
5
E
A
1
F
4
7
C
2
9
D
6
8
3
C
0
C
B
7
5
9
E
2
A
6
1
D
F
3
4
8
D
0
D
9
4
1
C
8
5
2
F
B
6
3
E
A
7
E
0
E
F
1
D
3
2
C
9
7
6
8
4
A
B
5
F
0
F
D
2
9
6
4
B
1
E
C
3
8
7
5
A
2
p, Zp = {0, 1, 2, ,
p 1}, arithmetics modulo p
field field
? , p
10 83 12
, 1, , p 1,
? Euclid s algorithm,
, finite field,
, modulo a(x)
field,
field , Zp
, irreducible polyno-
10 field?
, finite
mial
field ,
, 2 16
10 , 10
field, 16 = 24 ,
nary polynomial ,
4 = 2 , ,
x4 + 1, (x2 + 1)2 ,
Z4 , 4,
x4 + x2 + x2 + 1, x2 + x2 = 0,
field, ,
x4 + 1,
2 , modulo 4
, 1,
x4 + x + 1,
, 4
irreducible polynomial
field, , 16
2 0, 1, 2, , F binary , 0
, Z16 , field,
, ?
, finite field
nomials 0 0, 1 1, 2 x, 3
, pm
x + 1, , F x3 + x2 + x + 1,
Galois, fi-
6, 2 A + C = 6
nite field ,
, A C =? Ax3 + x, C
20
x3 + x2 , A C = x6 + x5 + x4 + x3 ,
pm finite field,
3, modulo
, Zp ,
x4 + x + 1, 1,
0p 1, m,
2, A C = 1,
m 1, m,
pm finite fields
0 p 1, p, pm,
, pm fields
field isomorphic,
Zp, modulo
, ,
11
bits , (15, 7)
, GF (p )
, BC code, Bose
finite field ,
RayChaudhuri 1960
, ,
, 1959
, fi-
Hocquenghem,
, BCH code
minimum distance
(basis)
5, ,
, ,
? , ,
H, codeword
0, He,
3. BCH Codes
8 1, 4 1
, H
DEC
0
columns
,
1
0
0
4 1GF (16)
!
s
1
,
s1 s3 , sT = HeT =
s3
syndrome ,
!
x
+
, xy bits, sT =
x3
!
!
!
s1
x+y
y
, ,
=
=
s3
x3 + y 3
y3
x + y = s1 x3 + y 3 = s3 ,
, s31 = (x + y)3 = x3 +
1
1, 2, 3, , F , columns
x2 y + xy 2 + y 3 , s3 , s31 + s3 =
, ,
C 3 = (C C) C = F C = 8,
3
s1 s+s
= xy, s1 s3 ,
1
x + y xy, 1 = x +
y, 2 = xy, x + yxyxy
1 2 3 4 5 67 8 9 ABC DEF
HDEC =
,
1 8F C A11AF F C 8 A 8 C
(15, 7) , 15 col-
, ,
,
:
umns, 8 rows, 8
2 + 1 + 2 = 0,
, dimension= 15
xy ,
8 = 7, 7 bits data, 8
? ,
12 83 12
x, y, s3 = s31 , s31 + s3 = 0,
2 = 0, 0,
, ,
gorithm, Shannon
MIT ,
8
3
!,
!
s1 3 +s3
s1
s1
s3
83 +3
8
syndrome sT =
, 1 = s1 = 8, 2 =
=
A+3
8
9
8
= 9 81 =
9 F = E, + 8 + E = 0
,
2, ?
2
b 2ab 4ac ,
, 2a
0 , ,
Try and Error,
? field ,
16 , ,
Euclid s algorithm
, ?
3, ?
? 5
, 7 , ,
, t, 2t1
, columns
, 3, 5 , ,
, BCH
code
15 , GF (28 ),
.Reed-Solomon Codes
255, 255
, 255 ,
= 1, 1 + 8 + E = 7,
, Reed,
, 2, 4 + 3 + E = 9, , 3,
5 + B + E = 0, , 3,
8 ,
Reed Solomon ,
3 + 8 = B, 3 B,
2, 3 bit 11
, ,
bit,
, (n, k) code,
, x + y
minimum distance n k + 1,
xy,
binary ,
, ,
, bit binary,
13
, , m
bits( 6) finite field GF (2m )
, ,
,
,
10010101
| {z } 01010011
| {z }
m bits
m bits
6
? ( 7)
m
...
...
....
...
.......
.
.......
........
.......
...
.......
.
.
.
.
.
.
..
.......
...
......
...
.......
.......
........
.......
.
.
...
.
.
.
...
......
.......
...
.......
..
.......
........
.......
.
.
.
.
.
.
...
......
...
.......
.......
...
.......
.
.......
.
.
.
........
.
.
.
.....
...
.......
...
.......
...
...........
...
..........
.
.
.
.
.
.
.......
.....
...
.......
.......
...
...........
...
.........
.
.
.
..
.
.
.
....... ............
... ........
.........
...
........................................................................................................................................................................................................................
15.
12.5
GF (2 ) ,
10.
, ,
7.5
, finite field
5.
? Reed
2.5
Solomon :
5.9
3.6
, ,
1, 2, ,
,
, ,
...
...
.....
...
......
.
.........
........
..........
...
.......
.
.
.
.
.
.
...
.......
...
.......
..
..........
..........
........
......
.
.
.
...
.
.
.
.....
...
......
...
.......
..
.............
........
.........
.
.
.
.
.
.
...
.....
...
.......
.......
...
.............
.
.........
.
.
.
........
.
.
......
...
.......
...
.......
...
..........
...
..........
.
.
.
.
.
.
.......
......
...
.......
.......
...
...........
...
.........
.
.
.
.
..
.
.
..
.......
.......
... ............
.........
...
..
......................................................................................................................................................................................................................
12.8
12.5
, ,
10.
(8), , min-
7.5
imum distance 5,
5.
minimum distance n k + 1,
2.5
n k + 1 = 5, n k = 4, n k
15.1
15.
10.5
8.2
5.9
3.6
, ,
, 3, 4, 5, 6
, ,
, 9
, ,
...
...
...
.
........
........
...
....
...
.
........
........
...
...
...
........
..
........
...
...
...
.........
.
........
...
...
...
..
........
...
...
.........
.........
...
.
........
...
...
...
...
......................................................................................................................................................................................................................
10.6
10.
7.5
, ,
5.
10 , ,
2.5
, ,
12.8
12.5
, ,
15.1
15.
8.2
3.6
3.6
14 83 12
...
...
...
......
.......
.
..........
........
.........
...
.......
.
.
.
.
.
.
...
......
...
.......
..
.........
..........
........
.......
.
.
...
.
.
.
.
...
......
.......
...
.......
..........
..
.......
...
........
....... ....
.
.
.
.
.
.
.
...
...
.......
......
...
...
......
...
....
...
.......
............
.
...
...
....... ..
.
.
........
.
.
.
.
...
.
........
....
...
.
.
.
.
.
.
...
.
...
. ..........
...
...
.....
.
.
.
.
...
.
...
....
.
.
.
.
.
.
.......
....
.
.
.
.
.
...
.
.....
.
.
.
...
.
.
.........
........
...
.........
.
.......
........
.......
... .............
.........
...
........................................................................................................................................................................................................................
15.1
15.
12.8
12.5
10.6
10.
8.2
7.5
5.
13
3.6
3.6
2.5
40
30
20
10
1.2 2.2
,
()( 12),
, (13),
data ,
,
data, ,
, ,
1,
1, ,
, t, 2t
,
finite field, fi-
11
...
...
.
...
...
.
...
..
......
...
..
.
.
...
...
...
...
...
...
...
..
...
.
..
...
.....
...
...
...
...
...
..
.
.
...
...
...
...
...
...
...
...
..
...
...
...
...
.
...
.
.
..
....
...
...
...
...
...
...
...
...
...
...
.
.
.
.
.
.
...
...
.
.. .....
...
...
...
....
..
...
.
.
......
.
....
........
....
.... ..........
.....
.....
.....
...
.....
......
.
.
.
.
...
.
.
........
.....
...
...........
..........
......... .
...
.............
....................................................................................................................................................................................................................................................
40
parabola
30
bits, ( 11),
10
...
...
...
.
.....
...
...
...
...
...
...
..
.....
...
...
...
...
...
...
..
......
...
...
...
...
...
...
.
......
...
...
...
...
...
.......
...
.......
...
..
.........................................................................................................................................................................................................................
3.6
data, m
nite field , ,
, ,
20
10
3.6
1.2 2.2
...
...
...
...
..
.
........
.....
...
..
.
.
...
..
...
..
...
...
...
...
...
..
.
..
...
.....
...
...
..
...
..
.
.
...
........
...
...
...
..
...
...
...
.
.
...
.....
...
...
...
...
...
...
..
.
.
...
........
...
....
...
...
.
....
.
.
......
.
.
........
....
.....
.... .........
........
.....
...
.......
......
.....
.
...
.
........
.
.
.
...
...........
.....
..........
............
.........
....
...............
......................................................................................................................................................................................................................................
40.2
40
30
25.6
20
14.4
3.6
6.6
1.2 2.2
Compact Disk
Digital Audio System,
12
10
(digital) , ,
, , 0
1, ,
(analog) disk
12, ,
74 , 1.5 106 bits/sec,
74 6 109 bits ,
,
15
, track ,
, CD
, 3.5 , track
8mm ,
0.5 106 ,
CD
, ,
CrossInterleaved Reed
24
28
= 43 , 34 ,
CD 6 109 bits ,
2 109 bits
4000 bits
, 2.5mm track,
8mm track, (detect)
, ,
, , ,
,