Modlisation des signaux

Dr. Wassim El Falou

Chapitre 2 : Estimation
Lestimation consiste calculer une quantit
alatoire partir une observation alatoire dun
signal quelconque
Le problme de lestimation est divise en deux
parties:
Estimation paramtrique: consiste estimer les
paramtres de la densit de probabilit poursuite par
la variable alatoire
Estimation non paramtrique: consiste estimer des
variables identifiant le processus alatoire sans
2
connatre sa densit de probabilit

Chapitre 2 : Estimation
paramtrique
Etant donne une variable alatoire x = [x1, x2 ,
, xN ]T , qui suit une densit de probabilit

f (x)

Un estimateur (x) est une variable alatoire qui

estime la paramtre suivant une critre
destimation quelconque, et pour une observation
quelconque de x

Chapitre 2 : Proprit dun

estimateur
Quelque soit lestimateur utilise pour , cet
estimateur est fonction de N (Nombre de
lobservation):

( x) = N ( x)

Il faut donc caractriser la qualit dun estimateur

par deux notions importantes:

Un estimateur est dite non baise si : E ( N ) = 0

E ( N ) =
il est asymptotiquement non baise si :Nlim

Chapitre 2 : Proprit dun

estimateur
Un estimateur est consistent si :

lim pr[| N |< ] = 1

c..d que lestimateur de converge en probabilit

vers la vrai valeur de
On peut dmontrer quune estimateur est consistent si
sa variance diminue lorsque N augmente.

Chapitre 2 : Estimation par le principe de

maximum de vraisemblance
On peut estimer en utilisant le principe de
maximum de vraisemblance et ceci en prenant
qui maximise la fonction f (x) pour une
observation quelconque x.

( x) = arg max f ( x)

Chapitre 2 : Estimation par le principe de

maximum de vraisemblance
Exemple: Etant donne un signal x[n] = A + b(n)
avec b un bruit blanc de moyen nulle et d'cart
type b . Estimer A en utilisant le principe de
maximum de vraisemblance?
( x A) 2

On a:
1
2.
f A ( x) =

2. . b

.e

2
b

Chapitre 2 : Estimation par le principe de

maximum de vraisemblance
Pour un vecteur dobservation on a:

f A ( x) =

N 1
n =0

1
.e
2. . b

( xn A ) 2
2. b2

puisque les observations sont indpendantes

On a alors :
N 1
( xn A) 2
Ln( f A ( x)) = ln( 2. . b )
2
2. b
n =0
8

Chapitre 2 : Estimation par le principe de

maximum de vraisemblance
Drivons par rapport xn
N 1
( xn A)

( Ln( f A ( x))) = 2.
2
xn
2. b
n =0

la fonction de vraisemblance est donc maximum

lorsque :

1
A=
N

N 1

x
n =0

n
9

Chapitre 2 : Estimation de la moyenne

La moyenne dun signal alatoire est estime par:

1
m=
N

N 1

x
n =0

Cest un estimateur non biaise et consistent.

10

Chapitre 2 : Estimation du variance

La variance dun signal alatoire est estime par:

1
=
N

N 1

(x
n =0

m)

Cest un estimateur biaise et consistent.

On le remplace donc par :

N 1

1
2
2
=
( xn m )

N 1 n =0
qui est non biaise et aussi consistent

11

Chapitre 2 : Estimation de lAutocorrlation

Lauto-corrlation dun signal alatoire est
estime par:
N 1|k |
1
Rx ( k ) =
xn + k xn ; | k |< N

N | k | n =0
Cest un estimateur non biaise et consistent,
mais sa variance est assez grand
12

Chapitre 2 : Estimation de lAutocorrlation

On le remplace par lestimateur:

1
Rx ( k ) =
N

N 1|k |

x
n =0

n+k

xn ; | k |< N

Cest un estimateur biaise et consistent, mais sa

variance est moins grand que lautre estimateur,
et il est parfois utilise dans la modlisation des
signaux
13

Chapitre 3 : Modlisation
La modlisation dun signal x(n) consiste lui
associer un filtre linaire qui, soumis un bruit
2

blanc gaussien de moyenne nulle et de variance

,reproduit ce signal le plus fidlement possible.

14

Chapitre 3 : Modlisation
Les objectifs essentiels de la modlisation dun
signal sont:
la description de son spectre par un ensemble trs
limit de paramtres.
lutilisation des paramtres pour dtecter des non
stationnarits dans un signal.
lutilisation des paramtres pour les problmes de
classification.

15

Chapitre 3 : Diffrents modles

Le modle le plus gnral dun signal
stationnaire correspond le considrer comme un
signal gnr par un filtre H ( z ) = B( z )
A( z )

excit par un bruit blanc gaussien de moyenne

2

nulle et de variance
avec:

B( z ) = bn .z n
n =0
p

A( z ) = an .z n ; a0 = 1
n =0

16

Chapitre 3 : Diffrents modles

Lquation aux diffrences relative un tel filtre
est la suivante :
p

n =0

n =0

xi = an .xi n + bn . i n + i

Le processus dcrit par ce modle sappelle un

processus ARMA (p, q).
17

Chapitre 3 : Diffrents modles

Dans le cas o A(z)=1, alors :
q

xi = bn . i n + i
n =0

et le processus sappelle processus MA(q)

(processus Moving Average dordre q).

18

Chapitre 3 : Diffrents modles

Dans le cas o B(z)=1, alors :
p

xi = an .xi n + i
n =0

et le processus sappelle processus AR(p)

(processus autorgressif dordre p).

19

Chapitre 3 : Prdiction linaire

Objectif:
En connaissant le pass d'un signal, le but est de
prdire sa valeur l'instant prsent.

x i = an .xi n
n =0

Le problme consiste estimer les coefficients ai

20

Chapitre 3 : Prdiction linaire Exemple

Prenons le cas le plus simple:

x i = a1.xi 1

Estimons tous dabord a1 par la mthode de

maximum de vraisemblance.

21

Chapitre 3 : Prdiction linaire

Exemple
On a:

xi = a1.xi 1 + i

On suppose que i suit une loi gaussien de

moyenne nulle et de variance 2 .
Supposons quon a un chantillon de N points.
La probabilit de vraisemblance est:
p ( x0 , x1 ,..., x N 1 ) = f ( 0 , 1 ,..., N 1 ) =
1

N 1

. exp[ ( xn + a1.xn 1 ) 2 / 2 2 ]. exp[ x02 / 2 2 ]

n =1

22

Chapitre 3 : Prdiction linaire Exemple

Prendre a1 de faon maximiser la
vraisemblance consiste minimiser la somme
N 1

(a1 ) = ( xn + a1.xn 1 ) 2 + x02

n =1

Drivons par rapport

et donc:
a1 =

N 1
(a1 )
a1: a = 2. ( xn + a1.xn1 ).xn1 = 0
n =1
1

x0 .x1 + x1.x2 + ... + x N 2 .x N 1

x 20 + x12 + ... + x N2 2
23

Chapitre 3 : Prdiction linaire Exemple

Estimons maintenant a1 par la mthode de YuleWalker (mthode dautocorrlation).
On a pour une processus stationnaire :
Rxx (1) = E[ xn .xn 1 ] = E[(a1.xn 1 + n ).xn 1 ] = a1.Rxx (0)

(1)

E[ xn2 ] = E[(a1.xn 1 + n ) 2 ] = a12 .E[ xn21 ] + 2

et donc

.(1 a ) = = Rxx (0).(1 a )

2
x

2
1

2
1

(2)

24

Chapitre 3 : Prdiction linaire Exemple

Les deux quations peuvent scrire de la faon
matricielle suivante:
Rxx (0) Rxx (1) 1 2

. =
Rxx (1) Rxx (0) a1 0

En remplaant les deux autocorrlations par leurs

estimations non biaise on peut trouver :
a1 et 2

Cest la mthode de Yule-Walker pour rsoudre

le problme de prdiction linaire.
25

Chapitre 3 : Prdiction linaire

On peut gnraliser cette rsultat pour obtenir
lquation matricielle suivante:
1 2
... ...
Rxx (0) Rxx (1) Rxx (2)
a1 0

Rxx (1) Rxx (0) Rxx (1) Rxx (2) ... 0

R (2) R (1) R (0) R (1) ... . a2 =
xx
xx
xx
. .
xx

...
...
...
...
...
.

Ce forme matricielle sappelle matrice de

Teoplitz.

26

Chapitre 3 : Cas du processus AR

Dans le cas dun processus AR dordre p
lquation devient:
Rxx (1)
Rxx (2)
... ... Rxx ( p ) 1 2
Rxx (0)

a
Rxx (0)
Rxx (1) Rxx (2) ... Rxx ( p 1) 1 0
Rxx (1)
. a2 = .
R (2)
R
R
R
R
p

(
1
)
(
0
)
(
1
)
(
2
)
... xx
xx
xx
xx

xx
...
...
... ... ...
. .
...
a 0
R ( p ) R ( p 1)
...
R
(
0
)
...
...
xx
xx
p
xx

27

Chapitre 3 : Cas du processus

AR-Mthode de Yule-Walker
Dans la mthode de Yule-Walker on remplace les
autocorrlations par leurs estimations non
biaise.

1
Rxx (k ) =
N

N 1|k |

x
n =0

n+k

xn ; k = 0,1,..., p

28

Chapitre 3 : Cas du processus

AR-Mthode de Yule-Walker
La mthode de Yule-Walker repose sur le
remplacement de la minimisation statistique de
lerreur de prdiction par une minimisation de
cette erreur sur lensemble des donnes x0, .,
xN-1. Il sagit donc de minimiser la somme :
N + p 1

n =0

f2
p

( n) =

N + p 1

( x + a .x
n =0

k =1

nk

c..d minimiser lerreur quadratique Forward .

29

Chapitre 3 : Cas du processus

AR-Mthode de Yule-Walker
Une code Matlab illustre cette mthode est la suivante:
noise = randn(50000,1); % Normalized white Gaussian noise
x = filter(1,[1 1/2 1/3 1/4],noise);
x = x(45904:50000);
%YULE_WALKER AR ESTIMATION
p=3;
R=xcorr(x,p,'biased');
R=R(p+1:end);
RR=toeplitz(R);
a=inv(RR(2:end,2:end))*(-R(2:end))
a=a';
e=sum(R'.*[1 a])
%Same result using the bult in Matlab function
[aa,vee]=aryule(x,3)

30

Chapitre 3 : Comparaison entre

signaux rel et estime
%First, create the signal data as the output of an autoregressive process
%driven by white noise. Use the last 4096 samples of the AR process output to
%avoid start-up transients
noise = randn(50000,1); % Normalized white Gaussian noise
x = filter(1,[1 1/2 1/3 1/4],noise);
x = x(45904:50000);
%Compute the predictor coefficients, estimated signal,
%prediction error, and autocorrelation sequence of the prediction error:
a = lpc(x,3);
est_x = filter([0 -a(2:end)],1,x); % Estimated signal
e = x - est_x;
% Prediction error
[acs,lags] = xcorr(e,'coeff');
% ACS of prediction error
31

Chapitre 3 : Comparaison entre

signaux rel et estime
%Compare the predicted signal to the original signal:
plot(1:97,x(4001:4097),1:97,est_x(4001:4097),'--');
title('Original Signal vs. LPC Estimate');
xlabel('Sample Number'); ylabel('Amplitude'); grid;
legend('Original Signal','LPC Estimate')
%Look at the autocorrelation of the prediction error:
figure(2)
plot(lags,acs);
title('Autocorrelation of the Prediction Error');
xlabel('Lags'); ylabel('Normalized Value'); grid;

32

Chapitre 3 : Comparaison entre

signaux rel et estime
Autocorrelation of the Prediction Error

Original Signal vs. LPC Estimate

1.2

3
Original Signal
LPC Estimate

0.8
Normalized Value

Amplitude

-1

0.4

0.2

-2

-3

-4

0.6

10

20

30

40
50
60
Sample Number

70

80

90

100

-0.2
-5000 -4000 -3000 -2000 -1000

0
Lags

1000

2000

3000

4000

33

5000

Chapitre 3 : Algorithme de
Levinson
Lalgorithme de Levinson consiste rsoudre
lquation de Yule-Walker dune faon
rcursive.
^
^
p 1 ^
^
R( p i ). a p 1 (i )) / p 1
K p = ( i
=0
^
a p (0) = 1
^
^
^
^

a p (n) = a p 1 (n) + K p . a p 1 ( p n); n = 2,..., p 1

^
^
a p ( n ) = K p

^
^ 2
^
p = p 1 (1 K p )

34

Chapitre 3 : Algorithme de
Levinson
Les coefficients Kp sappelle les coefficients de
rflexion.
Lalgorithme de Levinson est dordre O(N2),
tandis que lalgorithme de Gauss est O(N3).

35

Chapitre 3 : Choix de lordre du

modle
Dans le cas de signaux rels, et lorsquils sont
modliss par un modle AR, lordre du modle
nest pas connu a priori. Plusieurs critres
peuvent tre utiliss pour la slection de lordre,
ces critres tant principalement fonds sur
lvolution de lerreur de prdiction.
Deux critres sont proposs par Akaike. Le
premier est lerreur de prdiction finale (FPE)
Lerreur de prdiction finale est dfinie pour un
processus AR par :
36

Chapitre 3 : Choix de lordre du

modle
Lerreur de prdiction finale est dfinie pour un
processus AR par :
N + ( p + 1)
)
FPE ( p ) = p (
N ( p + 1)
^

avec N le nombre dchantillons, p lordre du

modle, et lestime de la variance du bruit
blanc lordre p. Lordre choisi est celui qui rend
la fonction FPE minimale.
37

Chapitre 3 : Choix de lordre du

modle
Le deuxime est le critre AIC (Akaike
Information Criterion) . La fonction AIC pour un
processus AR est donne par :
^

AIC ( p ) = N .Ln( p ) + 2. p
Comme prcdemment lordre choisi est celui
qui minimise la fonction AIC
38