Analyse, présentation et interprétation

des résultats d'une méta-analyse

Michel Cucherat
TrialResults-center.org
Hypothèse - Modèle

 Les résultats des essais varient

d'un essai à l'autre du fait du
hasard

 Ces résultats fluctuent de

manière aléatoire autours
d'une valeur commune
 But de la MA : estimer cette
valeur commune

Valeur
commune
Vraie valeur - valeur observée

Réalité Résultat de
(modèle) l'essai
fluctuations
aléatoires
vraie valeur valeur observée

vrai OR OR observé
vrai ET ET observé
Principe statistique

 Le but de la MA est de prendre en compte ces fluctuations dues

au hasard (suppression du bruit de fond)
 et de fournir une estimation moins sujette à ces variations que
l'estimation donnée par un seul essai
Combinaison des effets traitements correcte

T. étudié T. contrôle Effet du traitement

Essai 1 x1/n1 x0/n0

Essai 2 x1/n1 x0/n0

Essai 3 x1/n1 x0/n0

Essai 4 x1/n1 x0/n0

Effet
regroupement regroupement
global
Paradoxe de Simpson

Essai T+ T- OR
1 18/60 36/120 1.00
30% 30%
2 84/120 42/60 1.00
70% 70%
Total 102/180 78/180 0.58
56% 43%
Combinaison des effets traitements

T. étudié T. contrôle Effet du traitement

Essai 1 x1 x0 e

Essai 2 x1 x0 e

Essai 3 x1 x0 e

Essai 4 x1 x0 e

Effet
global
Principe fondamental de la méta-analyse

 Ne pas regrouper les patients

– car les sujets ne sont pas comparables d'un essai à l'autre
 Regrouper les estimations de l'effet traitement
– en faisant l'hypothèse que le traitement a le même effet dans tous les
essais

hypothèse d'homogénéité
Modèle fixe

Modèle Résultats

Essai 1 vrai ET ET observé 1

Essai 2 vrai ET  ET observé 2 ˆi  Yi
Essai 3 vrai ET ET observé 3

MA vrai ET estimation MA

– à partir d'une série ˆ ˆ d'estimation du même effet traitement

1 k
– trouver la meilleure estimation possible du vrai effet traitement
Résultats statistiques

 Effet traitement commun

– moyenne pondérée par l'inverse de la variance
– plus un essai est précis,
plus sa contribution est forte
– si un essai est prépondérant il masque complément les autres essais
– intervalle de confiance
 Test de l'existence de l'effet traitement
– test d’association
 Test de l'hypothèse d'homogénéité
– test d’hétérogénéité ou mesure de l’hétérogénéité
Graphique de méta-analyse
Evénements coronariens
Risque relatif, modèle fixe

T+ T-

Colestipol 54/1149 74/1129

WHO clofibrate 185/5331 222/5296

LRCCPPT 155/1906 187/1900

HHS 56/2051 84/2030

West of Scotland 174/3302 248/3293

AFCAPS/TexCAPS 163/3304 215/3301

Total 0.761,p<0.001 787/17043 1030/16949

Het. Cochran Q p=0.70 Cas/Effectifs

Risque relatif 0.4 0.5 0. 6 0.8 1.0
 in-hospital mortality
Risque relatif, modèle fixe (IC 95%)
Essai T. étudié T. controle Graphique RR [IC95%]
n/N n/N
Ribichini 0 / 24 0 / 26 1.08 [0.00; 269.25]
Gibbons 2 / 47 2 / 56 1.19 [0.17; 8.14]
PAMI 5 / 195 13 / 200 0.39 [0.14; 1.09]
Grinfeld 5 / 54 6 / 58 0.90 [0.29; 2.76]
Ribeiro 3 / 50 1 / 50 3.00 [0.32; 27.87]
Zwolle 3 / 152 11 / 149 0.27 [0.08; 0.94]

Global p ass=0.07 0.58 [0.32; 1.05]

Het. entre les 6 essais p=0.38 , I2=5% 0.0 1 5.0
A comparison of the analgesic efficacy and side-effects of
paravertebral vs epidural blockade for thoracotomy
British Journal of Anaesthesia 96 (4): 418–26 (2006)
A comparison of the analgesic efficacy and side-effects of
paravertebral vs epidural blockade for thoracotomy
British Journal of Anaesthesia 96 (4): 418–26 (2006)
Calcul (1)

Effectifs Evénements Risques

Essai n1 n0 x1 x0 r1 r0
Essai A 100 100 24 35 0.24 0.35
Essai B 234 242 55 95 0.24 0.39
Essai C 56 34 12 12 0.21 0.35
Essai D 345 500 77 180 0.22 0.36

r1 = x1 / n1
Calcul (2)

Risques
Essai r1 r0 RR d=Log(RR) Var (log RR) w
Essai A 0.22 0.37 0.595 -0.520 0.0525 19.1
Essai B 0.24 0.38 0.634 -0.456 0.0199 50.3
Essai C 0.21 0.38 0.560 -0.579 0.1130 8.9
Essai D 0.21 0.36 0.577 -0.551 0.0145 68.9

147.1

RR = r1 / r0 w=1/var

var = 1/x1-1/n1+1/x0-1/n0
Calcul (3)

Essai d=Log(RR) w d*w

Essai A -0.377 19.9 -7.51
Essai B -0.513 49.3 -25.26
Essai C -0.499 8.4 -4.18
Essai D -0.478 73.3 -35.04

150.8 -71.99

dc -0.48 dc = Sd*w / Sw
RRc=Exp(dc) 0.62

var( log RRc) 0.0066 var( log RRc) = 1 / Sw

Hétérogénéité - graphique

Essai 1
Essai 2
Essai 3
Essai 4
Global
0 0.5 1 1.5 2
Absence d'hétérogénéité

Essai 1
Essai 2
Essai 3
Essai 4
Essai 5
Global
OR
0 0.5 1 1.5 2
Hypothèse d'homogénéité

 Hypothèse omnibus
– H0 : 1   2     i

 Hétérogénéité
– rejet de l'hypothèse nulle
– Acceptation de l'hypothèse alternative :

 j ,  j   i  j
Hétérogénéité

 Sous l'hypothèse d'homogénéité i ˆi 

– ˆi  ˆ vaut en moyenne zéro

 Test d'hétérogénéité

ˆ 
Q   wi  i  ˆ 2

– distance pondérée
– nulle en cas d'homogénéité parfaite
– Chi² à k-1 ddl
I²

 % de la variabilité totale non explicable par le hasard, du à une

vraie variabilité de l'effet traitement dans les essais
  het  ddl 
2

I  max  0,
2
  100%
 het
2
 
 varie de 0% à 100%
 Problème d'extrapolabilité du résultat si I²>70%

 Il existe un autre indice important tau 2

– Lié au modèle aléatoire
Deux types d’hétérogénéité

 Hétérogénéité des caractéristiques des essais

– patients
– traitements
– etc.

 Hétérogénéité statistique des résultats

– taille de l’effet obtenu différente d’un essai à l’autre
Statut de l'hétérogénéité

 Nuisance
– utilisation d'un modèle aléatoire
– hypothèse forte sur l'hétérogénéité (gaussienne)
 Informative
– recherche des sources de l'hétérogénéité
– "explication" de l'hétérogénéité en fonction des caractéristiques des
études
– témoin de l'existence d'interactions
– Sous groupe, méta-régression
 Modèle aléatoire

var. inter essai var. intra essai

Modèle Modèle
Résultats
général essai

Essai 1 vrai ET 1 ET observé 1

Essai 2 vrai ET vrai ET 2 i ET observé 2

Essai 3 vrai ET 3 ET observé 3

MA vrai ET estimation MA
var = t2
Modèle fixe - aléatoire

 Modèle fixe
– modèle simple
 Modèle aléatoire
– variabilité structurelle de l'effet traitement
– variabilité aléatoire ?
– forme de la distribution ?
– prise en compte d'une certaine hétérogénéité
(mais ne l'explique pas)
– diminution de puissance
Analyse en sous groupe
analyse de sensibilité

Analyse en sous groupe Analyse de sensibilité

•essai 1 •essai 1
•essai 2 MA SG 1 •essai 2 MA n° 1
•essai 3 •essai 3 (SG 1)

•essai 1
•essai 4 •essai 2
MA SG 2
•essai 5 •essai 3 MA n° 2
•essai 4 (SG1 +SG2)
•essai 5
Utilisation

 Analyse de sensibilité bonne

étude de l’influence d’un facteur qualité
pouvant biaisé la méta-analyse
bonne qualité
qualité + moyenne

 Analyse en sous groupes

comparaison indirecte de
l’influence d’un facteur sur l’effet
du traitement Duke B

Duke C
Constitution des sous groupes (1)

Essai 1
(10 mg)

Essai 2 Sous groupe

(10 mg) 10 mg

Essai 3
(10 mg)

Essai 4 Sous groupe

(20 mg)
20 mg
Essai 5
(20 mg)
Constitution des sous groupe (2)

<=60 ans
Essai 1
>60 ans
Sous groupe
<=60 ans <= 60 ans
Essai 2
>60 ans

<=60 ans
Essai 3 Sous groupe
> 60 ans

Essai 4
>60 ans
Méta-régression

 ORi=a+b*Xi+ei

 difficultés
– OR n'est pas distribué normalement
– OR est une variable bornée à gauche par 0
– log(OR) mais interprétation difficile
– en général peu de dispersion des valeurs Xi

 solution
– analyse en sous groupes
– univarié
Méta-régression - Exemple

Lancet online sept 2005

Retour sur l’hétérogénéité - Tau 2

 Variance du vrai effet traitement dans le modèle aléatoire

 Meilleure mesure de l’hétérogénéité
– Insensible au nombres d’essais
• Contrairement à Q
– Insensible à la taille des essais
• Contrairement au I2
• 1-I2 = pourcentage de variabilité du aux erreurs d’échantillonage
• Quand les essais augmentent en taille  1-I2 diminue  I2 tends vers 100%

 Utilisation
– Prendre tau = racine (tau2)
– Unité de la variable (log RR pe)
– Mesure la pertinence clinique de l’hétérogénéité
CAD devant l’hétérogénéité

 Tau2 =0
– Regroupement des résultats
• Avec un modèle fixe ou un modèle aléatoire
 Tau2 <>0 mais cliniquement non pertinente
– Regroupement des résultats avec un modèle aléatoire
– Recherche de l’explication de l’het. non obligatoire

 Tau2 <>0 et mais cliniquement pertinente

– Recherche de l’explication de l’het. obligatoire
– Eventuellement regroupement des résultats avec un modèle aléatoire
Logiciels

 Meta-analyst
 Revman
– www.cochrane.org
 Macro stata
 Comprehensive MA
 EasyMA.net
– www.spc.univ-lyon1.fr/easyma.net
 EasyMA
– www.spc.univ-lyon1.fr/~mcu/easyma
Multiplicité des méthodes de calcul

 Mesure multiplicative
– Risque relatif
• modèle fixe, variance minimum
• Greenlands et Robins
• modèle aléatoire
– Odds ratio
• modèle fixe, variance minimum
• Mantel-Haenszel (Greenlands et Robins)
• modèle aléatoire
• Peto
• Maximum de vraisemblance
Multiplicité des méthodes de calcul

 Mesure additive
– Différence des risques
• modèle fixe, variance minimum
• Greenlands et Robins,
• modèle aléatoire
RECHERCHE D’UN BIAIS DE PUBLICATION
Funnel plot - sans biais de publication

500

400

300
Effectif

200

100

0
-0.04 -0.02 0 0.02 0.04

Taille de l'effet traitement

Funnel plot - avec biais de publication

500

400

300
Effectif

200

100

-0.04 -0.02 0 0.02 0.04

Taille de l'effet traitement

Funnel plot of randomised controlled trials comparing topical non-
steroidal anti-inflammatory drugs with placebo (asymmetry P=0.04)
Jinying Lin,Weiya Zhang, Adrian Jones, Michael Doherty. Efficacy of topical non-steroidal anti-
inflammatory drugs in the treatment of osteoarthritis: meta-analysis of randomised controlled trials. BMJ,
doi:10.1136/bmj.38159.639028.7C (published 30 July 2004)
Funnel plot des résultats concordants
Egger M BMJ 1996
Funnel plot des résultats discordants
Egger M BMJ 1996
A meta-analysis of the angiotensin-converting enzyme gene polymorphism
and restenosis after percutaneous transluminal coronary revascularization:
Evidence for publication bias.
Willem R. P. Agema, MD^J. Wouter Jukema, MD, PhD, FESC, FACC,-*^ Aeiiko H. Zwinderman, PhD,1' and E. E. van der
Wall, MD, PhD, FESC, FACC'1'" Leiden and Utrecht, The Netherlands
Am Heart J 2002; 144:760-8.
Test simple du biais de publication

 Log (OR) = a +b *precision

 si FP symétrique
– b=0
– a = Log(OR commun)

 si FP asymétrique
– b <> 0
INTERPRÉTATION – NIVEAU DE PREUVE
Niveau de preuve

 Place de la méta-analyse dans la démonstration de l'effet

 Effet démontré (plus haut niveau de preuve)

– MA concluante sans hétérogénéité
– avec au moins un essai concluant
 Effet suggéré
– MA concluante sans hétérogénéité
– sans essai concluant
Etidronate for treating and preventing postmenopausal osteoporosis
Cranney A, Welch V, Adachi et al.
Osteoporosis International, 2001
Conclusions raisonnable d’une méta-
analyse

 Le bénéfice clinique est démontré par au moins un essai concluant, la méta-

analyse :
– vérifie la cohérence externe de ce (ces) résultats et permet de démonter
définitivement l’efficacité
– permet d’estimer au mieux la taille de l’effet
– permet d’explorer les sous groupes, etc.

 Il n’y a pas d’essais concluant, la méta-analyse :

– permet d’explorer si les 1er données disponibles laissent espérer une efficacité
– permet de construire l’essai de confirmation

 Dans tous les cas, la méta-analyse permet de faire l’état des lieux de façon
objective et performante
Utilisation de la MA en safety

 MA montrant un surcroit d’EI

– Intérêt : seule approche à même de détecter un signal en cas d’EI rares
– Limites : multiplicité, post hoc, zéros, recueil de l’information
– À interpréter comme un signal

 Essai montrant un surcroit d’EI

– MA test la cohérence externe de ce résultat
– Protection contre les résultats du au hasard
Avantages de l’interprétation
globale - 3 exemples

 1er exemple

 Un essai de grande taille (1000 patients) montre bien l’efficacité

du traitement
Lancet 2003; 361: 2017–23
2ème exemple

 Deux essais
– le premier mené en Europe de l’Est est concluant
– le second réalisé aux US est non concluant
 Conclusion
– l’effet du traitement n’est pas le même aux US et en Europe
– car les contextes de soins sont différents
3ème exemple

 3 essais ont été réalisés pour évaluer le même traitement

 ils sont tous négatifs
 conclusion : ce traitement n’a pas d’efficacité
MÉTA-ANALYSE EN RÉSEAU
MA en réseau

Psaty BM, Lumley T, Furberg CD, Schellenbaum G, Pahor M, Alderman MH,

Weiss NS.
Health outcomes associated with various antihypertensive therapies used as first-
line agents: a network meta-analysis.
JAMA. 2003 May 21;289(19):2534-44.
PMID: 12759325

 OBJECTIVE: To summarize the available clinical trial evidence

concerning the safety and efficacy of various antihypertensive
therapies used as first-line agents and evaluated in terms of
major cardiovascular disease end points and all-cause mortality
Difficultées

 Utilisation d’une méthode Bayesienne

– introduction d’une information initiale (apriori)
– l’apriori doit être non informatif
• normal (mean=0, variance=100) pour les paramètres
• gamma (0·0001, 0·0001) pour les précisions
– le résultat ne soit pas dépendre de l’apriori
 Utilisation d’une méthode itérative
– test de la convergence
– pour obtenir la convergence il faut souvent mettre un apriori pas trop
non-informatif
 Effet « boite noire »
– Estimation global
– La précision de A vs C dépend de toutes les autres comparaisons du
réseaux
Incohérence du réseau

A A

0.4 0.6 -0.6 0.5

C D C D

0.6 -0.4 0.6

0.5

B B

A vs B /C = 0.4+0.6=1 A vs B /C=-0.6-0.4=-1
A vs B /D = 0.6+0.5=1.1 A vs B /D = 0.6+0.5=1.1
Mesure de l'effet traitement

 Quantification de la taille de l'effet du traitement

 Quantité d'effet
• mesurée par des indices d'efficacité
 Indices
– critères binaires
• risque relatif
• odds ratio
• différence des risques
• nombre de sujet nécessaire de traiter
– critères continus
• différence des moyennes
• "effect size"
Mesure de l'effet traitement :
Critères binaires

 Les plus utilisés

 Fréquence de survenu (risque) d'un événement
– dans de groupe contrôle R0
– dans le groupe traité R1

 Comparaison directe de R0 et R1
– courante
– mais valeur de R0 très sensible
• à la définition du critère
• aux caractéristiques des patients
• aux fluctuations aléatoires (comme R1)
Risque Relatif

 RR = RT / RC

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25
Grp C 56 176 56 / 176 = 0.32

RR = 0.25 / 0.32 = 0.79

 Réduction Relative de Risque

RRR = 1 - 0.79 = 21%
Risque relatif, interprétation

– RR < 1 (RT < RC)

• le traitement réduit la fréquence de l'événement
• effet bénéfique
– RR > 1 (RT > RC)
• le traitement augmente la fréquence de l'événement
• effet délétère
– RR = 1 (RT = RC)
• le traitement est sans effet

RR 0 0.25 0.5 0.75 1 1.25 1.5 1.75 2

effet bénéfique 1 effet délétère

fréquence sous traitement < fréquence sans traitement fréquence sous traitement > fréquence sans traitement
 Exemple
Odds ratio

RT / 1  RT 
OR 
RC / 1  RC 
Ev. Effectif Risque
Grp T 45 180 45 / 180 = 0.25
Grp C 56 176 56 / 176 = 0.32

OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71

 L'odds ratio est une approximation du risque relatif

Relation entre RR et OR

L’OR n’est proche du RR que si le risque de base est faible (<0.4)

1.0
Odds-ratio

0.8
0.6
0.4 RR=0.8
0.2
0.0
0.00 0.25 0.50 0.75 1.00
Risque de base dans le groupe contrôle
Mesure de l'effet :
Différence des risques

 DR = RT - RC

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25
Grp C 56 176 56 / 176 = 0.32

DR = 0.25 - 0.32 = -0.07 = -7%

 Absence d’effet DR = 0
Différence des risques - Interprétation

 Absence d’effet DR = 0

DR -0.20 -0.15 -0.10 -0.05 0 0.05 0.10 0.15 0.20

effet bénéfique effet délétère

fréquence sous traitement < fréquence sans traitement 0 fréquence sous traitement > fréquence sans traitement
Mesure de l’effet
Nombre nécessaire de traiter NNT

 NNT = Nb de patients nécessaire de traiter pour éviter UN

événement
 NNT = 1 / DR
1 / 0.07 = 14
 Intérêts
– signification «clinique»
 Limites
– personnalise trop le bénéfice
– calcul de l’intervalle de confiance
NNT
erreurs d’interprétation

 14 sujets à traiter pour éviter 1 événements

 sur 14 patients un seul bénéficie du traitement
 NNT = Nombre moyen
– tous les patients bénéficient un peu du traitement
– en moyenne cela équivaut à un événement évité pour NNT patients
traiter

There's a lot of expensive technology. Some of it provides benefit

for only a tiny fraction of patients and at great cost" to everybody
else, Sox says. With breast cancer, for example, 800 women must
be screened for 13 years to prevent a single death.
Application numérique (1)

 4S : statine, prévention secondaire

– n = 2223 + 2221
– 11,5% vs 8,2%
– 4,9 ans
 WOSCOPS : statine, prévention primaire
– n = 3293 + 3302
– 4,1% vs 3,2%
– 5,4 ans
 ISIS 2 : fibrinolyse, IDM
– n = 8595 + 8592
– 12,0% vs 9,2%
– 5 sem.
Application numérique (2)

RR DR NNT
4S 0.71 3.3% 30
WOSCOPS 0.78 0.9% 112
ISIS 2 0.77 2.8% 36
Relation entre Rc et BA

R0=50% R1=25% RR=0.5 DR=25%

R0=1% R1=0.5% RR=0.5 DR=0.5%
R0=10% R1=5% RR=0.5 DR=5%
Bénéfice absolu - relative

 Bénéfice absolu
– Différence de risque
– Santé publique
– Conséquence du traitement
 Bénéfice relatif
– Risque relatif
– Indice "explicatif"
– Efficacité du médicament
BA et durée de suivi

S t DR
fig . d
1 0

0.8 0.02

0.6 0.04

0.4 0.06

0.2 0.08

0 0.1
t
0 5 10 15 20 25 30 0 5 10 15 20 25 3
critères quantitatifs