2009 SCE Evaluation Programmes Ameliorer Potentiel

À qui et à quoi sert l’évaluation ?
Quelques pistes pour améliorer le

potentiel d’influence d’une
évaluation
Marie Gervais, Ph.D.

marie.gervais@msp.ulaval.ca
Conférence 2009 de la SCÉ

Objectifs visés
Se familiariser avec les facteurs contribuant à
rehausser l’utilité d’une évaluation
Se familiariser avec les éléments qui viennent
renforcer la qualité de la pratique évaluative
Comprendre les éléments de contexte et les
conditions d’action qui permettent l’actualisation du
potentiel d’influence d’une évaluation
Sensibiliser l’évaluateur à sa responsabilité quant à
l'utilisation de l’évaluation
4 défis à relever pour l'évaluateur!

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Nos défis et cibles aujourd’hui…
Utilité
Utilisation Qualité
Influence

Mise en contexte
de l'atelier
D'où on part ce matin…
Praticiens de l'évaluation, gestionnaires,
décideurs, bailleurs de fonds, vous êtes les
bienvenus!
Un atelier qui explore des notions
transversales à différentes approches
théoriques et méthodologiques
Un atelier qui abordent certaines conditions
et stratégies visant à optimiser le succès
d'une démarche d'évaluation

..

Quelles sont les stratégies que
vous utilisez dans votre
pratique pour vous assurer
que vos évaluations « font une
différence, la différence
voulue »…?
Défi #1
Rehausser l’utilité d’une

évaluation
Rehausser l'utilité…
4 cibles privilégiées
À qui sert l'évaluation?
À quoi sert l'évaluation?
Le lien avec le cycle de gestion
La gestion de la proximité avec les décideurs

"The evaluator's primary
function is to maximize
intended uses by intended
users of evaluation data"
Cousins, Donohue & Bloom (1996)

Défi #1 : Rehausser l'utilité
d'une évaluation
1.1 À qui sert l'évaluation?

Ce qu'en dit C.Weiss…
Qui sont les premiers utilisateurs de l'évaluation?
Pour qui est-ce que je réalise l'évaluation?
Qui a commandé l'évaluation?
Qui est concerné par l'évaluation?
Qui est intéressé par les résultats d'évaluation?
Qui utilisera les résultats d'évaluation et à quelles
fins?
Qui est le preneur de décision?
Comment les utilisateurs potentiels peuvent-ils être
impliqués dans l'évaluation?
(1994)
Standards - AEA
Standard - Utility
U2 Attention to Stakeholders
Evaluations should devote attention to the full
range of individuals and groups invested in the
program or affected by the evaluation
U3 Negociated Purposes
Evaluation purposes should be identified and
revisited based on the needs of stakeholders
and intended users
Standards - AEA (2)
Standard - Utility
U4 Explicit Values
Evaluations should clarify and specify the
individual and cultural values underpinning the
evaluation purposes, processes, and judgments
U5 Relevant Information
Evaluation information should serve the
identified and emergent needs of intended users

Acteurs potentiels…
Ceux qui ont développé le programme
Celui qui financent le programme, les organismes
donateurs, commanditaires
D’autres pourvoyeurs de ressources
Le mandataire de l’évaluation
Les gestionnaires du programme (et organisation)
Les intervenants du programme
Les utilisateurs du programme
Les bénéficiaires indirects du programme
Ceux qui sont exclus du programme
Les bénévoles du programme
Acteurs potentiels… (2)
Les partenaires en amont et en aval du
programme
Les autres organisations intéressées par le
programme ou qui offrent un programme similaire
Ceux qui risquent d'être impactés par l'évaluation
Les décideurs régionaux, centraux
Les organismes qui accordent un agrément, une
accréditation
Le public en général
Les groupes communautaires, associations,
groupes d’intérêt incluant ceux qui peuvent avoir
un agenda politique différent de l’agenda officiel
© Etc.
UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Une analyse essentielle…
Parties Rôle Réponse

Intérêts Influence Enjeux
prenantes stratégique
…
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (UNSSC)
Exemple…
Parties Réponse
Intérêts Influence Rôle Enjeux
prenantes stratégique
Financier Déterminante Décisionnel Arrêt du $$$ Com. Pilotage

Bailleurs
Stop - prog. Résultats
+/-
Usagers Utilisateurs Accès Consulta-

Gains santé Faible
services tion?
Intervenants
terrain

Ce que nous avons appris
de la pratique…
S'assurer de la pertinence de l'évaluation
• Qu'elle soit bien ancrée sur les préoccupations des parties
prenantes / clients
Bien connaître besoins d'informations et attentes
• Clarifier les objectifs de l'évaluation et obtenir consensus
• Gérer les priorités, divergence, asymétrie
S’assurer que le plan d’évaluation et la composition
de l’équipe d’évaluation correspondent bien aux
besoins des clients
Gérer les parties prenantes (stakeholders)
• Le réalisme de leurs attentes
• Leurs dynamiques
• Les types et niveaux de participation
d'une évaluation
1.2 À quoi sert l'évaluation?

Utilisations potentielles…
Summative
Accountability
evaluation
Decide a Judge merit

program’s future Audits
or worth
Accreditation
Quality control
/ Licensing
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (Patton, 2005)

Utilisations potentielles… (2)
Formative
evaluation
Adapt a model Identify strengths
locally and weaknesses
Manage more Improve Continuous

effectively programs improvement
Being a learning Quality

organization enhancement
Utilisations potentielles… (3)
Generalizations Extrapolate principles

about effectiveness about what works
Policy making Generate

Theory building
knowledge
Scholarly Synthesize patterns

publishing across programs
de la pratique…
Faire le bon choix quant à l'objet / au programme à
évaluer
Critères de sélection:
• Poids stratégique face à la problématique initiale
• Approche novatrice, projet pilote
• Potentiel d'apprentissage
• Potentiel de transférabilité dans d'autres contextes
Obtenir consensus sur l’utilité attendue de l’évaluation
Déterminer l'opportunité d'effectuer une évaluation
• Faisabilité, timing, etc.
• Considérant le niveau de ressources et le temps
disponibles
d'une évaluation
1.3 Le lien avec le

cycle de gestion
"There is nothing a
government hates more than
to be well-informed; it makes
the process of arriving at
decisions much more
complicated and difficult"
John Maynard Keynes
Une étude réalisée au
Québec…
Fréquence Sources les + utilisées
d'utilisation des • Expérience personnelle
différentes sources • Collègues
d'information dans la • Réseau professionnel
prise de décision…. Sources les - utilisées
Domaine de la santé • Résumés de recherche
ou d'évaluation
Décideurs: 41 • Personnel de
Sources recherche ou
d'information: 16 d'évaluation
Composantes de la prise
de décision
Expérience
Évidence Jugement
Ressources Valeurs
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (Government Social Research Unit, UK, 2008)

Pratiques décisionnelles
Opinion-Based Practice
Evidence-Based Practice
Increasing Pressure
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (Gray, 1997)

L’évaluation comme partie
prenante du cycle de gestion
Planification
… …
Évaluation
Mise en oeuvre

Quelques constats…
Encore trop peu d'incitatifs à l'évaluation
• Sous investissement
Compétition avec d'autres besoins plus immédiats
• Réorientation des fonds
• Services directs à la population
Non intérêt face à des résultats potentiellement
embarrassants ou contraignants
Créer des incitatifs pour l'évaluation et utilisation
des connaissances associées
Faire reconnaitre la pertinence et le besoin de ce
type d'information pour la gestion
de la pratique…
S'assurer d'une planification précoce de l'évaluation
dans le cycle de vie d’une
politique/programme/projet
Prévoir les ressources nécessaires (humaines et
$$$)
• Protéger les ressources et budget dans le temps
S'assurer d'une collecte d'informations pendant la
phase d'implantation
Gérer le facteur temps: Source de tension
potentielle
© S'assurer d'une capacité à livrer une information...
• À jour et en temps opportun

de la pratique… (2)
Reconnaître les valeurs prédominantes en
présence
Comprendre le système et les conditions
sociopolitiques dans lesquelles les décisions
seront prises
S'assurer d'une capacité d'ajustement aux
changements observés dans l'environnement
politique

d'une évaluation
1.4 La gestion de la proximité

avec les décideurs
Quelle proximité …
Quel positionnement …
Quel pouvoir / influence …
… l'évaluateur a-t-il besoin dans ses

interactions aves les décideurs pour assurer le
succès d’une évaluation?

Où se situe l'évaluateur par
rapport à l'organigramme?
Organigramme
Où se situe la personne avec qui il est

principalement en interface?
Comment se situe l'évaluateur
par rapport aux acteurs clés?
Sociogramme
Quelles sont les personnes avec qui il interagit?

Où se situe-t-il dans le réseau d'échanges?
Combien d'influence / pouvoir
est attribué à l'évaluateur?
Diagramme en
A pointe de tarte
5%
15%
35%
0%
B
20% 15%
30%
10%
25%
20% 25%
Que dire de sa crédibilité et de celle de son équipe?

• Des changements dans le temps?
Quelle est sa marge de manœuvre?
de la pratique…
Obtenir du soutien du plus haut palier hiérarchique
• S'assurer d'attentes réalistes de leur part
Clarifier son positionnement par rapport aux
décideurs
• Déterminer et réévaluer régulièrement son pouvoir
d'influence - En gérer les impacts
• Influencer ceux qui influencent
Travailler à l'élaboration et au maintien du lien de
confiance
S'assurer d'espaces suffisants d'échanges tout au
long du processus
Diversifier ses stratégies de communication et
s'assurer de leur efficacité
© • Que le message soit entendu!
Défi #1: Rehausser l'utilité…
À qui sert l'évaluation?
À quoi sert l'évaluation?
Le lien avec le cycle de gestion
La gestion de la proximité avec les décideurs

Défi #2
Renforcer la qualité de la
pratique évaluative
Renforcer la qualité…
La gestion de l'évaluation
La gestion de la qualité
La gestion des risques
Le développement d'une pratique réflexive

Gestion de l'évaluation

"If you don't know where
you're going, you'll end up
somewhere else"
Yogi Berra
Défi #2 : Renforcer
la pratique évaluative
2.1 La gestion de l'évaluation

Gestion de l'évaluation
Un message clé… S’OUTILLER!
Bien connaître l’objet d’évaluation
• Théorie du programme, modèle logique, ou
autre forme de descriptif du programme
Utiliser une matrice d'évaluation

• Choix conceptuels, méthodologiques et …
• Assurance pour pertinence, cohérence,
faisabilité

Modèle logique… Une étape
préalable
Facteurs d’influence
Situation Intrants Activités Extrants Résultats

("Ce que nous ("Ce que nous ("Ce que nous ("Ce que nous réalisons")
initiale investissons") faisons") produisons")
Court terme Moyen terme Long terme
Objectifs
Priorités
d’action
Hypothèses
a ires
© ULa rten
P / CSSSVC - Marie Gervais - 31 / 05 / 09
Exemple de modèle logique…
Cible: Personnel appelé à agir à titre d’accompagnateurs pour
l’approche École en Santé de 3 réseaux:
• Commission scolaire
Une journée de formation sur l’approche École en Santé aux intervenants de 3 réseaux
• Québec en Forme (QEF)
(CSSS, QEF et Commission Scolaire)
• Centre de Santé et de Services Sociaux (CSSS)
Partenaires : Objectifs :
• Gestionnaires des trois réseaux • Permettre l’appropriation de l’approche École en Santé
• Direction régionale de Santé Publique • Favoriser une meilleure connaissance de l’approche et des fonctions
• Ministère de l’Éducation, Loisirs et Sports associées au rôle d’accompagnateur
• Permettre une meilleure connaissance des 3 réseaux
Intrants Activités Extrants Résultats court, moyen et long terme
Ressources humaines assignées à la Planification : Court terme (journée de formation) :

7 heures de formation offerte
préparation de la formation : Logistique : • ↑ connaissance des réseaux
• CSSS : 1 kinésiologue • Réservation de salle et 12 personnes formées • Tisser des liens
équipe 0·5·30 1jour/sem d’équipement audio-visuel • Réflexion sur les alliances
(4 intervenants CSSS, 4
pendant 1 mois • Réservation du traiteur pour repas • ↑ niveau de connaissance ÉeS et son utilisation
intervenants QEF, 4 intervenants
• Commission scolaire : 1 conseiller • Préparation des pochettes scolaire) • Présenter et s’approprier le rôle de l’accompagnateur
pédagogique ½jour/sem pendant 1 d’informations • Susciter la motivation vis-à-vis l’approche
mois • Préparation de la fiche d’évaluation Une évaluation de la journée
• QEF : 1 agent de développement Moyen terme (un an post formation) :
réalisée
½jour/sem 1 mois • Liens tissés entre les intervenants des 3 réseaux
Contenu :
• Planification du déploiement :
• Séance de préparation/mise en Matériel remis aux intervenants :
Ressource formatrice : − Critères de sélection des écoles
contexte dans chacun des trois • 24 pochettes
• 1 personne ressource − Processus de sélection
réseaux d’informations
externe − Identification des écoles
• 24 gourdes remises
• 15 hrs préparation − Définition du soutien
Activité de formation : • 24 feuilles plastifiées remises
• 8 hrs formation • Sélection de 5 écoles par territoire
• Planification du contenu de la
formation Long terme (2 ans post formation):
Ressources matérielles : • Dispenser la formation sur • Mise en œuvre du déploiement
• Équipement audio-visuel l’approche École en Santé (ÉeS) • Rencontres stratégiques en vue du déploiement
• Pochettes d’informations
• Clarification des rôles et attentes
• Feuilles de présentation de l’approche Activité d’évaluation : • Création d’un comité École en Santé dans chaque
plastifiée • Faire compléter la fiche d’évaluation école ciblé
• Gourdes à chacun des participants • Création de 5 Écoles École en Santé par territoire
Ressources physiques : • Réalisation d’au moins trois activités École en Santé
• Location de salle
par école ciblée
• Coût des repas
• Planification du processus de sélection pour cibler
nouvelles écoles
• S’assurer de la pérennité des comités en place

Exemple de matrice…
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (UW-Extension, 2002)

Exemple de matrice… (2)

(UW-Extension, 2002)
Gestion de l'évaluation (2)
Développer un plan de gestion de l'évaluation

• Temps, budget, ressources
• Équipe d'évaluation, parties prenantes: tâches,
responsabilités
• Mécanismes de communication, diffusion
• S'aider de logiciels (Microsoft Project, GANTT,
etc.)

Microsoft Project
Planification initiale du déroulement du projet
Suivi de l’avancement du projet

Gestion de l'évaluation (3)
Informer, discuter, valider, pré tester,
s'ajuster
• Flexibilité
• Marge de manœuvre
Utiliser un comité de pilotage (ou autre comité)

• Rôle: Stratégique vs Opérationnel
• Fonction: Consultatif vs Décisionnel

de la pratique…
Gérer le décalage entre les besoins et attentes des
parties prenantes en rapport à la démarche
d’évaluation
• Étendue irréaliste de l’évaluation
• Difficulté à anticiper les bénéfices pour les utilisateurs
• Rétroaction p/r à la démarche d’évaluation
(modifications au plan, résultats préliminaires)
Gérer l'incompréhension face à l’aspect
méthodologique de l’évaluation
• Présence de contraintes de temps - Besoins à plus
court terme des utilisateurs
• Exigences liées à la rigueur méthodologique
2.2 La gestion de la qualité

Gestion de la qualité
Un enjeu de taille…
Assurer l'arrimage continu entre le mandat
d'évaluation, l'évolution du processus, le
calendrier, les ressources utilisées…
• Mécanisme de rétroaction
• Repérage des sources de menace à la qualité
• Contrôle de la qualité
Assurer le respect des normes et standards
d'évaluation

Standards d'évaluation - AEA
Program Evaluation Standards
3e édition en voie de finalisation
Voir document de référence

Utility
U1 Evaluator Credibility
U2 Attention to Stakeholders
U3 Negotiated Purposes
U4 Relevant Information
U5 Explicit Values
U6 Meaningful Processes and Products
U7 Timely and Appropriate Communication and Reporting
U8 Concern for Consequences and Influence

Feasability
F1 Project Management
F2 Practical Procedures
F3 Contextual Viability
F4 Resource Use

Propriety
P1 Responsive and Inclusive Orientation
P2 Formal Agreements
P3 Human Rights and Respect
P4 Clarity and Fairness
P5 Transparency and Disclosure
P6 Conflicts of Interests
P7 Fiscal Responsability

Accuracy
A1 Justified Conclusions and Decisions
A2 Valid Information
A3 Reliable Information
A4 Explicit Program and Context Descriptions
A5 Information Management
A6 Sound Designs and Analyses
A7 Explicit Evaluation Reasoning
A8 Communication and Reporting

Evaluation Accountability
E1 Evaluation Documentation
E2 Internal Metaevaluation
E3 External Metaevaluation

de la pratique…
Viser des standards élevés
Faire de preuve de jugement
Reconnaître et accepter qu'on a pas toujours le
contrôle sur le contexte d’évaluation
Déterminer les compromis possibles sans
menacer la qualité
Développer la capacité d'adaptation au
changement
• Personnel, structure organisationnelle, conditions
politiques, budgets, etc.
• Garder des traces …
2.3 La gestion des risques

Gestion des risques
Objectif
Développer une approche qui permettra
d’identifier les risques touchant l’évaluation,
d’en estimer les impacts potentiels et d’agir en
conséquence
Risques présents au départ / Risques
émergeant en cours de route
Réévaluation périodique nécessaire

Cycle de gestion des risques

(AUSaid, 2005)
Matrice de gestion des risques
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (AUSaid, 2005)

de la pratique…
Être bien "branché" pour détecter tout risque
potentiel
• Informateurs clés
• Mécanisme d'alerte
Adopter une attitude proactive

• Analyse des impacts
• Marge de manœuvre
• Capacité d'ajustement
• Liaison avec les parties prenantes

2.4 Le développement d'une

pratique réflexive
Quelques constats…
Compétence sous-développée
• Faiblesse de la formation (dont universitaire)
Faible intégration dans la pratique

Mentors peu disponibles
Exigences et rythme de la pratique peu facilitant

Et la sagesse de l'évaluation?
Nous réservons-nous le temps nécessaire pour…
Examiner ce qui a bien fonctionné?
• Célébrons nos "bons coups"!
…Et examiner ce qui n’a pas bien fonctionné?

…Et donc ce qui aurait pu être fait autrement?
• Ne pas répéter les erreurs du passé
• Learning from losers
Et la méta évaluation?

Standards - AEA
Standard - Evaluation Accountability
E2 Internal Metaevaluation
Evaluators should use these and other applicable
standards to examine the accountability of the
evaluation design, procedures employed,
information collected and outcomes
E3 External Metaevaluation
Program evaluation sponsors, clients, evaluators
and other stakeholders should encourage the
conduct of external metaevaluations using these
and other applicable standards
Concrètement…
Comment?
Recours aux standards
Personne externe
Comité de pilotage
Collègues / Réseau professionnel
Mentor
Communauté de pratiques
Quand?
Une fois le plan élaboré
Lors de moments clés du processus d’évaluation
À la fin de la démarche
Liste de pointage
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (www.wmich.edu/evalctr/checklists)

de la pratique…
À intégrer comme une étape formelle de
l'évaluation
• Temps, ressources, responsabilité, ..
Prévoir un temps de partage des leçons
dégagées et apprentissages
• Entre évaluateurs
• Avec les parties prenantes
À utiliser comme soutien au développement de
• La culture d'évaluation
• La capacité en évaluation
Défi #2: Renforcer la qualité…
La gestion de l'évaluation
La gestion de la qualité
La gestion des risques
Le développement d'une pratique réflexive

Défi #3
Actualiser le potentiel
d’influence d’une évaluation
Actualiser le potentiel
d'influence…
La gestion du facteur politique lié à la
démarche d'évaluation
Devenir stratège

Défi #3 : Actualiser le
potentiel d'influence d'une
évaluation
3.1 La gestion du facteur
politique
Ce qu'en disent certains
leaders en évaluation…
" Evaluation is as much a political as a
scientific practice."
(T. Schwandt)
" Evaluation is fundamentally a matter of

persuasion and argumentation, not
demonstration of proof."
(E. House)

Selon C. Weiss…
Political factors “intrude” upon evaluations
in 3 ways:
1. The policies and programs with which evaluation
deals are themselves the products of political
decisions;
2. Because evaluation supports decision making, its
reports become political documents; and
3. Evaluation, by its very nature, makes implicit
political statements (such as those challenging the
legitimacy of certain program goals or
implementation strategies.
(Whorthen, Saunders & Fitzpatrick, 1997)

Selon E. Chelimsky…
Evaluators are often subject to partisan attacks
intended to discredit them and their evaluation,
for fear of what the evaluation may reveal.
• " Efforts to discredit an evaluation based on recognized
standards of practice will often follow after pressures on
the evaluator−varying from gentle through acute to outright
intimidation−have failed. . .
• It is true that the shortcomings of evaluators are real and
important to address; however, in my experience, the chief
barrier to producing useful evaluations lies not in the
evaluator but in the evaluation milieu, which may or may
not allow the evaluator to be truthful about the merits of
the program or policy that has been evaluated."
(1995)
Quelques éléments de définition
Politics
“The exercising of power to influence the direction and
use of an evaluation for the benefit of one or more
groups of program stakeholders”
(Owen, 2007)
“The art or science concerned with winning and holding

control
Activities characterized by artful and often dishonest
practices
The total complex of relations between people living in
society”
(Merriam-Webster's Collegiate Dictionary)
Quelques éléments de définition (2)
" First, we see political influence as having to do
with obtaining, retaining, and exercising formal or
informal control over individuals or collectives of
individuals in ways that shape activities, policies,
and directions of those entities.
Second, and more loosely, we have come to think
of political influences as the sum total of everything
that operates to influence and evaluation but is
outside of the evaluator’s personal control (i.e.,
does not include the methods, techniques, and
interpersonal capabilities of the evaluator). "
(Whorten, Saunders & Fitzpatrick, 1997)

Et que disent les normes et
standards de pratique en
évaluation?
Feasability Standard
F2 Contextual Viability
Evaluations should recognize, monitor, and
balance the cultural and political interests and
needs of individuals and groups.

(2)
Evaluations that recognize and balance the needs of
individuals and special interest groups incorporate:
• Accurate and on-going analysis of the evaluation context,
purpose, and situation so that needs and capacities of
evaluation stakeholders and interest groups are factored in;
• Sensitivity to evaluation stakeholders, their needs, and their
potential effect on the evaluation as well as awareness of how
their needs and influence may change during the evaluation;
• Evaluation procedures and methodologies that support and
facilitate feasibility and the efficiency and effectiveness of the
evaluation; and
• Ongoing communication as a planned evaluation procedure that
supports and maintains cultural and political viability needed for
evaluation feasibility.

Autres référents
Lignes directrices de la SCÉ en matière
d’éthique
Compétence
Intégrité
Imputabilité
Standard AEA - Propriety

P6 Conflicts of Interests
Evaluators should openly and honestly identify and
address real or perceived conflicts of interests that
may compromise the evaluation
de la pratique…
Ne pas oublier que…
L'évaluation est à la fois…
• Un acte technique et
• Un acte sociopolitique!
Il y a « macro-politics » et « micro-politics »

Ne pas oublier que pour influencer la prise de
décision…
L'analyse de l'environnement sociopolitique et
des acteurs est essentielle, ce qui inclut la
prise en compte
• du contexte
• des agendas des différents groupes d’acteurs
aux différents étapes de l’évaluation
• de la structure formelle et informelle de pouvoir
dans l’organisation
• des conditions et valeurs caractérisant la prise de
©
décision
Défi #3 : Actualiser le
potentiel d'influence d'une
évaluation
3.2 Devenir stratège

Quelques pratiques gagnantes
1. Analyser le contexte
2. Identifier les parties prenantes, leurs intentions,
leurs leviers d'action
3. Maitriser son environnement professionnel
4. Développer son réseau de production
d’informations
5. Adopter une attitude « active-proactive-
adaptative »

1. Analyser le contexte
Dans quel contexte vais-je planifier et/ou faire
progresser le processus évaluatif?
• Terrain "neuf" ou expérimenté?
• Terrain facilitant ou terrain miné?
Avec qui est-ce que je serai en interface?
• Connaisseur de l'évaluation ou néophyte?
• Positionnement par rapport au pouvoir?
Quels sont les éléments qui viendront affecter
le processus évaluatif et sur lesquels je
pourrais agir?
1. Analyser le contexte (2)
Historique Rationnel politique
Conjoncture Ce qu'en dit la littérature
Orientations (incluant la littérature grise)
Culture Évaluations antérieures, s'il
Valeurs y a lieu… et leurs impacts
Normes / Règles Théorie du programme
Ressources Environnement systémique
Compétences du programme
Besoins Evaluand
Opportunités
Contraintes

2. Identifier parties prenantes,
intentions et leviers d'action
Déterminer qui détient le pouvoir, l'influence
• Pas toujours les mêmes organisations, les
mêmes groupes d'acteurs, les mêmes individus
Identifier…
• Ce qu’ils ont à perdre, ce qu’ils ont à gagner
• Leurs "armes"
• Qui sont les "alliés", les "adversaires" , les "non-
alignés"
Estimer…
• Les rapports de force
• Les zones de tensions
Et la variation dans le temps?
Comprendre et suivre les fluctuations du
pouvoir, de l'influence dans une organisation,
dans un projet
Situer les cycles des individus et des
organisations
Se rappeler que rien ne se perd, rien ne se
crée - Mouvance dynamique où rien n’est fixé
de façon permanente
• Départ, arrivée, succès, échec de quelqu'un
modifie, libère du pouvoir…
• Qui va le récupérer, en être affecté?
3. Maîtriser son environnement
professionnel
Être dans le flot des relations, des échanges
• Être dans le trafic
Bien connaître les liens entre les personnes, les
dynamiques relationnelles, les alliances
Identifier les joueurs clés, ceux sur qui je peux
compter pour influencer
• Suivre par l’organigramme, le sociogramme et le
diagramme en pointe de tarte
Identifier les champions, s'y coller ou les mettre
en valeur selon le cas
4. Développer son réseau de
production d'informations
Être informé
• La clé du pouvoir si accès à temps
Circuits informels d'information : Y être!
Meilleure façon d'influencer!
• Prendre le temps de développer l'informel
(réseau, informateurs clés)
• Basé sur la confiance réciproque
• Un service en appelle un autre
ET… être là où l'influence s'exprime
• Réunions, comités

5. Adopter une attitude
"active-proactive-adaptative"
Se permettre multiples perspectives, multiples
angles d'analyse d'une situation et des
possibilités d'actions associées
Lire dans le jeu de l'autre
Anticiper les mouvements et impacts générés
par chaque stratégie d'action (pour les alliés et
pour les adversaires)
• Quelle stratégie semble offrir l'impact le plus
significatif?
• Voir les obstacles pour mieux les affronter

5. Adopter une attitude
"active-proactive-adaptative" (2)
Tel un joueur d'échecs… les fameux "trois coups"
• Observer les changements de positionnement et
leurs répercussions
Ajuster selon la marge de manœuvre dont on
dispose
• Contexte, temps, ressources
Déterminer la qualité de l'adhésion finale
recherchée

de la pratique…
Compétence, expertise et crédibilité…
• Leviers nécessaires mais insuffisants pour
assurer notre potentiel d'influence comme
évaluateur
À développer…
• Habileté de lecture et sensibilité à la
dimension politique d'une évaluation
• Habileté d'intervention afin d'agir en
conséquence de l'échiquier politique
Défi #3: Actualiser le potentiel
d'influence…
La gestion du facteur politique lié à la
démarche d'évaluation
Devenir stratège

Défi #4
Optimiser l'utilisation de
l'évaluation
Ce qu’en dit M.Q. Patton…
“A psychology of use undergirds and informs
utilization-focused evaluation:
• intended users are more likely to use evaluations if
they understand and feel ownership of the evaluation
process and findings;
• they are more likely to understand and feel ownership
if they've been actively involved;
• by actively involving primary intended users, the
evaluator is training users in use, preparing the
groundwork for use, and reinforcing the intended utility
of the evaluation every step along the way.”
(1998)
Optimiser l'utilisation…
La gestion de la diffusion des résultats
La gestion du changement
Une préoccupation de pérennité

Défi #4 : Optimiser
l'utilisation de l'évaluation
4.1 La gestion de la
diffusion des résultats
Standards - AEA
Standard - Utility
U7 Timely and Appropriate Communication
and Reporting
Evaluations should attend in a timely and on-going
way to the reporting and dissemination needs of
their audiences
U8 Concern for Consequences and
Influence
Evaluations should promote responsible and
adaptive use while guarding against misuse
Standards - AEA
Standard - Accuracy
A8 Communication and Reporting
Evaluation communications should have adequate
scope and guard against misconceptions, biases,
distortions, and errors
Standard - Propriety
P5 Transparency and Disclosure
Evaluations should provide complete descriptions of
findings, limitations, and conclusions to all
stakeholders unless doing so would violate legal or
propriety obligations
Diffusion efficace…
Contexte?
Comprendre les conditions politiques dans
lesquelles les résultats vont être utilisés
Être vigilant p/r au timing entre le moment où les
résultats seront accessibles et les besoins du
cycle de décision et de gestion
• Meilleur devis méthodologique vs devis adéquat?
Considérer le « qui va implanter les
recommandations »
Tenir compte et s'adapter au contexte et aux
changements politiques, organisationnels,
© humains
Diffusion efficace… (2)
À qui? Quoi? Format? Quand? Par qui?
Dès le départ (plan, mandat, TdR), penser
transfert, compréhension, appropriation et
utilisation des informations générées par
l'évaluation
• Clarifier les attentes, balises déterminées par le
client/bailleur
• Prévoir un plan de diffusion / une matrice?
• Prévoir un plan B si changements au plan ou si
délais dans la réalisation de l’évaluation

Qui sont les groupes ciblés?
Besoin d’informations de chacun…
• … Et utilisations attendues
Conditions de succès
• Maintien de la communication avec les principales
parties prenantes
Besoin de rétroaction quant aux résultats émergents
Aide à la compréhension et l'interprétation des résultats
Accompagnement au-delà du dépôt du rapport?
• Mécanismes de liaison, de communication
Avec le terrain / Avec les décideurs
Comité de pilotage / Agent de liaison / Interlocuteur
privilégié / …
Quels résultats sont à diffuser?
Résultats intérimaires
Résultat finaux
Résultats à prioriser?
Une attention particulière…
Résultats sensibles ou les "mauvaises nouvelles"
• Prévoir les mécanismes si émergence…
• Éviter les surprises, préparer le terrain…
Diffusion prématurée des résultats
• En gérer les conséquences
Utilité des résultats même mineurs
Préoccupation d’applicabilité dans différents
©
contextes
Et les recommandations?
Non En faire? Oui
Liste de
… recommandations
Scénario A / Scénario Recommandations

B / Scénario C / … clés

Qui sera porteur?
Est-ce que le format, le contenu et la
fréquence sont adéquats compte tenu des
groupes ciblés?
Meilleur scénario
Format "1-3-25" de la FCRSS
Messages clés et façon de porter le message
• Qui est la meilleure personne pour porter le message?
Capacité à parler le langage des différentes parties
prenantes
• Utiliser leur logique
• Sortir du jargon professionnel spécialisé
• Valoriser le visuel
de la pratique…
S’assurer en tout temps de la crédibilité de l'équipe
d'évaluation et de la démarche d’évaluation
• Utilisation très souvent proportionnelle à la crédibilité
et au lien de confiance développé
Clarifier dès le départ les droits d’édition et les

droits d’auteur
Attention, diffuser n'est pas une garantie
d'utilisation!
Demeurer vigilant p/r à la possibilité de mauvaise
©
utilisation ou de mauvaise interprétation des
résultats
Maintenir la mobilisation face à l’évaluation
• Intérêt présent chez les parties prenantes à améliorer
la situation
Réceptivité / Responsabilisation
• Identification d’une personne responsable des suites
de l’évaluation
• Soutien présent des différents paliers hiérarchiques
• Climat politique favorable
• Ajustement du calendrier de diffusion au besoin

4. 2 La gestion du
changement
Attentes p/r évaluateurs
Rôle à jouer? Niveau de responsabilité?
Présence d’une clause
• Mandat / Contrat / TdR
Variabilité selon le positionnement
• Évaluateur interne vs Évaluateur externe
Présence ou non d’une logique de soutien,
d’accompagnement intégrée dans la démarche
d’évaluation

Gestion du changement
Évaluer l'impact sur l'organisation et sur les
principaux acteurs
• Quelle est la réaction face au changement
annoncé?
• Quelle est le degré de tolérance face aux risques,
à l'incertitude, aux transitions?
• Qui a des intérêts divergents ou convergents?
• Quelles ressources vont être modifiées?
• Qui a déjà affirmé une position semblable?
• Y a-t-il eu un post mortem de tout projet similaire
au sein de l'organisation?
Gestion du changement (2)
Qui sont les acteurs clés de la transformation?
• Identifier les champions
• Évaluer le degré d'implication nécessaire des
personnes clés
Quelles sont les forces en faveur du
changement?
• Les repérer et les appuyer
Quelles sont les forces qui s’opposent au
changement?
• Les repérer et les réduire
Utiliser une échelle de résistance
• Ex: de – 3 à +3
Que faire du passé? Signification du passé?
• Gestion des repères… anciens / nouveaux
Comment soutenir le changement?
• L’information (données probantes) Un outil
essentiel
• Arrimage des objectifs de différents groupes
d’acteurs
• Les incitatifs au changement… + / -
• Soutien des différents paliers hiérarchiques
• Maintien du momemtum
• Disponibilité de l’évaluateur post-évaluation
Élaborer un plan stratégique pour préparer et
instaurer le changement
Prévoir un Plan B pour toutes les interventions
Évaluer les besoins d'informations / de
formation
• Préparer les communications de base
• Faire des présentations préalables
• Prévoir de la formation, au besoin
Instaurer un comité d'implantation
• Partager les responsabilités
© Réajuster, récompenser
de la pratique…
Le changement est avant tout humain
• Se rappeler que c’est l’humain et non la structure
qui va actualiser le changement au quotidien
Donner un sens au changement
S'assurer de la cohérence
• Entre le passé et le présent
• Entre le discours et l'action
Miser sur les bons acteurs
Favoriser la participation
• En opposition avec une approche top down
Jusqu'où investir temps et efforts pour favoriser
la compréhension et l'appropriation des
résultats?
Qu'est-ce qui appartient à l'évaluateur et qu'est-
ce qui appartient au milieu, au contexte?
Jusqu'où doit aller l'évaluateur dans ses
différents rôles?
• Expert
• Communicateur, traducteur, médiateur et
éducateur
• Promoteur des résultats de l'évaluation
4.3 La préoccupation
de pérennité
Quelques éléments clés
L'approche d'évaluation utilisée
• Participation active aux différentes étapes du
processus d’évaluation
Appropriation de la démarche par les « locaux »
• Partage d’expertises face au projet d’évaluation
• Habilitation des acteurs clés p/r démarche
• Implication des personnes pouvant faciliter le
changement

Quelques éléments clés (2)
L'arrimage avec les processus organisationnels
existants
• Gestion par résultats
•S&E
• Sens pour l’organisation?
Une culture organisationnelle qui facilite
La présence des ressources et expertises
nécessaires
Un apport réel et concret au changement
organisationnel
• Capacité à alimenter la prise de décision
• Potentiel réel d'intégration dans la pratique / sur le
terrain
de la pratique…
Soutenir le développement d'une culture
d'évaluation
Soutenir le développement de la capacité à
réaliser des évaluations
Contribuer au développement d'un corpus de
connaissances

Optimiser l'utilisation…
La gestion de la diffusion des résultats
La gestion du changement
Une préoccupation de pérennité

Merci!

2009 SCE Evaluation Programmes Ameliorer Potentiel

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

2009 SCE Evaluation Programmes Ameliorer Potentiel

Uploaded by

Copyright:

Available Formats

À qui et à quoi sert l’évaluation ?

Quelques pistes pour améliorer le

Marie Gervais, Ph.D.

Conférence 2009 de la SCÉ

4 défis à relever pour l'évaluateur!

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Rehausser l’utilité d’une

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Cousins, Donohue & Bloom (1996)

1.1 À qui sert l'évaluation?

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Parties Rôle Réponse

Financier Déterminante Décisionnel Arrêt du $$$ Com. Pilotage

Usagers Utilisateurs Accès Consulta-

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

1.2 À quoi sert l'évaluation?

Decide a Judge merit

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (Patton, 2005)

Manage more Improve Continuous

Being a learning Quality

Generalizations Extrapolate principles

Policy making Generate

Scholarly Synthesize patterns

1.3 Le lien avec le

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (Government Social Research Unit, UK, 2008)

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (Gray, 1997)

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

• À jour et en temps opportun

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

1.4 La gestion de la proximité

… l'évaluateur a-t-il besoin dans ses

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Où se situe la personne avec qui il est

Quelles sont les personnes avec qui il interagit?

Que dire de sa crédibilité et de celle de son équipe?

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

2.1 La gestion de l'évaluation

Utiliser une matrice d'évaluation

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Situation Intrants Activités Extrants Résultats

Court terme Moyen terme Long terme

Intrants Activités Extrants Résultats court, moyen et long terme

Ressources humaines assignées à la Planification : Court terme (journée de formation) :

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (UW-Extension, 2002)

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Développer un plan de gestion de l'évaluation

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Suivi de l’avancement du projet

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

Utiliser un comité de pilotage (ou autre comité)

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

2.2 La gestion de la qualité

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09

© UL / CSSSVC - Marie Gervais - 31 / 05 / 09