Professional Documents
Culture Documents
Utilité
Utilisation Qualité
Influence
U3 Negociated Purposes
Evaluation purposes should be identified and
revisited based on the needs of stakeholders
and intended users
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Standards - AEA (2)
Standard - Utility
U4 Explicit Values
Evaluations should clarify and specify the
individual and cultural values underpinning the
evaluation purposes, processes, and judgments
U5 Relevant Information
Evaluation information should serve the
identified and emergent needs of intended users
…
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09 (UNSSC)
Exemple…
Parties Réponse
Intérêts Influence Rôle Enjeux
prenantes stratégique
Intervenants
terrain
Summative
Accountability
evaluation
Accreditation
Quality control
/ Licensing
Expérience
Évidence Jugement
Ressources Valeurs
Opinion-Based Practice
Evidence-Based Practice
Increasing Pressure
Planification
… …
Évaluation
Mise en oeuvre
0%
B
20% 15%
30%
10%
25%
20% 25%
Renforcer la qualité de la
pratique évaluative
Renforcer la qualité…
4 cibles privilégiées
La gestion de l'évaluation
La gestion de la qualité
La gestion des risques
Le développement d'une pratique réflexive
Yogi Berra
Défi #2 : Renforcer
la pratique évaluative
Objectifs
Priorités
d’action
Hypothèses
a ires
© ULa rten
P / CSSSVC - Marie Gervais - 31 / 05 / 09
Exemple de modèle logique…
Cible: Personnel appelé à agir à titre d’accompagnateurs pour
l’approche École en Santé de 3 réseaux:
• Commission scolaire
Une journée de formation sur l’approche École en Santé aux intervenants de 3 réseaux
• Québec en Forme (QEF)
(CSSS, QEF et Commission Scolaire)
• Centre de Santé et de Services Sociaux (CSSS)
Partenaires : Objectifs :
• Gestionnaires des trois réseaux • Permettre l’appropriation de l’approche École en Santé
• Direction régionale de Santé Publique • Favoriser une meilleure connaissance de l’approche et des fonctions
• Ministère de l’Éducation, Loisirs et Sports associées au rôle d’accompagnateur
• Permettre une meilleure connaissance des 3 réseaux
Et la méta évaluation?
E3 External Metaevaluation
Program evaluation sponsors, clients, evaluators
and other stakeholders should encourage the
conduct of external metaevaluations using these
and other applicable standards
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Concrètement…
Comment?
Recours aux standards
Personne externe
Comité de pilotage
Collègues / Réseau professionnel
Mentor
Communauté de pratiques
Quand?
Une fois le plan élaboré
Lors de moments clés du processus d’évaluation
À la fin de la démarche
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Liste de pointage
4 cibles privilégiées
La gestion de l'évaluation
La gestion de la qualité
La gestion des risques
Le développement d'une pratique réflexive
Actualiser le potentiel
d’influence d’une évaluation
Actualiser le potentiel
d'influence…
2 cibles privilégiées
La gestion du facteur politique lié à la
démarche d'évaluation
Devenir stratège
Il y a « macro-politics » et « micro-politics »
Devenir stratège
Optimiser l'utilisation de
l'évaluation
Ce qu’en dit M.Q. Patton…
“A psychology of use undergirds and informs
utilization-focused evaluation:
• intended users are more likely to use evaluations if
they understand and feel ownership of the evaluation
process and findings;
• they are more likely to understand and feel ownership
if they've been actively involved;
• by actively involving primary intended users, the
evaluator is training users in use, preparing the
groundwork for use, and reinforcing the intended utility
of the evaluation every step along the way.”
(1998)
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Optimiser l'utilisation…
3 cibles privilégiées
La gestion de la diffusion des résultats
La gestion du changement
4.1 La gestion de la
diffusion des résultats
Standards - AEA
Standard - Utility
U7 Timely and Appropriate Communication
and Reporting
Evaluations should attend in a timely and on-going
way to the reporting and dissemination needs of
their audiences
U8 Concern for Consequences and
Influence
Evaluations should promote responsible and
adaptive use while guarding against misuse
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Standards - AEA
Standard - Accuracy
A8 Communication and Reporting
Evaluation communications should have adequate
scope and guard against misconceptions, biases,
distortions, and errors
Standard - Propriety
P5 Transparency and Disclosure
Evaluations should provide complete descriptions of
findings, limitations, and conclusions to all
stakeholders unless doing so would violate legal or
propriety obligations
© UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Diffusion efficace…
Contexte?
Comprendre les conditions politiques dans
lesquelles les résultats vont être utilisés
Être vigilant p/r au timing entre le moment où les
résultats seront accessibles et les besoins du
cycle de décision et de gestion
• Meilleur devis méthodologique vs devis adéquat?
Considérer le « qui va implanter les
recommandations »
Tenir compte et s'adapter au contexte et aux
changements politiques, organisationnels,
© humains
UL / CSSSVC - Marie Gervais - 31 / 05 / 09
Diffusion efficace… (2)
À qui? Quoi? Format? Quand? Par qui?
Dès le départ (plan, mandat, TdR), penser
transfert, compréhension, appropriation et
utilisation des informations générées par
l'évaluation
• Clarifier les attentes, balises déterminées par le
client/bailleur
• Prévoir un plan de diffusion / une matrice?
• Prévoir un plan B si changements au plan ou si
délais dans la réalisation de l’évaluation
Liste de
… recommandations
résultats
Ce que nous avons appris
de la pratique… (2)
Maintenir la mobilisation face à l’évaluation
• Intérêt présent chez les parties prenantes à améliorer
la situation
Réceptivité / Responsabilisation
• Identification d’une personne responsable des suites
de l’évaluation
• Soutien présent des différents paliers hiérarchiques
• Climat politique favorable
• Ajustement du calendrier de diffusion au besoin
4. 2 La gestion du
changement
Attentes p/r évaluateurs
Rôle à jouer? Niveau de responsabilité?
Présence d’une clause
• Mandat / Contrat / TdR
Variabilité selon le positionnement
• Évaluateur interne vs Évaluateur externe
Présence ou non d’une logique de soutien,
d’accompagnement intégrée dans la démarche
d’évaluation
4.3 La préoccupation
de pérennité
Quelques éléments clés
L'approche d'évaluation utilisée
• Participation active aux différentes étapes du
processus d’évaluation
Appropriation de la démarche par les « locaux »
• Partage d’expertises face au projet d’évaluation
• Habilitation des acteurs clés p/r démarche
• Implication des personnes pouvant faciliter le
changement
La gestion du changement