You are on page 1of 9

Nicolas Subileau Alix de Saint-Albin Consultants Pluricit Sophie Vallet Chevillard, Consultante Inno-TSD nsubileau@pluricite.fr asaintalbin@pluricite.fr s.valletchevillard@inno-group.

com

QUA-T-ON FAIT DE LVALUATION AVEC LA CRISE ? UN MONSTRE DIFFORME AU SERVICE DE LA POLITIQUE PAPA ?
Dans le cadre de latelier 5 Le contexte de tensions risque-t-il de pervertir les dmarches valuatives et leurs consquences ? Introduction La crise bancaire, financire et conomique qui a touch la France lt 2008 a eu de profondes consquences sur les finances publiques. Les pouvoirs publics ont d, dans le mme temps, dune part faire face une baisse des recettes et dautre part financer la sortie de crise par le renflouement du systme financier et la mise en place de plans de relance. La crise financire sest mue en une crise budgtaire, qui accentue encore une tendance lourde la rduction des marges de manuvres financires des institutions publiques1 2. Il est galement certain que les problmatiques de rductions budgtaires ne pourront tre satisfaites par la seule optimisation de moyens (pour illustration, les conomies ralises en trois ans par la RGPP sont quivalentes au dficit creus par lEtat en deux semaines3). Ce contexte induit invitablement un climat de tensions sur les budgets, qui se reflte sur les choix politiques et sur les jeux de partenariats dans les situations nombreuses de cofinancements. En quoi ce contexte, qui nest certes pas nouveau, mais seulement renforc par le contexte de tension budgtaire, peut-il affecter lvaluation ? A premire vue, on peut sattendre ce qumerge une demande plus forte pour des valuations axes sur lefficience budgtaire. Lvaluation pourrait ainsi tre de plus en plus convoque pour accompagner la rduction des primtres et des ambitions de programmes dintervention publique. Mais au-del, linstallation dun contexte de tensions budgtaires durables interroge plus profondment les formes et les conditions de lvaluation. En effet, le phnomne de tension budgtaire croise celui de linstitutionnalisation de lvaluation, qui se traduit notamment par un renforcement des incitations, voire contraintes, portes sur les gestionnaires de programmes publics pour la mise en place dvaluations. Lintersection de
1

Voir notamment le rapport annuel de lobservatoire des finances locales de 2010 sous la direction dAndr Laignel. 2 Ironiquement, au moment o la lgitimit de lintervention de lEtat venait tre soudainement renforce par son intervention au secours des organismes financiers privs 3 Le Ministre du Budget avance le chiffre de 7 milliards deuros conomiss par la RGPP entre 2009 et 2011, mettre en rapport avec le dficit de lEtat denviron 380 milliards sur la mme priode (cf. CMPP5 du 9 mars 2011)

ces phnomnes fait apparaitre un risque croissant de mise en place dvaluations reculons , intentionnellement ou fortuitement dformes par rapport aux standards en cours drection, que ce soit par dsintrt du commanditaire pour la dmarche dvaluation, ou au contraire pour rpondre un intrt particulier. Lobjectif de cette communication est dillustrer une tendance qui, mme si elle nest pas nouvelle, semble prendre de lampleur ces derniers temps dformer et dvaluer lexercice dvaluation. Dans les exemples sur lesquels nous nous appuierons, la finalit des valuations nest pas tant la mesure des impacts dun programme ou dune politique que la runion de conditions propres rduire les engagements financiers des commanditaires. Ces exercices, nous en avons tous connus en tant quvaluateurs. La priode de crise et la tendance quelle dessine nous invite relire ces expriences pour en reprer les invariants, les fondements, les limites et opportunits afin daider la doctrine de lvaluation sadapter au contexte venir. Ignorer que lvaluation peut avoir pour raison dtre essentielle de rduire la consommation budgtaire reviendrait raisonner bien navement partir dun monde thorique idalis. Au contraire, quipons lvaluation pour faire face aux enjeux des pouvoirs publics de laprs 2008. Dans un premier temps, nous numrerons, de manire non exhaustive, diffrentes situations dvaluation dgrades prsentant des difformits que les contextes de tension ont imposes lvaluation. Dans un deuxime temps, partir des principes de la charte dvaluation, nous tenterons de tirer quelques lignes denseignement pour un modle dvaluation plus adapt la ralit de la commande publique dvaluation. Partie 1 : Des situations dvaluation dgrades A/ Une institutionnalisation croissante de lvaluation aux effets variables Linstitutionnalisation de lvaluation a connu un fort dveloppement ces dernires annes. A titre illustratif, citons la Commission Europenne, qui impose dans son rglement financier que tous les programmes et activits occasionnant des dpenses importantes fassent l'objet d'une valuation ex ante (avant l'opration) et ex post (aprs l'opration) 4. Elle se traduit, dans la pratique, par la cration de socits professionnelles (la SFE par exemple), et ldiction de normes qui en dfinissent les usages et les bonnes pratiques (la charte de lvaluation par exemple). Cet engouement pour valuer est salutaire en thorie puisque lvaluation vise construire des programmes et politiques publics plus pertinents, plus efficaces et au meilleur rapport cot-efficacit. En outre, lvaluation a acquis ces dernires annes une lgitimit indniable qui en fait un outil prcieux pour rorienter les politiques publiques mises en uvre. Cependant, dans la pratique, on observe frquemment un usage de lvaluation qui sloigne des bonnes pratiques dictes par la charte5. Maintes fois, nous avons pu constater quil est facile de se mettre dans les bonnes conditions pour mal valuer6. Dans de nombreuses administrations, lobligation dvaluer nest pas suffisamment assortie des moyens pour bien valuer : formation insuffisante des chargs de missions, organisation inadquate des instances, budgets et ponctualit des missions inadapts, mconnaissance des opportunits politiques, etc. Mme les quelques dmarches gnralises dvaluation
4 5

http://ec.europa.eu/dgs/secretariat_general/evaluation/evaluation_framework_fr.htm Les sept principes de la charte de lvaluation sont les suivants : Pluralit, Distanciation, Comptence, Respect des personnes, Transparence, Opportunit, Responsabilit. 6 Par mal valuer , on entend remettre en cause un ou plusieurs principes de la charte pour viter les rsultats gnants que pourraient produire lvaluation

dveloppes ces dernires annes se heurtent la difficult de runir les conditions favorables pour bien valuer. Distinguons dabord les contextes dfavorables la conduite dune bonne valuation, puis ceux qui en dnaturent lexercice mme. On verra quun glissement abusif est souvent opr du premier vers le deuxime.

1. linstitutionnalisation de lvaluation ne garantit pas les moyens dune bonne


valuation. Linstitutionnalisation de lvaluation se manifeste selon des formes extrmement varies, trs sensibles aux contextes institutionnels locaux. Daprs notre exprience en France, ce phnomne se traduit le plus souvent par une injonction (obligation ou incitation valuer), plus rarement par une mthode prescriptive (rgles de mise en place de lvaluation dans linstitution, guides et pratiques) et exceptionnellement par un cadre administratif et politique ad hoc (calendrier prtabli, moyens ddis, instance politique implique, etc.). Il faut noter que des travaux mens ces dernires annes ont contribu amliorer les dispositifs dvaluation et leur inscription dans lagenda politique. Divers acteurs, dont la SFE au premier plan, ont contribu diffuser une culture de lvaluation propice une meilleure matrise de lexercice par les acteurs non spcialistes confronts lobligation de faire valuer des dispositifs. Nanmoins, des commandes dvaluation plus ou moins matrises subsistent encore. Trois cueils nous semblent particulirement prgnants : - le premier tient au fait que linjonction dvaluer ne suffit transformer un responsable de projet en responsable dvaluation, bien form et convaincu de sa pratique. Concrtement, cela peut se traduire par des commandes dvaluation inadaptes, par exemple avec des enjeux dmesurment ambitieux et/ou un budget consacr lvaluation inadapt la commande (citons par exemple les valuations de programme daide aux entreprises qui ambitionnent de mesurer des effets en termes demplois). - Le deuxime cueil tient au fait que lvaluation nest pas toujours conduite au moment le plus opportun de lagenda politique, typiquement lorsquune rorientation stratgique du programme ou de la politique est impossible : cest par exemple le cas, lorsque lvaluation est lance avant la fin du programme. Dans une optique plus politique, lancer une valuation juste avec une chance lectorale nest sans doute pas le meilleur moment, car il y a fort parier quelle naboutira aucune prise de dcisions. - Le troisime cueil tient au fait que les valuations ne sont pas toujours orientes vers le (ou les) dcideur(s) pertinent(s). Dans de trs nombreux cas, lexercice dvaluation est ralis par et pour les services en charge du programme, et les lus sengagent rarement dans la dmarche. De mme, on a pu observer de multiples reprises dans des situations partenariales, que lvaluation est conduite par un partenaire ayant peu de marges de manuvre pour prendre des dcisions. Il en rsulte un dcalage entre le niveau stratgique et le niveau oprationnel ; lvaluation concerne le niveau oprationnel, mais aucune marge de manuvre nest possible sur la dimension stratgique. Ces limites dordre technique mises en exergue ici ne sont que des exemples parmi dautres, mais elles nous semblent rvlatrices des freins lvaluation, et se rvlent particulirement problmatiques dans un contexte en tension.

2. Dans un contexte de crise, linstitutionnalisation de lvaluation peut tre adverse.


En apportant des solutions techniques aux limites habituelles et connues de lvaluation, le phnomne dinstitutionnalisation ne se prmunit pour autant gure des risques de mettre en

uvre des valuations dans un contexte dfavorable, ou pour de mauvaises raisons. Car le contexte de tension budgtaire et partenarial, tel que dcrit en introduction, dgrade sensiblement le contexte de lvaluation. La concurrence accrue sur les ressources publiques avive la concurrence des structures et affaiblit les partenaires les plus modestes. Les acteurs valus peuvent tre tents dasservir lvaluation leurs intrts, quitte enfreindre les principes de sincrit et de transparence de la gestion publique. Un panel non exhaustif de ces pratiques dasservissement est dcrit dans les paragraphes suivants. Ce phnomne nest pas nouveau, et prexiste mme lvaluation. Nous voyons pourtant que le contexte de crise replace la question de la sincrit sur laquelle les efforts de standardisation na gure de prise au cur de lvaluation. Linstitutionnalisation joue un rle ambivalent sur le contexte, en apportant des solutions pour les situations de la premire catgorie, mais en ayant peu de prise sur le second, voire en produisant un effet adverse. Pourtant le contexte de crise a considrablement renforc les difficults de ce second ordre, plus problmatique. B/ Une multitude de stratgies possibles pour dgrader lexercice dvaluation Certains commanditaires ont dvelopp de nombreuses stratgies pour sassurer que lvaluation ne produira pas de conclusions gnantes leur encontre. La liste ci-dessous non-exhaustive montre quelques-unes des stratgies de scurisation que nous avons pu observes : La nomination dun prestataire ami , dont on peut penser quil partage lanalyse du commanditaire La nomination dun prestataire peu crdible, quil sera facile de dnoncer en cas de conclusions gnantes La rduction du champ, pour viter les observations gnantes La rduction du champ, pour que les prconisations soient trop troites pour tre applicables sans un nouvel exercice de rflexion (matris par le commanditaire, videmment) Llargissement du champ, pour interdire tout approfondissement La manipulation du rfrentiel, pour poser les questions pour lesquelles on connait les rponses La manipulation du rfrentiel, pour orienter les questions en dehors des vritables enjeux Lexclusion des vritables dcideurs de lvaluation, pour filtrer ce qui en sera retenu Lexclusion des vritables dcideurs de lvaluation, pour la priver de toute crdibilit La rduction du budget de lvaluation, pour rduire lapprofondissement ou rendre impossible lvaluation dans des conditions dcentes La non-facilitation de laccs aux donnes, pour rduire lapprofondissement La multiplication de commandes, pour rduire lvaluation la portion congrue (bilanvaluatif/suivi-valuatif/valuation-prospective)

Pour illustrer notre propos, nous prsentons ci-dessous trois tudes de cas, dans trois situations dvaluation diffrentes, dans lesquelles des stratgies de scurisation ont t utilises :
Encadr 1 : Lobligation d'valuer ne cr pas les conditions d'une bonne valuation Le programme ALPHA est un programme denvergure mondiale port par la Commission Europenne et dclin dans plus de cent pays travers le monde. Compte-tenu de son importance financire, son valuation est rendue obligatoire par les diffrents Etats partenaires. Ce projet fait lobjet dimportants enjeux politiques. De ce fait, sa remise en cause nest pas souhaite

par chacun des Etats concerns. Les conditions ont donc t runies pour que lexercice dvaluation soit limit : elle a t confie loprateur du programme et les autres financeurs (majoritaires) nont pas t associs. Puisquvaluation il faut, valuation il y a, mais dans des conditions dgrades qui assurent que lvaluation naura pas de relles consquences sur le programme.

Comme le montre ce cas, le fait de rendre obligatoire lvaluation ne garantit pas la qualit du processus. Cet exemple montre comment neutraliser une valuation obligatoire pour quelle ne produise pas de rsultats gnants.
Encadr 2 : Lvaluation auto-commandite Le programme RECRUT est un programme partenarial entre un Conseil rgional et un organisme de formation. Le partenariat prend la forme dune convention pluriannuelle. Lobjet du programme est daider des entreprises recruter des salaris. Les entreprises bnficiaires doivent recruter un salari sur une priode minimale de 6 mois. Elles reoivent une aide financire et le salari bnficie dune formation. Cest le centre de formation oprateur du programme qui a dcid de lvaluation et la commandite. Il a port le champ sur les aspects les mieux matriss de son programme, et nglig les aspects ngatifs. La mise en place de lvaluation dans un dlai et un budget trs rduit ont priv lvaluateur de marges de manuvres pour des investigations en dehors de la commande. Ainsi, aucun indicateur na t retenu sur limpact de la formation, qui est pourtant leffet direct du programme. Au contraire, lindicateur cl retenu a t celui du recrutement, forte visibilit politique mais qui est repose largement sur les critres de slection lentre du programme. Loprateur peut donc se prvaloir dune pratique de bonne gestion par la mise en place dvaluation, dcourage la mise en place dvaluation par son commanditaire, tout en esquivant une relle mesure de sa valeur ajoute propre auprs des publics bnficiaires.

Ce 2me exemple nous montre comment lvaluation auto-commandite peut jouer un rle de contrle : je mvalue avant quon ne mvalue . Le commanditaire de lvaluation dcide du champ de lvaluation, du cadre valuatif (les questions et les critres), et du budget de lvaluation. Il a donc le loisir de mettre les efforts dinvestigations sur les points forts et de mettre de ct ceux qui posent problme ! Cette situation dcoule directement des tensions budgtaires auxquelles sont soumis les pouvoirs publics. En resserrant leurs dpenses, ils mettent en concurrence les oprateurs qui imaginent des stratgies pour se dmarquer. Lvaluation est alors utilise comme un outil de valorisation et de communication des points forts du programme. Grce son institutionnalisation croissante, lvaluation a acquis la lgitimit suffisante qui lui permet dendosser ce rle.
Encadr 3 : Lvaluation alibi pour favoriser et orienter le mouvement Le programme ECHANGE est un programme de bourses universitaires internationales. Ce programme a quelques dcennies dexistence et reprsente un budget important et peu dynamique, bloqu ds le 1er janvier. Les partenaires tiennent particulirement ce programme et le jugent pertinent mais identifient des problmes rcurrents7. Ces derniers sont sources de tensions et de non-dits entre les partenaires qui neutralisent toute capacit de changement. Les tensions fortes sur les budgets publics font quil a t dcid dvaluer ce projet. Lun des pays partenaires du projet, qui a initi lvaluation, souhaite utiliser lvaluation pour permettre de dgager des moyens financiers pour les rallouer dautres programmes de coopration. Lexercice dvaluation doit donc permettre, in-fine, de justifier un retrait des abondements du pays sur le programme ECHANGE. Lvaluation devra fournir les arguments et faire bouger les lignes, au service dune orientation politique qui la prcde.

Le commanditaire : Jai demand cette valuation car nous tions dans une impasse, avec des problmes rcurrents depuis des annes que nous ne parvenons pas rgler dans le cadre du programme .

Lvaluation est ici utilise dans sa fonction instrumentale. Mais au lieu dune rorientation de laction en fonction des rsultats empiriques rvls par lvaluation, elle est utilise pour rorienter laction dans un sens dj dfini en amont de lvaluation par le commanditaire. Ainsi, la raison dtre du programme ne pose pas en termes dutilit publique, mais dutilit pour les acteurs qui le mettent en uvre (ce qui est aussi valable pour les financeurs/dcideurs que pour les oprateurs !). Autrement dit, il est demand lvaluation de contourner les problmes de fond (pertinence, utilit) et de sarrter sur les pierres dachoppement qui enveniment le partenariat. Cest un rejet de la fonction de catharsis de lvaluation, qui pour construire a besoin de dconstruire et de remettre en cause. En orientant lvaluation sur des enjeux aux consquences essentiellement financires, les partenaires entendent bien sviter de questionner la finalit de laction. Ils visent simplement gagner des marges de manuvre pour prenniser un programme dont la pertinence nest pas remise en cause. C/ Petit manuel danti-valuation, ou comment soumettre lvaluation sa cause. En prenant du recul par rapport notre pratique dvaluation, nous avons conceptualis la manire dont lexercice dvaluation pouvait tre dform pour faire de lvaluation un outil la solde dun objectif propre qui la dnature. La typologie retenue repose sur deux formes de dgradation : lvaluation mutile dune part et lvaluation instrumentalise dautre part. Lvaluation mutile Lvaluation comporte trois dimensions ncessaires : politique, technique et administrative. Le retrait dune de ses dimensions conduit inluctablement dnaturer lvaluation :

Sans la dimension technique, lvaluation est prive de sa capacit cognitive. Comme nous lavons voqu prcdemment, les tensions financires ou les contraintes de temps (situation durgence) amnent parfois conduire des exercices dvaluation dans des conditions techniques peu satisfaisantes (comptences insuffisantes, moyens trop faibles). Ces contraintes ne permettent alors pas lexercice dvaluation dapporter des nouvelles connaissances, pourtant fondamentales la russite de lexercice. Mais notons toutefois que linstitutionnalisation de lvaluation tend rduire cette limite. Le contexte de crise peut affecter cette dimension, notamment via une rduction des budgets, mais cet argument de rduction budgtaire peut galement tre sciemment utilis pour justifier une valuation restrictive dont la porte sera ncessairement limite. Sans la dimension politique, lvaluation est prive de sa capacit instrumentale. Pourtant, des situations de tension amnent parfois viter limplication et la participation des dcideurs dans lvaluation. Sous la pression, le commanditaire est amen ne pas impliquer lensemble des parties prenantes, afin dorienter lexercice selon ses besoins ou pour faire avancer plus rapidement lexercice dvaluation en fonction de son agenda propre. Or labsence, voire lhostilit, des lus et des dcideurs lors dun exercice dvaluation rend par la suite difficile la mise en uvre des recommandations issues de lvaluation. Au final, la dmarche peut alors ne pas tre prise en compte, voire simplement rejete. Le devant de la scne est occupe par lvaluateur pendant que lquipe dirigeante prend de son ct les dcisions relles. Sans la dimension administrative, lvaluation est prive de sa spcificit. Linstitutionnalisation de lvaluation gnre paradoxalement un vitement de lexercice dans un certain nombre de cas. Les pouvoirs publics se dotent de plus en plus de dmarches gnralises dvaluation rdiges dans le respect des principes de la Charte de lvaluation de la SFE. Ce niveau dexigence mthodologique et dontologique induit ncessairement un ensemble formel de rgles, de contraintes et de ressources mobiliser pour lvaluation (mandat, cahier des charges, comit de pilotage, diffusion des rsultats). Sans discuter des effets bnfiques dune telle dmarche, il conviendrait toutefois de ne pas tenir pour automatique la relation causale entre dmarche

gnralise et bonne valuation. A linverse, une bonne valuation doit parfois sexonrer des bonnes pratiques imposes par une dmarche gnralise dvaluation. Les dmarches gnralises dvaluations ont merg lors de la dernire dcennie, par la volont dlus et de responsables de services pionniers dans la volont dinscrire lvaluation lagenda politique. Aujourdhui en place dans plusieurs collectivits (Conseils rgionaux principalement), ces dmarches dterminent un cadre pour lvaluation, lui assure des moyens (ressources financires, instances, mise lagenda, etc.) et contribuent ritualiser lvaluation. Sans dbattre ici des bnfices de telles dmarches dont les auteurs sont convaincus, il convient de reconnatre que mme cette forme la plus avance dinstitutionnalise de lvaluation nest pas une condition suffisante pour assurer de bonnes valuations . A tel point qua t observe en plusieurs occasions la situation paradoxale o le respect de lesprit dune bonne dmarche dvaluation a suppos en violer la lettre, lorsque la dmarche gnralise dvaluation impose des contraintes rduisant lopportunit politique de lvaluation (par exemple par un calendrier trop long, ou une approche pluraliste qui serait trop vite dtourne par les acteurs souhaitant se scuriser ). Un tel phnomne connait une manifestation visible trs symptomatique, sous la forme dune polysmie grandissante des termes attachs lvaluation, et dont une fonction essentielle est de se soustraire aux canons de lvaluation : bilans valuatifs , audits valuatifs , suivis valuatifs , tudes valuatives , enqutes valuatives permettant ainsi de saffranchir de ces dmarches gnralises exigeantes ! Lvaluation instrumentalise Comme nous lavons vu prcdemment, la crise accrot les situations o lvaluation est commandite pour crer un contexte favorable au dsengagement dun partenaire. Le cas extrme est celui o lvaluation est manipule afin de justifier larrt dun programme aprs en avoir dmontr linefficacit (comme le dit ladage, qui veut tuer son chien laccuse de la rage ). Mais lvaluation peut galement tre utilise de manire plus subtile comme moyen de redfinir les jeux dacteurs et remettre en cause les choix budgtaires interpartenariaux, toujours au nom dune suppose meilleure efficacit et/ou efficience. En dautres termes, le commanditaire prcise, ds le dpart, quel doit tre le point darrive tout en laissant lvaluateur une relative libert dans la conduite de lexercice. Lexercice peut galement tre une valuation communication . Le commanditaire impose alors sa vrit sur le sujet. Cest typiquement le cas des sondages, o lon ne communique que sur les questions qui servent les intrts du commanditaire. Or, en labsence de rel pluralisme dans un grand nombre de situations, lvaluation peut connatre semblables travers. Pire, lmergence de commande de sondage valuation ou enqutes valuatives inscrit dans le code gntique mme de lexercice lamputation de sa porte rellement politique. Partie 2 : les principes de la charte dvaluation lpreuve de ces difformits La Charte de lvaluation des politiques publiques et des programmes publics de la SFE est un guide des principes gnraux, largement reconnus dans le milieu professionnel, qui doivent guider et encadrer lexercice dvaluation. Les adhrents de la SFE sont implicitement signataires de cette Charte. Elle invite sy conformer. Elle ne mconnat pas les possibles contradictions entre ces principes, dans certaines circonstances. Les principes sont au nombre de 7 : Pluralit, Distanciation, Comptence, Respect des personnes, Transparence, Opportunit, Responsabilit. Nous proposons dans les lignes qui suivent de mettre en perspectives ces principes au regard des situations dvaluation dgrades mentionnes prcdemment.

1. Le premier principe de pluralit met laccent sur la ncessit dassocier lensemble


des parties prenantes dune politique aux processus dvaluation sans en prciser les

modalits. Nous avons pu souligner les cas o lvaluation est mene sans y associer les dcideurs, ou encore ceux o le champ de lvaluation est biais, ne permettant pas de rencontrer toutes les parties prenantes de la politique. Il nous apparat, au regard des observations prcdentes que ce principe est premier. Son non-respect facilite la remise en cause des principes suivants, tandis quune instance pluraliste sera le meilleur garant du respect de la charte.

2. Le deuxime principe de distanciation souligne la ncessite de conduire un exercice


dvaluation de faon impartiale et autonome par rapport aux processus de gestion et de dcision. Malheureusement, nous avons pu observer des cas o lvaluation est pilote, voire directement ralise par le gestionnaire de la politique ou du programme, sans mise en place dune instance dvaluation. Pire, le contexte particulier de tensions budgtaire est propice lmergence dune forme nouvelle auto-commandite de lvaluation.

3. Le troisime principe de comptence insiste sur la ncessit de sappuyer sur des


comptences spcifiques pour conduire une valuation. Nous avons pu mettre en lumire des cas o, sciemment ou non, il est fait appel des valuateurs jugs insuffisamment comptents afin de dcrdibiliser lexercice dvaluation. Un contexte de tensions budgtaires peut galement conduire limiter trs fortement les moyens financiers consacrs lexercice dvaluation rendant ainsi difficile le recours aux comptences ncessaires la conduite dun exercice dvaluation.

4. Le quatrime principe de respect des personnes porte sur la protection des


personnes et la confidentialit des informations collectes. Les cas observs dans les lignes ci-dessus ont peu port sur cet aspect. Cependant, nous pouvons souligner le fait quun contexte de tensions peut rendre la parole des parties prenantes moins libre , dautant plus si les personnes sont bien informes de leur rle dans la ngociation politique et financire au travers de lvaluation en cours.

5. Le cinquime principe de transparence porte sur la diffusion des rsultats de


lvaluation. Dans le cas des valuations biaises ou instrumentalises, ce principe est fortement mis mal. Le problme ici est que la pratique de transparence de lvaluation est encore trop peu rpandue pour que la non-diffusion du rapport soit vritablement critiquable. Seuls les rsultats mettant en position de force le commanditaire sont mis en avant afin de servir ses intrts et favoriser sa position.

6. Le sixime principe dopportunit insiste sur lutilit in-fine de lvaluation. Nous avons
soulign de nombreux cas o lvaluation se rvle au final peu utile du fait dun contexte de tensions et de stratgies dacteurs. Dans le cas o lvaluation est ralise reculons ou sans associer les acteurs notamment. En effet, cette situation ne permet pas une bonne appropriation des rsultats et donc, au final, une mise en uvre des recommandations.

7. Enfin, le septime principe de responsabilit est, avant tout, centr sur le processus
dvaluation et la rpartition claire des rles de chacun. A nouveau, les situations dvaluation dgrades mentionnes ci-dessus nuisent fortement au respect de ce principe. Les rles sont alors confondus et tous les acteurs ne sont pas associs au processus dvaluation. Ce tableau contrast du respect des principes de la charte de lvaluation illustre la ncessit de dcliner ces intentions de manire oprationnelle et de trouver les solutions les plus pragmatiques pour sen approcher. Malheureusement, nous avons pu observer que linstitutionnalisation de lvaluation au travers, notamment de la mise en place de dmarches gnralises dvaluation visant rendre oprationnels les principes de la Charte, ne permet pas toujours dviter des valuations dgrades au service de la

politique papa , cest--dire au service de la continuation dune politique dont la raison dtre se passe volontiers des preuves de son efficacit.

Ce constat soulve un certain nombre de questions que nous souhaitons mettre en dbat : Linstitutionnalisation de lvaluation doit-elle tre accompagne, voire prcde, dune vritable sensibilisation-formation lvaluation auprs de lensemble des parties prenantes (notamment des dcideurs) ? Lvaluation est-elle toujours lexercice le plus appropri dans certains contextes de tensions ? Doit-on respecter, de manire systmatique, tous les principes de la Charte ? Doit-on aller plus loin que les principes de la Charte en proposant/imposant des pistes oprationnelles et pragmatiques ? Linstance pluraliste est-elle le meilleur garant de la bonne valuation ? . lorsquelle est ouverte la majorit extrieure qui interdit toute transaction entre les acteurs dcideurs au dtriment dun intrt plus gnral. Conclusion La crise a indubitablement tendu les rapports entre partenaires publics, engoncs dans des injonctions contradictoires (extension des prrogatives et resserrement budgtaire). Ce contexte de tension pse sur le processus valuatif, qui est pri de ne pas aviver les contradictions, les tensions entre partenaires. Autrement dit, la problmatique centrale du commanditaire vise scuriser lvaluation plutt que lappuyer dans sa recherche ! Ainsi, la conjonction de ces tendances dinstitutionnalisation et tensions budgtaires provoque un glissement denjeux, depuis la ncessit dvaluer porte par linstitutionnalisation la ncessit de bien valuer . Ce constat partiel de divorce grandissant entre les bonnes pratiques de lvaluation, telles que promues notamment par la SFE, et les pratiques de lvaluation amne interroger sur la pertinence mme de loutil charte. Nous en dduisons deux pistes de rflexion, pour rendre cette dmarche toute sa force dans un contexte en tension : - Le pluralisme, premier principe de la charte, est galement le garant de sa bonne application. Il sagit donc dun principe interne , une bonne pratique , mais aussi et surtout dune ncessit imprieuse pour limiter les difformits de lvaluation, par le contrle quexercent les diffrentes parties prenantes sur le cours de lvaluation. - Le deuxime garde fou est celui de la sincrit. Le rapide inventaire des difformits et des stratgies de scurisation montre trop bien la relative facilit avec laquelle une partie prenante peut orienter, amputer ou instrumentaliser une valuation, tout en respectant formellement les bonnes pratiques de lvaluation. Aucun garde fou technique ne pourra totalement prvenir ces approches dtournes de lvaluation, dont le respect relve in fine dans la sincrit et donc la conviction des acteurs dans les vertus de lvaluation. En tant que membres de la SFE, nignorons pas les vicissitudes que le contexte de crise impose lvaluation, mais aidons lvaluation et ses professions sarmer face un tel contexte !

You might also like