L’évaluation ex post de politique est susceptible d’intéresser plus particulièrement les spécialistes de contrôle de gestion en raison de la parenté de l’évaluation avec ce dernier.

Dans le présent article nous présenteront brièvement les fondements ainsi que les composantes essentielles d’un modèle idéal type de l’évaluation de politique, nous en déduirons que cette évaluation là fait partie intégrante du contrôle de gestion, avant d’examiner les raisons tant pratiques qu’idéologiques qui font souvent apparaître l’évaluation davantage comme une forme de contrôle externe que comme un mode de contrôle de gestion interne.

Une certaine sacralisation de l’État, une croyance dans le fait que l’action publique incarne systématiquement la poursuite de l’intérêt général, une confiance absolue dans les vertus qu’auraient les politiques du fait qu’elles sont l’émanation d’autorités légitimes proscrivent l’étude systématique des faits qu’est l’évaluation, car cette étude est nécessairement irrespectueuse, désacralisante, démythificatrice.

À l’opposé un certain cynisme à l’égard des politiques publiques considérées comme des trompe-l’œil, comme purement symboliques, ou vues avec l’œil d’un zélote de la théorie du garbage can rend l’évaluation inutile.

L’évaluation de politique ne se justifie que dans une position médiane à l’égard de l’action de l’État. Celle-ci n’est pas ce qu’en disent ses auteurs, elle n’est pas non plus dépourvue de toute rationalité au regard des objectifs qu’elle affiche. De fait, ce scepticisme tempéré qui est la seule attitude s’accommodant de l’évaluation ex post de politique paraît une position largement répandue dans toutes les couches de la société civile et au travers de la plupart des couleurs de l’échiquier politique.

À ces premiers travaux, à ranger, pour l’essentiel, dans « l’évaluation de résultats » se rajoutent ceux que suppose « l’évaluation de processus ». Celle-ci intègre d’abord le rappel ou l’explicitation, en cas de besoin, de l’identification/diagnostic, opéré par les auteurs de la politique, du problème auquel ils se sont attaqués. Elle comprend également l’explicitation de la théorie d’action ou du changement social, c’est-à-dire de la rationalité des auteurs de la politique, sous tendant cette dernière.

L’évaluation de processus suppose encore la présentation du système d’action au sens de sous-ensemble de la société que la politique a visé à perturber pour la bonne cause – c’est-à-dire en vue des objectifs affichés. Elle requiert également l’étude de la mise en œuvre de la politique par les organisations publiques compétentes, ainsi que l’étude des comportements au regard de cette mise en œuvre des acteurs de la société civile concernés, ou qui estiment l’être, par la politique.

Cette évaluation de processus qui nécessite des talents de sociologue, de politiste, de gestionnaire – en particulier dans l’étude des problèmes de mise en œuvre – est bien différenciée de l’évaluation de résultats qui nécessite des compétences économiques, statistiques et économétriques de façon à imputer à une politique ce qui lui revient dans l’évolution des états de choses. Elle en est en même temps complémentaire voire indissociable puisque c’est l’analyse de la réalité du processus déclenché par la perturbation, par la politique publique, du système d’action qui peut expliquer les résultats de celle-ci et leurs divergences d’avec les effets attendus. C’est l’analyse de processus qui peut faire remettre en cause la suite de relations hypothétiques de cause à effet que constitue la théorie d’action sous-tendant la politique et par conséquent amener l’évaluateur aussi bien à comprendre l’écart entre attentes à l’égard d’une politique et effets réels de celle-ci qu’à imaginer des correctifs à apporter à cette théorie. Car après le temps de l’analyse vient celui des recommandations. L’évaluateur ayant constaté un échec partiel ou total d’une politique est amené à proposer, à partir des analyses opérées dans les évaluations de résultat et de processus, ses solutions pour un traitement, plus efficace du problème posé. Ses recommandations peuvent porter sur les systèmes d’information nécessaires pour affermir les diagnostics –, identifications des problèmes –, comme pour aider au suivi des résultats des politiques, sur des changements à opérer dans les méthodes de mise en œuvre, sur la théorie d’action elle-même voire sur le caractère plus ou moins illusoire des objectifs affichés par la politique.

Pour souligner l’identité de préoccupation, il n’est besoin que de recourir à la notion de maîtrise. Dans le cas d’un système de contrôle de gestion on se préoccupe de savoir si le fonctionnement d’une organisation a été à peu près conforme à ce que l’on en attendait. Dans le cas d’une évaluation de politique le projet de départ est bien de comparer les résultats aux ambitions. Dans les deux cas la tâche de l’analyste (« contrôleur de gestion » dans un cas, « évaluateur » dans l’autre ) ne s’arrête pas au constat qu’il existe des écarts entre ce que l’on avait voulu et la réalité. L’identification des causes de l’écart est primordiale. Cette identification requiert en particulier une « analyse des écarts » dans les systèmes classiques de contrôle de gestion, elle demande des travaux que l’on a regroupés sous l’expression « analyse de la perturbation » dans l’évaluation de politique.

Pour marquer la différence, il suffit de noter que les systèmes traditionnels de contrôle de gestion se fondent sur des système d’information à sortie d’états périodiques qui renseignent sur le fonctionnement d’une organisation ou d’un service pendant une période de temps – le mois, le trimestre, l’année – déterminée. Ces systèmes de contrôle supposent également une exploitation systématique et régulière de l’information produite sous forme de séances d’analyse, de compte rendu des mesures correctives décidées [3] … alors que l’évaluation ex post de politique est une investigation en profondeur mais ponctuelle.

L’évaluation de politique est, dans la matrice de la figure 1 qui reprend les deux dimensions de la différenciation, diagonalement opposée à un système traditionnel de contrôle puisqu’elle se matérialise par une étude ponctuelle ayant pour objet de décortiquer un processus, de rendre compte de ce qui s’est passé réellement pendant une action de changement.

Les deux autres cellules de notre matrice jouent leurs rôles dans les relations de parenté – différenciation entre le contrôle et l’évaluation.

Il est en effet des études qui se rapprochent davantage des systèmes de contrôle traditionnel en ce sens qu’elles analysent le fonctionnement d’une organisation mais à un moment donné du temps. Jadis on les dénommait « diagnostics », naguère on les appelait audit général ou opérationnel, aujourd’hui on a tendance à les dénommer évaluations. Pour les différencier des évaluations de politique nous les appellerons évaluations de structure. C’est le genre d’évaluation qu’opère, par exemple, le Conseil national d’évaluation des établissements publics à caractère scientifique, culturel et professionnel. Les principes d’action qu’il affiche sont sans ambiguïté : « Le comité évalue chaque établissement comme un ensemble organisé. Mettant en relief ses forces et faiblesses, il apprécie la politique de l’établissement au regard des contraintes existantes et des objectifs visés, dans le cadre des missions de service public de l’enseignement supérieur. Pour chaque établissement il analyse l’ensemble des activités et des moyens… » L’objet est bien, donc, la cohérence de gestion de l’organisation que constitue une université ou un grand établissement d’enseignement, non l’efficacité de telle ou telle politique de l’enseignement supérieur ou même de l’établissement évalué. L’objet étudié est une organisation et non une action de changement ou de préservation sociale.

L’évaluation d’une structure est une activité très importante qui peut être un palliatif à l’absence d’un véritable système de contrôle ou bien l’interrogation préliminaire à la rénovation ou à la mise sur pied d’un tel système ou encore le complément aux informations et analyses du système périodique de contrôle.

Reste enfin le cas des systèmes d’information qui portent sur des actions de changement, des processus.

L’exemple le plus connu en est le contrôle (de gestion) de projets qui se focalise généralement sur le respect des délais assigné aux différentes étapes du projet, sur le suivi du parallélisme entre la constatation des coûts et la constatation du degré d’avancement du projet…

Chez certains tenants de l’évaluation on pressent un souhait d’en arriver à de tels systèmes lorsque ces personnes évoquent, par un désir de rapprocher la notion de politique de celle de projet, l’opportunité qu’il y aurait à renouveler les évaluations, au fur et à mesure de la mise en œuvre de la politique, évaluations dites, selon les auteurs et leurs systèmes de références favoris « concomitantes », « on going » ou « in itinere ».

Une autre forme de ce vœu consiste à invoquer la nécessité de rendre les politiques évaluables (Deleau et alii, 1986) ou encore de monter dès le début de la mise en œuvre d’une politique un système d’évaluations et de recueil des données.

Le principe n’est pas en lui-même contestable mais sa mise en application soulève des difficultés.

La première surgit dans la version lourde de la proposition ; rendre les politique évaluables c’est les doter de quelque chose ressemblant à des objectifs au sens d’ambitions précises c’est-à-dire aller à l’encontre de la propension naturelle du management public à l’ambiguïté (Gibert, 1989).

La deuxième difficulté tient au fait que si, à l’avance, une batterie d’indicateurs était définie pour l’évaluation d’une politique, les metteurs en œuvre de cette politique pourraient être incités à « jouer le chiffre » c’est-à-dire à essayer d’obtenir des bons résultats au regard des ces indicateurs au risque de perdre de vue l’esprit, la logique, les finalités de la politique. Le phénomène est bien connu dans les systèmes traditionnels de contrôle de gestion. Seule une batterie complète d’indicateurs ne laissant de côté aucun des effets recherchés ou craints de la politique permettrait d’éviter cet écueil.

La troisième difficulté a trait plus particulièrement à la volonté de suivre, sinon en continu, du moins à intervalles réguliers ce que donne une politique publique pour pouvoir en faire paraître périodiquement une sorte de tableaux de bord. L’impact ne s’observe pas, ne se constate pas, c’est le fruit d’une reconstitution intellectuelle puisqu’il revient à comparer une situation observable, à un moment donné du temps après la mise en œuvre d’une politique à la situation qui eut été observable si cette politique n’avait pas été décidée et mise en œuvre. C’est donc la différence entre une situation observable et une situation par définition hypothétique puisque la politique a été mise en œuvre. On ne peut à intervalles réguliers afficher l’état d’un impact par les seules vertus d’un recueil d’informations ; à chaque fois un travail parallèle s’imposerait de reconstitution de la situation à laquelle on aurait assisté si la politique n’avait pas été mise en œuvre. C’est, de beaucoup, plus délicat, pas obligatoirement possible et le jeu, pour la plupart des politiques, n’en vaut sans doute pas la chandelle.

Ajoutons que l’esprit de l’évaluation expost est de partir des faits et que prédéterminer trop fortement les effets mis sous contrôle peut être contre-productif car aboutir à laisser dans l’ombre des effets contre intuitifs, à proscrire tout travail sur les objectifs latents, etc.

En définitive l’évaluation in itinere est un vœu pieu et nombre d’organisations internationales, grandes consommatrices d’évaluation préfèrent parler de monitorage (monitoring) pour qualifier le suivi en continu de la mise en œuvre des programmes qu’elles aident et réserver le terme d’évaluation à l’étude lourde ex post.

En tout état de cause l’évaluation ex post fait partie de la grande famille du contrôle de gestion, de cet ensemble d’éléments qui permettent aux dirigeants d’une organisation de s’assurer que les stratégies de celle-ci ont été mises en œuvre de façon efficace et efficiente. On peut même énoncer que l’évaluation de politique recentre le contrôle lato sensude l’action publique sur ce qui légitime celle-ci à savoir les impacts recherchés (Hogwood et Gunn, 1984) alors que les systèmes conventionnels de contrôle de gestion qui ont une inclinaison naturelle à mettre l’accent sur les moyens, les activités et les réalisations peuvent se révéler un facteur de perte de vue de la finalité externe, un élément d’internalisation de la gestion publique.

L’évaluation de politique, par rapport aux systèmes classiques de contrôle de gestion réhabilite le raisonnement qualitatif car le contrôle de gestion apparaît habituellement, dans les organisations publiques, comme une volonté systématique de compter, de mesurer ce qui jusque là était appréhendé de façon qualitative (Laufer et Paradeise, 1982).

L’évaluation exige une indépendance de l’évaluateur – peu facile à assurer dans la pratique – en raison de l’objectivité qu’elle requiert alors que le contrôle de gestion exige d’abord une familiarité du contrôleur. L’évaluation présente, par rapport au rôle habituellement reconnu au contrôle, la faiblesse politique de ne pouvoir raisonnablement être considérée comme un élément d’aide au pilotage, de correction du tir, de feedback. Elle ne peut intervenir qu’une fois que la politique a eu le temps de faire sentir ses effets et de surcroît sa conduite même prend du temps (plusieurs mois voire plusieurs années), par conséquent ses résultats risquent de n’être disponibles qu’à une époque où la politique examinée aura cessé d’être d’actualité. C’est dire qu’ils ne pourront profiter qu’aux actions publiques futures qui seront entreprises dans le même domaine. La fonction de rétroaction de l’évaluation restera dans la plupart des cas toute théorique.

En revanche, on peut attendre que cette investigation contribue à une meilleure mémoire de l’action publique, en fournissant aux dirigeants des organisations publiques les éléments de capitalisation des leçons des politiques publiques. Plus précisément, l’évaluation ex post peut être considérée comme un outil de renforcement de l’effet d’apprentissage au profit des auteurs et des metteurs en œuvre d’une politique publique pour tout ce qui touche à la théorie du changement, aux anticipations de comportement des personnes touchées par la politique (ou contribuant à déterminer ses résultats), aux risques réels d’effets pervers…

Que les dirigeants des organisations publiques aient le désir de tenir compte de la mémoire ainsi créée est un autre problème !

L’évaluation managériale correspondrait grosso modo au modèle idéal type que l’on a évoqué plus haut.

En première analyse la proposition est forte. L’évaluation ex post est centrée sur la connaissance de la réalité, de ce qu’a été et a donné une politique, elle compare des résultats avec des ambitions affichées par les gouvernants, elle semble s’apparenter à un bilan, un rapport d’activité des pouvoirs publics, politique par politique, et établi de façon non complaisante.

Comme jusqu’à présent le débat public s’alimente plutôt d’arguments d’autorité, d’affirmations péremptoires et, jusqu’à récemment, d’un goût marqué pour les idéologies et leur explications simplistes, comme les controverses sur les effets attendus ou réels d’une politique usent et abusent de raisonnements purement qualitatifs et pour cela difficilement validables ou invalidables, comme les détenteurs du pouvoir proclament encore trop souvent qu’ils savent résoudre les problèmes puisqu’ils ont été « élus pour cela », on voit tout ce que, dans l’idéal, l’évaluation pourrait apporter comme valeur ajoutée à un débat public relativement pauvre.

Cependant comme toutes les (bonnes) intentions celle-ci n’est pas sans effet pervers. Le principal d’entre eux est le danger que la mise en avant de la proposition : « l’évaluation est un outil au service de la démocratie » fait courir au développement même des évaluations. La véritable question est de savoir pourquoi un pouvoir ferait évaluer ses principales politiques au grand jour, prenant ainsi le risque que soient étalés au grand jour les faux semblants, les contradictions, les limites ou l’inefficacité de celles-ci, « Je ne crois pas du tout que le gouvernement va se mettre demain à publier toute évaluation même gênante ; il essaiera de retenir pour lui toute évaluation dont la publication lui paraîtra inopportune » a pu affirmer un premier président de la Cour des comptes, ancien ministre de surcroît (Chandernagor, Club Cambon, 1990).

Les tenants de l’évaluation pluraliste, participative ou dynamique attribuent trois catégories de tâches ou rôles aux évaluateurs : produire des connaissances par le recueil, l’analyse et la synthèse d’informations sur le processus que constitue la politique évaluée, jouer un rôle de médiation entre les acteurs partie prenantes à la politique et de maïeuticien (ou d’accoucheur) pour « aider les acteurs à découvrir les problèmes… en vue d’élaborer des démarches pour les résoudre » (Bonetti et alii, 1996). Les auteurs considérés reconnaissent eux-mêmes que la pratique révèle la difficulté qu’il y a à tenir de façon satisfaisante et équilibrée ces trois rôles.

Il y aurait beaucoup à dire du discours des tenants de ces deux écoles alternatives, mais leur mise en exergue a le mérite de laisser comprendre que derrière le drapeau de l’évaluation, chacun consciemment ou non peut être tenté de reproduire ses paradigmes, ses modes de raisonnement voire ses routines habituels. Elle a pour corollaire incontestable le fait qu’il ne suffit pas de dire on va faire une évaluation pour définir le genre que l’on va pratiquer. Soulignant la pluralité de finalités et de démarches possibles d’une évaluation la typologie pousse à conclure à la nécessité d’un projet d’évaluation comme instrument de dépassement du caractère polysémique de l’évaluation et moyen d’éviter de graves malentendus entre commanditaires, évaluateurs et le cas échéant participants à l’évaluation. Elle souligne, en tout état de cause une appétence pour l’utilisation de l’outil « évaluation » comme instrument de contrôle externe, ou partagé de l’action publique.

Cependant l’évaluation à la française s’est caractérisée par une institutionnalisation originellement limitée au dispositif interministériel créé par le décret de 1990 mais qui s’est diffusé ensuite par imitation, à un certain nombre d’évaluations internes à des ministères ou réalisées à l’initiative de collectivités territoriales. Cette institutionnalisation a d’ailleurs été érigée en doctrine du conseil scientifique de l’évaluation, gardien du temple jusqu’au remplacement du dispositif Rocard par l’actuel dispositif Jospin [4].

Cette doctrine peut être rapidement caractérisée par la volonté de faire de l’évaluation une activité rigoureuse, tout en concédant à la fibre démocratique par la publication des travaux, et en donnant sa place à un pluralisme contrôlé dans la composition de l’organe central.

L’évaluation est le fruit d’un travail collectif d’un organe appelé « instance d’évaluation ». Cette instance souvent présidée, pour les évaluations interministérielles, par le membre d’un corps de contrôle, rassemble le plus souvent des représentants des administrations concernées ainsi que des collectivités territoriales. Elle peut comprendre également des représentants des parties prenantes extérieures au secteur public. Quelle que soit leur origine, les membres de l’instance sont supposés participer de façon neutre à l’œuvre collective et ne pas se comporter en représentants des intérêts des organisations dont ils sont issus.

L’instance ne comprenant pas obligatoirement des spécialistes de sciences sociales – ou les intégrant en petit nombre seulement – et ne disposant que d’une force marginale de travail, celui qu’elle peut demander à ses rapporteurs, n’a pas la possibilité d’effectuer les travaux d’investigations que l’évaluation requiert. Elle sous-traite donc ces travaux à des « chargés d’évaluation » ou « opérateurs » d’origines diverses : corps de contrôle de l’administration – en particulier inspections générales – centres de recherches, cabinets de conseils, etc.

Sur la base des travaux des « chargés d’évaluation », travaux pouvant être méthodologiquement très divers : études statistiques, synthèses de la littérature, monographies réalisées par entretiens en profondeur, etc., l’instance effectue une synthèse et sur la base et dans le prolongement de cette synthèse propose des recommandations.

Le troisième type de rôle est tenu par « l’organe de régulation » – le conseil scientifique puis le conseil national de l’évaluation dans le cas des dispositifs interministériels successifs. Cet organe donne un avis a priori sur le projet d’évaluation jugeant de son ambition (champ), de sa méthodologie et de l’adéquation entre ces éléments et les moyens effectivement prévus pour la réalisation de l’évaluation. Une fois l’évaluation terminée, l’organe d’évaluation donne son avis sur la qualité de l’évaluation réalisée.

L’agencement de ces rôles est complété par le principe de la publication de l’évaluation jouxtée des avis a priori et ex post de l’organe de régulation. De fait toute les évaluations interministérielles ont été publiées à la documentation française, et les plus récentes ont fait l’objet d’une publication intégrale sur internet.

Le dispositif a sa logique, il est supposé à la fois protéger l’indépendance des chargés d’évaluation retenus par l’instance et non par le commanditaire de l’évaluation, permettre l’expression d’une pluralité de vues voire de référentiels [5], laisser l’instance libre de ses travaux mais la dissuader de démarches biaisées ou peu rigoureuses du fait de la menace d’un avis ex post dévalorisant son travail. Il offre au grand public, c’est-à-dire au citoyen, le résultat complet du travail effectué ainsi qu’une indication de ses limites.

La distinction est de fait pertinente à condition de s’en tenir à une conception rigoureuse du programme par opposition à une vision plus lâche de la politique. Cette conception peut se résumer de la façon suivante.

Un programme d’action public se caractérise par l’énoncé a priori de buts relativement clairs – sinon d’objectifs quantifiés à atteindre dans un délai déterminé –, il incorpore un dispositif c’est-à-dire une série de mesure législatives ou réglementaires bien délimitée. Il est doté de moyens spécifiques distincts – d’un point de vue budgétaire – des moyens généraux des administrations chargées de le mettre en œuvre.

La présence simultanée de buts, d’un dispositif et de moyens spécifiques explicités ex ante laisse augurer dans la plupart des cas d’une théorie du changement social assez claire puisque l’explicitation des fins, la détermination de la logique de l’action et l’attribution de moyens sont contemporains et, à la limite, présentés dans un même document.

Les personnes qui sont chargées de l’évaluation ex post de tels programmes se trouvent face à un objet qui préexiste à l’évaluation et n’ont donc pas trop à se poser de questions sur le champ de leur travail.

À l’opposé de cette situation, l’évaluation de politique peut porter sur les actions que l’État ou une collectivité territoriale a pu mener sur une certaine période de temps dans un champ plus ou moins bien déterminé ; ainsi en fut-il pour « l’évaluation de la politique d’informatisation de l’administration ». Ces actions peuvent avoir eu des buts, pas forcément très clairs,fluctuants, se révélant contradictoires dans le temps. Les responsables successifs de la « politique » considérée ont pu légitimement imposer inflexions et ruptures, s’appuyer sur des dispositifs ad hoc comme sur des dispositifs préexistants ou conçus pour d’autres politiques, – faute de moyens spécifiques, en particulier en personnel – puiser dans les moyens généraux des administrations chargées de la mise en œuvre, s’inspirer de théories du changement multiples, diverses voire contradictoires.

Dans un tel cas l’objet à évaluer a des contours vagues et l’on peut soutenir qu’il est en fait défini à l’occasion de l’évaluation. En ne forçant que modérément le trait on peut énoncer que dans certains de ces cas, c’est l’évaluation qui fait la politique. Ce genre de situation rend d’autant plus nécessaire la rédaction et l’adoption d’un projet d’évaluation – encore dénommé protocole d’évaluation – précisant et limitant les ambitions des évaluateurs. En tout état de cause ce cas de figure obère par avance la possibilité pour l’évaluateur de réaliser un travail exploitant toute les potentialités de la démarche d’évaluation.

Le modèle idéal type de l’évaluation repose donc plus ou moins clairement sur l’hypothèse d’une organisation de l’action publique par « programmes » ou en tout cas d’un centrage des évaluations ex post sur les domaines de l’action publique couverts par des actions de changement ressemblant à peu près à des programmes [6]. Or l’expérience révèle que tel n’est pas forcément le cas dans la pratique française où souvent ont été évaluées des politiques au sens flou du terme. On a même assisté à des inversions de rôles : interrogé par l’auteur de cet article sur sa motivation à avoir fait évaluer une politique dans son département, un président de conseil général a répondu « parce que nous n’avions pas de politique en la matière et parce que je voulais convaincre mes collègues élus ainsi que les fonctionnaires du département qu’ils nous en fallait une ». En d’autres termes, la mise en exergue et l’examen des conséquences néfastes d’actions disparates, diverses, anachroniques, etc. de l’intervention d’une collectivité publique dans un domaine deviendrait une façon d’identifier le problème, d’effectuer un diagnostic, préalablement à la confection d’une « vraie » politique. L’évaluation ex post au lieu de situer plutôt à la fin du cycle de vie d’une politique, prendrait sa place au début de celle-ci !

Vraie si l’on caractérise l’évaluation ex post par son caractère de jugement d’une action publique. Depuis longtemps, en effet, les corps de contrôle de l’administration : Cour des comptes et inspections générales des différents ministères ont produit des travaux émettant, assez souvent avec sévérité, des jugements sur la façon dont une loi était appliquée, sur l’opportunité d’un programme, voire sur les contradictions entre différentes politiques.

Fausse si l’on retient d’abord de l’évaluation son présupposé fondamental « toute politique publique est une théorie du changement social » ainsi que ses attributs méthodologiques, ses liens étroits avec les sciences sociales. Les apports de ces dernières ont, de façon générale, peu imprégné les travaux de l’administration française, au sein de laquelle on dénonce volontiers leurs aspects théoriques, jargonnesques et où l’on n’est pas toujours convaincu qu’elles sont le vecteur de l’action publique, trop soucieux que l’on est parfois de maintenir au droit public ce rôle. Il en résulte que les jugement portés sur les politiques par les corps de contrôle ont un statut méthodologique disparate : relevé précis de faits au niveau de la mise en œuvre, extrapolation de certains incidents, considérations d’honnête homme, énoncé « d’opinions évaluatives » c’est-à-dire évaluations non étayées par insuffisance de démonstration.

Dans leur jurisprudence le Conseil scientifique de l’évaluation puis le Conseil national de l’évaluation ont justement mis l’accent sur deux critères essentiels de qualité des rapports d’évaluation. Le premier est celui de la cohérence entre le rapport de l’instance d’évaluation et les études et travaux sur lesquels l’instance s’appuie pour réaliser son rapport. Le second est celui de la cohérence entre les prescriptions contenues dans le rapport et l’analyse qu’il contient. Cette insistance tien au fait que ces deux vertus qui semblent pourtant aller de soi n’ont pas toujours été respectées dans les premières évaluations réalisées dans le cadre du dispositif interministériel.

Plus généralement les standards de qualité mise en avant par le Conseil ne sont jamais que la traduction d’une démarche scientifique à laquelle ne prétendaient pas les travaux traditionnels des corps de contrôle. Quant on énonce que la fiabilité des données, la généralisation possible de ce qui a été observé… sont des principes à respecter dans toute évaluation c’est le monde du savoir qui vient interférer avec celui du pouvoir, même quand ce monde est rappelé à des exigences plus terre à terre ou aux servitudes des sciences de l’action avec des obligations de pertinence et d’utilité.

Seulement l’interférence du savoir et du pouvoir ne se fait pas sans heurts. L’évaluateur, même autorisé voire fortement incité par un projet d’évaluation à limiter ses ambitions, n’arrivera jamais au bout de son travail. Les effets possibles d’une politiques sont tellement nombreux, tellement difficiles à démontrer, les carences de la mise en œuvre tellement liées à des modes de fonctionnement des administrations qui trouvent leur fondement et leur rationalité dans toute autre chose que la politique évaluée, la théorie du changement social si facile à critiquer mais si difficile à amender … que les développements de l’évaluateur seront toujours contestables. Exerçant pour le compte d’autrui un contrôle externe, il est lui même en permanence en position d’être contesté. À la limite c’est sa légitimité même qui est en cause parce qu’il n’est pas le « mouton à cinq pattes » qui serait nécessaire mais aussi par ce que dans le monde politique certains raisonnent comme si seul le pouvoir pouvait juger le pouvoir. Malgré tous les tourments dans lesquels se trouvent la profession, la révision comptable, le commissariat au compte sont des modèles de contrôle acceptés au regard du contrôle de l’évaluateur de politique !