Brocard cité par Robert K. Merton, Éléments de théorie et de méthode sociologique, Paris, Armand Colin, 1997 (1953).

Comme toutes les politiques publiques, les politiques familiales sont soumises à une injonction d’évaluation qui n’a cessé de croître depuis vingt ans, prenant de multiples formes et portée par une multitude d’acteurs (Minonzio, 2007). Cette injonction se traduit par une contrainte légale, puisque la Loi organique relative aux lois de finances (Lolf) de 2001 a fait de l’évaluation une obligation à valeur constitutionnelle. Cette évolution ne traduit pas seulement un souci de bonne gestion des deniers publics mais répond aussi à l’idée qu’une législation parfois ancienne doit s’adapter aux réalités changeantes de nos sociétés et, dans notre cas d’espèce, de la famille et des aspirations de ses membres. Nous ne discuterons pas ici les causes et la légitimité de la demande d’évaluation, mais privilégierons les difficultés concrètes posées par la mise en Å“uvre de cette démarche dans le cadre des politiques familiales.

En 1945, deux objectifs prioritaires ont été explicitement assignés aux politiques familiales : compenser les charges familiales et soutenir la fécondité. Ces choix ont justifié la mise en place d’une politique universaliste de prestations généreuses, distribuées à tous les ménages dès lors qu’ils ont des enfants.

Au cours des années soixante survient une première inflexion majeure dans la logique universaliste. Les nouvelles prestations créées et les nouveaux dispositifs d’action sociale ont pour but de venir en aide aux « familles inadaptées » ou « socialement défavorisées » et sont attribués sous conditions de ressources. Concrètement, il s’agit de prendre en compte les familles aux revenus les plus faibles, qui échappent aux mailles du filet assurantiel de la Sécurité sociale. Cette « socialisation » de la politique familiale constitue donc un troisième objectif.

Cependant, même si le mouvement d’individualisation des droits sociaux est puissant au cours des années quatre-vingt, la politique familiale n’est pas dissoute dans une politique de solidarité fondée sur la citoyenneté sociale. Au contraire, certains objectifs d’émancipation individuelle, comme les aspirations des femmes à l’égalité sociale et économique avec les hommes, sont intégrés dans le champ des politiques familiales. La politique de conciliation entre la vie familiale et la vie professionnelle constitue désormais bien un quatrième objectif historique des politiques familiales.

Ces deux derniers objectifs sont à la fois plus diffus et parfois difficilement rattachables à un dispositif particulier, mais ils reviennent périodiquement dans le débat public. La politique familiale se voit assigner la lourde tâche de consolider le lien social et familial (cinquième objectif) et de soutenir la « parentalité » (sixième objectif), c’est-à-dire d’aider les parents à assumer leur rôle éducatif à l’égard de leur progéniture.

Chaque objectif en soi peut faire l’objet d’une ou de plusieurs évaluations. La mesure de l’efficacité ne présente pas le même niveau de difficulté selon l’objectif retenu. Il est, par exemple, plus facile de mesurer l’efficacité redistributive d’un dispositif de prestations monétaires comme les prestations familiales que d’appréhender son impact sur les comportements individuels, de fécondité ou de travail. Ainsi, mesurer le nombre de personnes qui échappent au seuil de pauvreté en recevant une aide de la Caisse d’allocations familiales (Caf) est plus aisé que d’apprécier précisément le gain de fécondité annuel suscité par les différents dispositifs d’aide aux familles.

Cette difficulté tient au fait que l’efficacité d’une politique n’est pas assimilable strictement à la mesure de ses effets ou de ses impacts sur les ménages. Car l’intervention publique n’est souvent qu’un facteur, parmi d’autres, qui influence les comportements individuels et collectifs. Il en résulte qu’il n’est pas aisé de comprendre la valeur propre d’une politique (au sens le plus étymologique du terme « évaluer ») et de lui imputer un facteur de causalité mettant en évidence son rôle spécifique dans l’atteinte des objectifs que lui a fixés la puissance publique. Ce constat relativise la possibilité d’atteindre une conduite des politiques publiques fondée sur la preuve, pour paraphraser l’expression d’evidence based policy, courante outre-Manche. Ce type de démarche souhaite sélectionner, grâce à l’évaluation, les solutions aux problèmes sociaux qui ont fait leurs preuves, c’est-à-dire pour lesquelles il existe un consensus des experts sur la réalité de leurs effets autant que sur leur légitimité politique. Mais la difficulté à isoler la variable politique au milieu de l’écheveau des raisons et des passions fait écrire aux plus pessimistes que l’évaluation est un idéal positiviste et une chimère scientiste inatteignable. Pourtant, malgré les mises en garde des épistémologues, certains s’entêtent car les raisons d’espérer et de croire en l’évaluation résistent à l’examen des faits.

L’autonomie de l’évaluateur est couramment concrétisée dans les organigrammes par la création d’une cellule ou d’une direction portant l’estampille « évaluation ». Il est essentiel que les évaluateurs soient constitués en structures distinctes des directions chargées de la mise en Å“uvre des politiques publiques susceptibles d’investigation. La plupart des ministères ou des collectivités locales les plus importantes en sont dotés [3].

Mais les contours de cette indépendance doivent être précisés avec précaution, pour ne pas rester dans la pure injonction normative. Écartons d’emblée une idée aussi fausse que répandue. L’autonomie du jugement, nécessaire à l’évaluateur [4], n’a pas pour condition unique et suffisante que celui-ci doit appartenir à une institution extérieure à celle qui met en Å“uvre la politique à évaluer. Autrement écrit, ce n’est pas parce qu’une collectivité ou une administration fait appel à un prestataire extérieur que l’évaluation est objective [5].

Formuler un jugement objectif, c’est-à-dire informé et autonome par rapport aux aléas politiques, ne dépend pas seulement d’une position institutionnelle ou d’un statut, mais résulte d’une pratique et d’un savoir-faire, celui de mobiliser les connaissances disponibles sur une politique, de produire les données manquantes et ensuite de les interpréter avec rigueur et méthode (par exemple en utilisant un raisonnement hypothético-déductif). L’objectif est donc ambitieux. L’évaluation doit permettre aux parties prenantes à une politique de faire preuve de distanciation par rapport à leurs pratiques et à leur organisation. Cela suppose de dépasser sa position sociale et les préjugés qu’elle induit pour observer et comprendre comment fonctionne la politique qu’on évalue, l’institution à laquelle on appartient et le monde social qu’elle cherche à influencer. Une institution peut alors, comme un individu, faire preuve de réflexivité et analyser sa propre activité sociale et ses effets.

Il est souvent plus facile de mener une évaluation en limitant son périmètre ou en se focalisant sur un dispositif, une prestation comme l’Allocation de parent isolé (API) par exemple, plutôt que sur une politique prise dans son ensemble (ce qui implique le plus souvent plusieurs dispositifs). Cette tendance à la segmentation de l’évaluation est renforcée par le morcellement des données disponibles, qui sont par nature sectorisées en fonction des dispositifs et des politiques qu’elles cherchent à décrire, voire disséminées dans les différentes institutions parties prenantes de l’évaluation.

La première source de données disponibles est constituée par les données administratives. Leur exhaustivité est une vertu cardinale aux yeux de l’évaluateur. Le plus souvent, ce sont des recensements : les fichiers dont elles sont issues recueillent toutes les informations nécessaires pour rendre un service aux usagers des services publics concernés. Les données administratives sont généralement fiables car ce sont des données de gestion, ce qui constitue aussi leur limite.

En premier lieu, il peut exister une incertitude sur l’information recueillie, dont la qualité dépend de sa pertinence pour le bon fonctionnement du dispositif étudié. Si les données à saisir par un agent public ne sont pas directement utiles pour la délivrance du service dont il a la charge, il existe toujours un risque de mauvaise saisie. Ainsi, dans les dossiers des allocataires des Caf se trouve la profession des adultes composant le ménage (le plus souvent, les parents). Avec le revenu déclaré, cette information est une statistique socio-économique élémentaire pour l’analyse des données. Cette information n’étant pas utile pour la délivrance des prestations, elle est réputée peu fiable dans les données des Caf car les agents ne la saisissent qu’occasionnellement.

En second lieu, les limites des données de gestion tiennent au fait qu’elles n’ont pas été constituées pour connaître l’impact de la politique qu’elles décrivent. Des variables explicatives nécessaires pour l’évaluation manquent souvent à l’appel. Ainsi, pour analyser le comportement d’un individu à l’égard d’une politique en fonction de sa position dans la société, le revenu et la catégorie socioprofessionnelle sont des variables nécessaires mais non suffisantes, le niveau de diplôme est tout aussi essentiel mais très rarement présent. Pourtant, cette complétude des variables s’avère cruciale, par exemple afin d’évaluer les services d’aide sociale à vocation universelle comme les services de médiation familiale, pour lesquels le recours varie nettement selon le niveau d’études [6].

Chaque type d’enquête recèle ses propres limites. Les enquêtes par questionnaires sont réalisées le plus souvent de manière ponctuelle, or l’évolution relative d’une opinion ou d’un comportement dans le temps apparaît tout aussi importante que sa mesure absolue à un moment donné. Mais il est très rare que des baromètres puissent être constitués, faute de moyens. En outre, les non-réponses à ces enquêtes sont aussi essentielles que les réponses elles-mêmes. Il est souvent malaisé d’interroger les personnes qui n’arrivent pas à accéder à un service public (notamment parce qu’elles ne comprennent pas les procédures nécessaires) ou qui ont abandonné les formalités ou le service rendu en cours de route. Par exemple, pour évaluer un service de médiation familiale, il est difficile d’interroger les personnes qui rompent le processus de médiation quand le protocole d’évaluation prévoit la passation d’un questionnaire de satisfaction au moment où la médiation a abouti… Dans ce cas, la méthode choisie exclut de fait les plus insatisfaits et induit un biais délicat à appréhender.

Les enquêtes de satisfaction sont souvent utilisées pour évaluer la perception qu’ont les usagers d’une politique, malgré leurs scores parfois staliniens. Ces résultats sont délicats à interpréter car liés à la difficulté d’interroger les personnes potentiellement les plus insatisfaites, par exemple celles dont la gestion du dossier est plus complexe. Celles-ci ne constituent le plus souvent qu’une minorité de la population interrogée. Ainsi, parmi les personnes les moins satisfaites du service rendu par leur Caf, on trouve celles qui ont perçu des sommes indues, liées le plus souvent à des erreurs dans la déclaration de leurs revenus. Cette sous-population, essentielle pour comprendre les ressorts de la qualité, correspond à des effectifs très réduits dans les enquêtes et donc de fait invisible. La taille des enquêtes par échantillon est bien souvent trop faible pour des raisons de coût, ce qui empêche une analyse fine des sous-populations. Cette limite constitue une contrainte majeure quand l’une des dynamiques fondamentales des politiques familiales est leur adaptation à l’individualisation de la société, c’est-à-dire au morcellement des populations en fonction de leurs besoins spécifiques.

Pour bénéficier d’un registre d’informations le plus large possible, les différentes approches et les différentes méthodes sont souvent combinées. Ainsi, afin d’évaluer l’expérimentation de nouveaux courriers envoyés aux allocataires, il est essentiel, tout d’abord, de prendre en compte les données de gestion décrivant l’évolution des courriers envoyés. Il est ensuite nécessaire d’interroger les agents ayant participé à l’expérimentation pour comprendre comment leur travail quotidien a été affecté par l’innovation introduite. Enfin, il s’agit de recueillir l’avis des usagers, en amont (comprendre les attentes vis-à-vis de la simplification de la communication écrite) et en aval, pour mesurer si le nouveau dispositif répond aux attentes.

Aux yeux de certains, les moyens nécessaires à l’évaluation peuvent donc apparaître pléthoriques, et leur mise en Å“uvre longue et difficile, surtout si le dispositif de suivi statistique n’existe pas au préalable. Par conséquent, il est généralement difficile de faire correspondre la temporalité de l’évaluation et celle de la décision politique.

Par ailleurs, la résistance à une évaluation fondée prioritairement sur des indicateurs statistiques peut être vive, en particulier dans le secteur de l’action sociale. Les dispositifs d’enquête ont la vertu de produire une information homogène mais, de fait, ils réduisent la complexité des situations. Or, le travail social individuel a pour vocation de pallier les insuffisances des dispositifs de prestations financières uniformes assurant une forte égalité entre les citoyens mais ignorant parfois certaines réalités individuelles, qui ne sont pas pour autant illégitimes. Cette vocation de porte-parole de l’individu exclu, que se sont forgée les travailleurs sociaux, ne peut qu’entrer en conflit avec une démarche de connaissance qui tend à agréger des cas individuels pour les rendre comparables.

Les critiques de l’évaluation s’expriment sur plusieurs registres. L’accusation de trahison (à l’égard de la complexité de la réalité sociale) va souvent de pair avec la présomption de complot (à l’égard de la démocratie). Comme dans toute expertise mise à la disposition de la collectivité publique, la frontière est toujours difficile à tracer entre la sphère du jugement sur les faits et la sphère du jugement politique en valeur. Or l’évaluateur ne doit pas simplement décrire et expliquer les effets observés d’une politique, comme le ferait n’importe quel chercheur en sciences sociales, il doit également aider les responsables démocratiquement élus à former un jugement de valeur à propos de la validité de la politique évaluée.

Bardés des indicateurs fournis par les statisticiens, les évaluateurs contribueraient à une hiérarchisation des besoins sociaux, chargés de dire ce qui est nécessaire et ne l’est pas, ce qui est efficace et ne l’est pas et, par un glissement insensible, seraient conduits à désigner ce qui est politiquement légitime ou ne l’est pas. Ce glissement dans le choix normatif est susceptible d’amener l’évaluateur à outrepasser son rôle et à verser dans la technocratie, c’est-à-dire à exercer un pouvoir indépendant de tout contrôle démocratique. Ce risque est le pendant de la menace d’une intervention politique à l’égard de l’autonomie de l’évaluateur évoquée plus haut.

Certaines critiques vont plus loin et font de l’évaluation le cheval de Troie d’un projet libéral de contrôle et de démantèlement des politiques sociales. L’idée d’introduire des indicateurs de résultats et de comprendre les effets des dispositifs éloignerait les politiques sociales de leur mission princeps, qui est de répondre aux besoins sociaux, au profit d’autres objectifs liés aux contraintes de marché (permettre un retour au travail des bénéficiaires de minima sociaux, par exemple). Les indicateurs de gestion et d’impact entreraient en concurrence avec les indicateurs de besoins et d’attentes des familles et, d’une certaine manière, les délégitimeraient (Chauvière, 2007).

Les protocoles d’enquêtes, comme les nouveaux indicateurs nécessaires à l’évaluation, doivent être conçus et testés avec les personnes chargées de recueillir l’information, afin qu’ils soient reconnus et partagés. L’évaluation ne doit pas être une pratique exogène, mais s’inscrire dans le déroulement quotidien des politiques publiques et de la vie des services. C’est le défi le plus difficile à relever pour des administrations comme la Caisse nationale des allocations familiales (Cnaf), dont la culture est fondée sur l’obligation de moyens, et qui vivent désormais sous l’empire de l’obligation de résultats.

Dans la mesure où elle clarifie les objectifs et les effets d’une politique, l’évaluation en accroît la lisibilité et peut améliorer la compréhension qu’en ont les citoyens. Elle participe ainsi à une simplification des politiques sociales, tout en renforçant la légitimité des services publics. Elle favorise également l’appropriation des enjeux par les agents publics, qui servent d’autant mieux des politiques qu’ils peuvent en appréhender clairement les objectifs et les finalités.

Dans la mesure où l’évaluation doit enrichir le débat public, elle doit être transparente et faire la place, autant que possible, à la diversité des interprétations. L’évaluateur doit alors être le garant du pluralisme et son indépendance à l’égard du commanditaire permet aux différents points de vue de s’exprimer et d’être confrontés. Il doit être capable de faire vivre les controverses relatives à l’interprétation d’une politique et de faire de l’instance d’évaluation un véritable espace démocratique.

***

L’évaluation des politiques est complexe par nature car elle emprunte à plusieurs registres de techniques et de savoirs qu’il faut maîtriser tout à la fois pour la mener à bien. Elle est une démarche profondément ancrée dans les sciences sociales. Elle emprunte aussi bien à la science politique, pour la compréhension des enjeux institutionnels et politiques des dispositifs évalués, qu’à la sociologie et à l’économie, pour la mise à jour des mécanismes de toute intervention publique sur le corps social. En second lieu, elle est une démarche de connaissance qui mobilise toutela palette imaginable des dispositifs d’enquête sur le monde social. Enfin, dans la mesure où elle a pour objectif d’améliorer les services publics destinés à nos concitoyens, elle est une démarche de gestion publique et de conduite du changement, qui suppose une forte adhésion et une pleine compréhension de la part de tous les acteurs impliqués. Les évaluateurs ne sont pas seulement de simples chefs de projet, des « assembleurs » de données et de jugement. Leur identité professionnelle est très spécifique et leur savoir-faire se double d’un savoir-être, où la capacité essentielle consiste à permettre aux acteurs de s’exprimer et à les aider à s’emparer des enjeux politiques des missions de service public dont ils ont la charge.