2008
Informations sociales
Partie 2 : Diversité des politiques, diversité des évaluations
Réflexions sur l’évaluation par l’institution
Le cas des expérimentations d’une offre de service petite enfance
Danielle Boyer
Conseillère technique à la direction des statistiques, des études et de la recherche de la Cnaf.
À partir de l’exemple d’une commande d’évaluation concernant l’offre de service petite enfance, l’auteure-évaluatrice expose les questions qui se posent à elle du fait de devoir conjuguer appartenance institutionnelle et objet institutionnel à évaluer. Pour elle, le point le plus délicat réside dans la clarification, avec les commanditaires, des contours de l’objet à évaluer.
La mise en place d’un service public de la petite enfance, enjeu majeur pour la branche Famille, fait l’objet d’expérimentations locales. L’évaluation de ces dernières, réalisée par la Caisse nationale des allocations familiales, permet d’interroger la démarche elle-même : quel est le positionnement de l’évaluateur au sein de l’institution commanditaire, également chargée de la mise en Å“uvre des dispositifs évalués ? Ou comment remplir, dans ce cadre, une mission d’expertise et s’assurer de la bonne posture face à son objet ?
L’évaluation constitue, pour la branche Famille de la Sécurité sociale, une démarche institutionnelle visant l’optimisation des conditions de la mise en
Å“uvre des politiques qu’elle mène. Son développement s’inscrit dans un mouvement général des politiques publiques vers une logique de fixation d’objectifs et de mesure des résultats, renforcée par la Loi organique relative aux lois de financement de la Sécurité sociale (Lolfss). Inscrite dans le cadre des Conventions d’objectifs et de gestion (Cog) qui lient la Cnaf avec l’État
[1], cette démarche d’objectifs / résultats pour le pilotage de politiques sociales ambitionne de répondre aussi bien aux demandes de l’État qu’à celles d’autres acteurs des politiques familiales et de l’institution elle-même.
Concrètement, les évaluations menées consistent, le plus souvent, en des expertises pilotées par la Direction des statistiques, des études et de la recherche (DSER) de la Cnaf. Par ses missions, cette direction est interpellée sur sa délicate posture, à l’interface des champs politique et scientifique. L’ouverture vers des missions d’évaluation remet à l’ordre du jour les questionnements formulés par la recherche institutionnelle et en suscite de nouveaux. À partir de l’exemple d’une commande d’évaluation sur un des axes forts d’intervention de la branche Famille – l’accueil du jeune enfant –, nous tenterons, dans cet article, d’exposer quelques questions posées par sa nouvelle mission évaluative. Quelles sont les limites d’une opération consistant à juger de la pertinence et de la qualité d’un ensemble d’actions programmées par l’institution à laquelle on appartient ? Quelle posture adopter vis-à-vis des commanditaires des évaluations, autorités de tutelle ou services politiques de la Cnaf ? En d’autres termes, peut-on être juge et partie ?
Un enjeu majeur dans un contexte mouvant
La politique conduite, depuis plus de trente ans, en matière d’accueil du jeune enfant hors de sa famille est fortement institutionnalisée. Elle implique différents acteurs, tant au niveau national que local, dans sa définition comme dans sa mise en
Å“uvre : l’État, la branche Famille de la Sécurité sociale, les collectivités locales (départements, municipalités), les associations. Si cette offre d’accueil formelle et organisée peut être perçue comme le signe d’une forte légitimation de la politique d’accueil de la petite enfance, les rôles et positionnements des acteurs de cette politique demeurent, à certains égards, fragiles et incertains. En effet, aucun des acteurs impliqués n’a d’obligation légale de « faire ». Pour la majorité des parents, la recherche d’un mode d’accueil se réalise, généralement, dans une situation de relative pénurie de places disponibles. De plus, la création et le soutien aux modes de garde demeurent relativement sensibles aux contraintes budgétaires des autorités locales
[2]. De fait, le positionnement de la branche Famille vis-à-vis de l’État et des autres partenaires de la politique familiale est parfois flou. Son rôle peut, selon les dispositifs mis en place ou les contextes locaux, être un rôle de financeur, d’acteur, de pilote ou de décideur des politiques.
Dans ce contexte, afin d’améliorer l’organisation de l’offre d’accueil, se sont succédé, en l’espace de deux ans, cinq propositions : un service public de la petite enfance en août 2006 ; une offre de service petite enfance en septembre 2007 ; un Droit opposable à la garde des enfants (Doge) en février 2008 ; et, plus récemment, un droit (simple) à la garde d’enfant converti, en juin 2008, en un droit à l’accompagnement à la garde d’enfant. La succession dans un temps court de cinq projets émanant du gouvernement ou de réflexions internes à la branche Famille est à souligner car elle constitue la principale source de questionnement sur laquelle nous nous penchons ici.
L’évaluation des trois dispositifs d’expérimentation d’une offre de service petite enfance
Le dispositif d’évaluation est proposé par la Direction des statistiques, des études et de la recherche (DSER) de la Cnaf. Pour chacune des trois expérimentations, l’évaluation doit apporter des éléments de connaissance et de jugement sur les dimensions suivantes : champs de compétence des différents acteurs ; repérage d’un acteur principal clairement identifié comme responsable de la mise en Å“uvre de la politique petite enfance ; échelle de territoire pertinente pour la mise en Å“uvre (commune, département, région…) ; modalités de partenariat ; moyens nécessaires (techniques, humains) ; appréciation des parents sur l’apport des expérimentations.
Le schéma départemental de la petite enfance
Il s’agit de vérifier les effets de la mise en place d’un schéma départemental d’accueil sur la structuration de l’offre dans sa globalité (collective et individuelle). Les investigations doivent conduire à mesurer les freins et les leviers à la constitution du schéma départemental, ainsi qu’à percevoir l’effet incitatif d’un tel schéma par rapport à l’organisation préalable. Les informations à recueillir sont centrées sur l’analyse du partenariat. Elles nécessitent la collecte et l’observation de données provenant des Caf (concernant la montée en charge et les prestations), le descriptif de l’expérimentation et le recueil de données de partenaires. L’investigation est menée par un prestataire extérieur.
Le numéro unique d’enregistrement
Il s’agit ici de vérifier en quoi le numéro unique permet une gestion optimale des listes d’attente et un meilleur traitement de la demande (diminution des délais de réponse, meilleure adéquation offre/demande). Deux types d’informations sont recueillis : des informations centrées sur le descriptif de l’organisation, sur le processus d’accès pour les familles à un mode d’accueil, ainsi que sur les effets de la mise en place du numéro unique sur l’offre et la demande. L’investigation et l’analyse sont menées par le pôle recherche de la Cnaf ; des informations centrées sur la satisfaction des parents. L’investigation est menée par un prestataire extérieur.
L’information en direction des familles
L’évaluation devra permettre de juger de l’amélioration de la rencontre entre l’offre et la demande. Cette réflexion est conduite sur le plan quantitatif, en examinant l’optimisation des places (moins de places vides et moins d’enfants sans solution), mais aussi sur le plan qualitatif, en considérant les solutions adoptées par les familles au regard de leurs souhaits. L’évaluation s’attache donc à montrer en quoi et comment les parents sont, avec le dispositif mis en place, convenablement informés concernant les différents modes d’accueil existants et leur fonctionnement spécifique (disponibilité, situation géographique, principes pédagogiques, horaires, etc.) ; les participations financières au coût de l’accueil selon le mode d’accueil et les restes à charge pour les familles ; le processus d’accès à un mode de garde. Les types d’informations recueillis et le procédé du recueil sont similaires à ceux énoncés pour le numéro unique.
• La commande politique : un glissement de sens
Par lettre de mission datée du 24 août 2006, le Premier ministre a demandé au Centre d’analyse stratégique (Cas) de réfléchir au contenu, au périmètre et aux modalités de gestion d’un service public de la petite enfance. Il s’agissait notamment de réduire les fortes inégalités territoriales en matière d’offre de garde ; de clarifier et de mieux articuler les compétences entre les communes, les départements, l’État et les Caisses d’allocations familiales (Caf) ; d’offrir ainsi le plus large choix possible d’accueil des jeunes enfants. Dans le rapport publié en février 2007
[3], le Cas a dessiné les contours d’un service public de la petite enfance s’appuyant sur une décentralisation à une collectivité locale (par exemple, les conseils généraux) et s’accompagnant d’un transfert de moyens et de financements. Le document défend la notion de droit opposable à un mode de garde, qui « impliquerait » la responsabilité d’une collectivité, le plus probablement, selon les auteurs, territoriale. Le Cas a également préconisé des expérimentations associant les différents acteurs du secteur de la petite enfance, ainsi que les trois axes de développement suivants :
-
la mise en place d’un numéro unique d’enregistrement des demandes de garde formulées par les familles. Ce numéro permettrait de recueillir sur une liste unique les demandes des familles en matière de mode de garde. Il s’agirait de disposer, en temps réel et sans double compte, de l’état de la demande et de la traiter en fonction de l’offre disponible et de paramètres pertinents (ressources, contraintes professionnelles, etc.) ;
- une amélioration du recensement des besoins et de l’offre, dans le cadre, notamment, des schémas départementaux d’accueil de la petite enfance
[4] ;
- l’instauration d’un service individualisé d’information aux familles. Il aurait pour objectif de fournir à chaque famille l’ensemble des informations personnalisées concernant la disponibilité des différents services de garde (en temps réel), les prix de revient et les prestations.
- Dans cette perspective, la Cnaf et le réseau des Caf se sont mobilisés pour mettre en place des expérimentations sur ces trois dispositifs (voir encadré p. 100). Sur la base du volontariat, cinquante et une Caf, en partenariat, pour certaines d’entre elles, avec des collectivités territoriales (communes, conseils généraux), et la Mutualité sociale agricole ont bâti des projets d’expérimentation. Un groupe de pilotage, composé de dix-sept Caf, de la direction de l’action sociale et de celle des statistiques, des études et de la recherche de la Cnaf, a été mis en place pour assurer le suivi et l’évaluation des expérimentations. C’est sur ce dernier point que le service de la recherche a été missionné pour réaliser une évaluation nationale sur la base d’informations collectées par les Caf.
Les trois expérimentations ont progressivement été élaborées par le groupe de pilotage comme les trois composantes d’une « offre de service petite enfance », distincte d’un service public petite enfance et du droit opposable à la garde d’enfants, mais se rapprochant davantage d’un droit à un accompagnement des familles dans leur recherche de garde d’enfant.
• Une perspective importante pour la branche Famille
Cette mobilisation s’inscrit dans un contexte où les services politiques de la Cnaf considèrent que les préconisations contenues dans le rapport sont susceptibles d’affecter de façon significative les missions de la branche dans le secteur de la petite enfance.
Pour la Cnaf, ces expérimentations constituent un procédé permettant de conforter un positionnement central sur ledit secteur et de concevoir de nouvelles missions en direction des Caf. Cet enjeu est clairement établi dans le cahier des charges relatif à ces expérimentations, ainsi qu’en témoignent ces extraits :
« La branche Famille peut constituer l’interlocuteur neutre sur lequel l’État peut s’appuyer en matière d’aide à la décision » ; « Cela pourrait se traduire par l’attribution de nouvelles compétences conférant à la branche Famille un rôle de pilote légitimé juridiquement : présidence des Commissions départementales de l’accueil du jeune enfant (CDAJE)
[5],
compétence en matière de réglementation des structures et des services d’accueil collectifs et individuels… ».
Pour les Caf, il s’agit de renforcer leur positionnement vis-à-vis des différents partenaires (collectivités territoriales, associations, entreprises…) et des familles.
L’évaluation concomitante à ces expérimentations s’inscrit donc d’emblée dans une démarche devant permettre à l’institution de rendre compte de son action aux autorités politiques et d’asseoir un positionnement institutionnel en matière de petite enfance. Examinons plus en détail les problèmes que cela pose à l’évaluateur issu lui-même de l’institution.
Poser les bonnes questions
• S’interroger sur l’objet à évaluer
Comme dans toute démarche d’évaluation, les aspects scientifiques et techniques du travail évaluatif restent subordonnés à une démarche d’ensemble visant à modifier les représentations collectives. Dans cette perspective, l’étape du questionnement est essentielle. Évaluer, c’est d’abord s’interroger, c’est-à-dire élaborer collectivement un certain nombre de questions. Pour aboutir à une formulation pertinente de celles-ci, préalable au lancement des travaux d’étude et d’investigation, une réflexion approfondie doit être menée, en dialogue avec les commanditaires et les autres porteurs d’enjeux de la politique.
Or, cette réflexion exige une certaine stabilité de l’objet observé, non respectée ici. En effet, le dispositif d’évaluation accompagnant la construction même des projets politiques, il peine à suivre les changements de vocable, qui reflètent des glissements de contenu. On se demandera alors quelles distinctions/articulations ont été effectuées entre les expérimentations effectivement réalisées et l’idée première d’un service public petite enfance, et celle, plus récente, d’un
« accompagnement des familles dans leur effort de recherche de mode de garde »
[6]. En glissant d’une appellation de service public petite enfance à celle d’un droit à l’accompagnement, on peut penser que ces expérimentations s’affranchissent de questions fondamentales mais difficiles concernant la gouvernance des politiques de la petite enfance : la clarification de la collectivité publique responsable d’un tel service, la mise en perspective des possibilités de recours des usagers, ou encore le descriptif du financement d’un service public petite enfance (ou celui d’un droit opposable à la garde des enfants).
Ainsi, le projet de départ, particulièrement ambitieux en matière de coordination des acteurs impliqués dans les politiques de la petite enfance, s’est transformé en un dispositif, plus modeste, d’accompagnement des familles et d’organisation de l’offre d’accueil.
• S’interroger sur la pertinence
Du fait de leur caractère endogène, les questions nécessaires concernant la pertinence des objectifs, la mise en Å“uvre des mesures, la cohérence de la politique, l’atteinte des objectifs, l’efficacité, l’efficience, les mécanismes d’action, etc., ne courent-elles pas le risque d’être neutralisées ?
Peut-on, alors que le dispositif est créé par l’institution, reposer des questions comme : qu’est-ce qu’une offre de service petite enfance ? Quels en sont les objectifs ? Pourquoi est-elle circonscrite à ces trois expérimentations ? Ainsi, si l’on examine plus précisément le contour de l’offre de service proposée, on s’aperçoit que les trois expérimentations proposent toutes des axes d’amélioration mais qu’aucune ne se situe dans une perspective d’augmentation de l’offre. Pourquoi ces expérimentations se limitent-elles à faciliter la convergence entre l’offre et la demande sur les territoires ? Ne faudrait-il pas s’interroger sur le diagnostic réalisé au préalable, qui occulte la question de l’insuffisance de l’offre ? De fait, l’institution ne contourne-t-elle pas la question de son impuissance à agir sur le développement de l’offre et, plus fondamentalement, les questions relatives à son rôle/positionnement en matière de politique d’accueil ? Ces aspects ne sont-ils pas pourtant essentiels au regard des enjeux institutionnels cités précédemment ?
• Les questions que l’on retient…
Plusieurs problématiques se dégagent concernant l’offre d’accueil : organisation, gouvernance, pilotage, responsabilité des acteurs, homogénéisation des actions, pénurie de l’offre, service rendu aux familles… Si l’on met en regard ces constats avec les objectifs des trois dispositifs expérimentaux, on s’aperçoit que la problématique du service rendu aux familles en constitue le socle :
« Ces dispositifs expérimentaux visent à améliorer le service rendu aux familles »
[7]. En outre, sur l’ensemble des constats relatifs au service rendu aux parents, hormis pour le dispositif qui a trait au schéma départemental de la petite enfance, les éléments de diagnostic sur lesquels reposent les expérimentations portent essentiellement sur les problèmes d’information des parents. L’hypothèse sous-jacente est que l’optimisation de l’offre peut s’obtenir en améliorant l’information des familles via un système d’information
ad hoc
[8] sur l’offre disponible ou via une meilleure gestion des listes d’attribution des modes de garde. Il est intéressant de souligner que l’action sur l’offre est circonscrite ici à celle de l’offre déjà existante. On remarque, une nouvelle fois, que les questions relatives à l’insuffisance de l’offre, mais aussi aux disparités géographiques, au taux d’effort pour les familles, ou encore au recours parfois contraint à l’arrêt d’activité ne sont pas directement traitées. Est-ce à dire que l’institution – à l’image de la personne qui, recherchant un objet, limite son champ de recherche au seul endroit éclairé – limite d’emblée son champ des possibles à celui d’actions d’information des parents ?
• … et celles qui reviennent
L’offre de service, telle qu’elle est définie dans les expérimentations, ne répond pas à quelques autres questions fondamentales. Ainsi, du côté des bénéficiaires, pourraient émerger des interrogations comme : quel est le public cible ? Le bénéficiaire de l’offre de service est-il l’enfant, le parent ou la famille qui travaille ? Y a-t-il des enfants prioritaires ? Qu’en est-il de ceux rencontrant des difficultés spécifiques d’accès (les enfants atteints d’un handicap, par exemple) ? Quels critères de ressources, d’activité prendre en considération ? Doit-il y avoir des formes prioritaires d’accueil en cas de reprise d’un emploi, par exemple ? Ce service doit-il offrir les mêmes prestations pour tous, avec des tarifs indifférents aux ressources des parents ? Doit-il être proposé à tous les parents ou plus particulièrement à ceux qui travaillent ou qui sont en recherche d’emploi ? Les parents déjà bénéficiaires de prestations dans le cadre d’un congé parental peuvent-ils être considérés comme bénéficiaires de cette offre ? Autant d’interrogations relatives au taux d’effort pour les familles, au recours parfois contraint à l’arrêt d’activité, aux disparités géographiques de l’offre… qui « rattraperont » les commanditaires et les évaluateurs dans le cadre de la mise en place d’un droit opposable à la garde, d’ici à 2012.
Dedans, dehors : créer une zone d’autonomie
Plus globalement, on peut se demander dans quelle mesure une institution est à même de prendre le risque de la remise en cause, voire de la mise en péril de sa propre existence. Comment doit-elle procéder pour ne pas confondre évaluation politique et évaluation d’une politique ? Pour qu’il y ait évaluation d’une politique, il est nécessaire de construire une « zone d’autonomie », à l’abri du politico-administratif. Comment mettre en place cet espace ? Comment conjuguer la connaissance directe du domaine étudié, apportée par l’appartenance institutionnelle, et la nécessaire distance ?
Dans notre cas d’espèce, des solutions institutionnelles ont été recherchées et apportées : la constitution d’un comité de pilotage avec une pluralité de Caf présentes qui étend la diversité des analyses ; une délégation de l’évaluation, à la direction de la recherche, autonome par rapport aux autres directions de la Cnaf ; l’externalisation de certains pans de l’évaluation à des prestataires (notamment pour l’interrogation des partenaires, dans le cadre de l’évaluation du schéma départemental). Ces solutions ont bien sûr leurs limites, notamment parce que la forte représentation institutionnelle du groupe de pilotage risque de rendre difficile la stabilisation des objectifs de l’évaluation. En particulier, il peut être malaisé de résister à la pression de l’autorité de tutelle, où se brouillent les commandes relatives à l’offre de service, au droit opposable, au droit à la garde et au droit à l’accompagnement.
Ces aménagements de type institutionnel ne permettent pas à l’évaluateur de faire l’économie d’une démarche réflexive personnelle, de manière à ce que le travail d’évaluation soit mené en intégrant aux questions évaluatives proprement dites les interrogations énumérées plus haut. Au quotidien, cela suppose un aller et retour permanent entre évaluateurs et commanditaires, pour que les inflexions qui ne manquent pas d’être apportées au projet initial ne passent pas inaperçues.
***
À l’évidence, l’évaluation n’est jamais neutre. Elle nécessite une posture de distanciation encore plus difficile à tenir quand elle est portée en interne, où la tentation peut exister de l’utiliser à des fins de justification de dispositifs institutionnels. Peu de solutions semblent toutefois revêtir un caractère de parfaite neutralité par rapport à l’objet évalué ou à l’institution responsable de cet objet.
Ainsi, la posture de corps de contrôle invite à une sensibilité particulière aux failles. La solution n’est pas non plus apportée par des prestataires externes, qui, liés financièrement au commanditaire, sont parfois soumis à la loi du « qui paye, ordonne ». Face à l’exigence d’expertise indépendante, de regard extérieur porté sur la politique évaluée, aucune de ces solutions n’est donc vraiment satisfaisante, et ce constat invite à repenser à la création d’une autorité indépendante, spécifiquement en charge des évaluations de politiques.
Plus généralement, les limites inhérentes à ces exercices d’évaluation conduisent à interroger l’engouement contemporain pour celle-ci : ne mériterait-il pas d’être, lui aussi, évalué ? Il nous apparaît, en tout cas, primordial de ne pas tout miser, pour éclairer les politiques publiques, sur l’évaluation, mais de la considérer comme un outil parmi d’autres. Les travaux de recherche, notamment, viennent en support du regard évaluatif, par leur apport de connaissances mais aussi en ouvrant et en réinterrogant le champ de l’accueil du jeune enfant.
[1]
Les ordonnances de 1996 ont introduit une logique de contractualisation dans les relations entre l’État et les organismes de Sécurité sociale. Des Cog pluriannuelles ont donc été signées entre l’État et la Cnaf, pour les périodes 1997-2000, 2001-2004, 2005-2008. Elles ont fixé des objectifs et programmé des moyens sur quatre ans. Une nouvelle Cog doit être négociée pour 2009-2012.
[2]
Ainsi, la mise en place de certains dispositifs comme les établissements d’accueil collectif est décentralisée et variable selon la participation financière des divers partenaires. Elle dépend, en particulier, des priorités politiques de l’équipe municipale et de la richesse des communes, même si les financements alloués par les Caf ont vocation à corriger en partie ces facteurs. Dans certaines communes, notamment en milieu rural, les résistances à financer des équipements d’accueil collectif laissent transparaître, chez les élus locaux, la crainte d’un investissement qui risque d’être perçu comme inutile, en particulier si le besoin n’est pas pérenne.
[3]
« Rapport sur le service public petite enfance », 14 février 2007.
[4]
Il s’agit d’un document d’orientation et de planification de la politique départementale en matière de petite enfance.
[5]
Prévue par le décret du 3 mai 2002 relatif à la commission départementale de l’accueil des jeunes enfants (art. L. 214-5 du code de l’action sociale et des familles), la CDAJE
« est une instance de réflexion, de conseil, de proposition, d’appui et de suivi pour les institutions et les organismes qui interviennent, au titre d’une compétence légale ou d’une démarche volontaire, dans le domaine de l’accueil des jeunes enfants. Elle étudie toute question relative aux politiques en faveur de la petite enfance dans le département ». Elle est présidée par le président du conseil général.
[6]
Michèle Tabarot, « Rapport sur le développement de l’offre d’accueil de la petite enfance », juillet 2008.
[7]
Cahier des charges des expérimentations.
[8]
Comme le site
www. monenfant. fr