Le conseil d’administration de la Caf de la Gironde a validé, début 2005, le principe d’une approche expérimentale : le Contrat d’action familiale et sociale territorial (CAFST). Il s’agit d’un outil permettant d’asseoir la pérennité des processus de développement social dans les champs de compétence de la Caf. L’expérimentation a été menée de 2005 à 2008, dans une ville périurbaine de la communauté urbaine de Bordeaux, d’environ 11 000 habitants. Cette démarche co-construite vise à définir un nouveau mode de partenariat qui, via un contrat global, regroupe l’ensemble des engagements de la Caf sur le territoire et permet de soutenir un projet partagé par le territoire et par la Caf. Étant donné qu’il s’agit aujourd’hui de généraliser la démarche (vingt territoires envisagés pour 2008-2009), la direction de la caisse a souhaité que l’expérimentation soit accompagnée d’une évaluation concomitante et ex post à échéance des contrats. L’objectif est de dégager les plus-values de ce nouveau mode d’intervention de la Caf dans le champ des politiques publiques.

La négociation avec le territoire, et plus particulièrement avec les élus locaux, est une phase clé dans le processus de contractualisation d’un CAFST. Pour Ambarès et Lagrave (il s’agit d’une seule et même commune, située à une douzaine de kilomètres de Bordeaux), les objectifs partagés par la Caf et par la mairie se structurent autour de trois axes : conforter et dynamiser la politique éducative locale en s’appuyant sur le Projet éducatif local (Pel) ; prévenir les phénomènes d’isolement et d’exclusion sociale liés à l’habitat ; renforcer la cohésion sociale.

À partir de là, sont élaborées trois questions évaluatives qui sous-tendent toute la démarche : le CAFST permet-il de faire émerger de nouvelles formes de réponses (par l’identification des nouveaux projets) ? Les réponses transversales sont-elles adaptées aux besoins (ce qui implique d’identifier les besoins et d’analyser les impacts des réponses nouvelles ainsi que leur adéquation aux besoins) ? Le CAFST est-il un support de développement des ressources locales ?

L’évaluation est réalisée par les chargés d’études sociales de la Caf de Gironde. Leur position dans l’évaluation est celle d’une équipe missionnée par les deux contractants : la collectivité locale ou la structure intercommunale d’une part, la Caf d’autre part. Leur appartenance à la Caf n’a donc pas d’autre incidence dans la conduite de l’évaluation que les facilités d’accès à l’information qu’elle permet. En particulier, les chargés d’études sociales ne représentent pas la Caf dans les différentes instances de pilotage ou de suivi de l’étude.

L’évaluation se concentre prioritairement sur la mesure, à la fois, des effets sur les habitants (s’agissant de la participation à la vie locale, de la conciliation entre la vie professionnelle, la vie familiale et la vie sociale, ou de ce qui concerne la solidarité, etc.) et des impacts sur le territoire (du point de vue de l’instauration de dynamiques nouvelles, de l’animation locale, du développement de politiques sociales…).

L’évaluation conduite intervient à échéance de la quatrième année du contrat et avant son renouvellement. Il s’agit donc ici d’une évaluation ex post. L’approche théorique repose sur la définition de la démarche par la Cnaf qui « vise, à partir d’objectifs préalablement définis, à connaître, de la manière la plus objective possible, les résultats obtenus pour permettre de les apprécier, d’en rendre compte et d’aider en cela aux décisions à venir ». Sur cette base, quatre dimensions structurent la démarche d’évaluation : cognitive, à travers la mesure des effets de la politique engagée ; normative, avec la portée d’un jugement en valeur (la formulation d’un point de vue et de préconisations) ; instrumentale, en visant à produire des changements dans l’action ; méthodologique, avec l’application de méthodes des sciences sociales.

L’évaluation se décline en quatre critères : efficacité, cohérence, pertinence et efficience. Comme indiqué plus avant, la démarche est aussi négociée : les questions évaluatives sont proposées et discutées dans le cadre de l’instance de pilotage [1]. En effet, l’évaluation ne pouvant pas couvrir tout le champ du contrat global, il convient, sur la base des objectifs partagés au départ, de s’entendre sur ses priorités et donc de hiérarchiser les questions évaluatives.

Il s’agit d’une évaluation résolument qualitative. Pour le recueil des données, les méthodes utilisées sont des entretiens semi-directifs individuels et collectifs. Les publics ciblés sont :

Enfin, des entretiens complémentaires ont été réalisés, concernant des problématiques (l’insertion sociale et économique des plus précaires) ou des publics très ciblés et en lien avec les particularités et l’histoire du territoire (par exemple, les gens du voyage).

La méthode mise en Å“uvre ne se veut pas exhaustive. Elle vise plutôt à consulter les principaux acteurs du territoire et à couvrir la pluralité des champs et des publics concernés. Au total, l’enquête de terrain nous aura amenés à rencontrer soixante-cinq interlocuteurs différents (élus, opérateurs ou intervenants, habitants) en entretiens individuels et/ou collectifs.

La grille d’analyse repose sur le regard croisé des acteurs. L’outil se structure autour de quatre grands questionnements, en référence aux questions évaluatives précitées : l’identification des besoins sur le territoire ; les réponses apportées et l’émergence de nouveaux projets ; la dynamique partenariale ; la participation des habitants. Cette trame de questionnement commune est utilisée pour les différents groupes d’acteurs (« transversal », « éducatif », « cohésion et habitat social ») ainsi qu’auprès des groupes d’habitants (« jeunes », « parents » et « adhérents et bénévoles »).

Lors des réunions, animées par les chargés d’études sociales, les personnes présentes échangent sur chacun des quatre items (identification des besoins, nouveaux projets, partenariat, participation) et donnent leur point de vue. À partir de ces items, quatre questions ouvertes servent de support à l’animation des groupes : en matière de réponses aux besoins, comment jugeriez-vous la situation, aujourd’hui, à Ambarès ? Et en matière d’émergence de nouveaux projets ? De partenariat ? De participation des habitants ?

La seconde partie du questionnement porte sur les évolutions observées dans le temps. Par exemple, sur le premier item : ces deux dernières années, comment jugeriez-vous l’évolution en matière de prise en compte de vos besoins ? Les participants sont ensuite invités à coter les quatre dimensions, à partir d’une échelle de valeurs allant de 1 (pas satisfaisant) à 5 (très satisfaisant). Enfin, et pour tenter de rendre compte des évolutions dans le temps, une seconde cotation porte sur les changements observés sur chacun des items, les deux dernières années (dégradation, stabilité ou amélioration). La méthode suppose une définition partagée de l’échelle de valeurs, de la signification des items et du sens des évolutions.

L’outil (questionnements et cotations) a été simplifié en cours de route, afin qu’il soit opérationnel et pour tenir compte de la phase préalable ainsi que des remarques formulées par le comité technique, au sujet de l’aspect « abstrait » ou « compliqué » de sa version initiale. Sa structuration résulte d’un processus interactif et itératif, fondé sur un principe d’aller et retour entre la production des acteurs de terrain et le travail plus méthodologique et analytique des chargés d’études.

Une fois le recueil des données effectué et leur traitement réalisé, l’analyse des réponses est entreprise à partir des points de convergence et de divergence observés entre les différents groupes d’acteurs constitués.

***

L’évaluation est un élément structurant de la démarche globale liée au CAFST de part la mobilisation des acteurs du territoire qu’elle suscite : élus, intervenants et habitants. Elle produit des résultats qui permettent l’adaptation des politiques et elle mobilise, dans le même temps, les acteurs au service du projet global du territoire. Les perspectives de développement annuel des CAFST en Gironde (dans une perspective de généralisation prenant en compte les orientations institutionnelles et avec un développement au rythme d’une dizaine par an), posent la question de la généralisation de l’évaluation.

L’expérimentation dans cette commune périurbaine de taille moyenne interroge la modélisation de la démarche : transférabilité de la méthodologie mise en Å“uvre à des échelles territoriales différentes (moyens et temps nécessaires à la réalisation de l’évaluation). Au-delà d’une approche exhaustive ou priorisée (choix entre les CAFST à évaluer), un des enjeux forts de cette expérimentation est de réussir le passage d’une évaluation d’actions liées à des dispositifs à l’évaluation d’une politique territoriale partagée.