Accueil Revues Revue Numéro Article

Comptabilité - Contrôle - Audit

2005/1 (Tome 11)


ALERTES EMAIL - REVUE Comptabilité - Contrôle - Audit

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Article précédent Pages 55 - 77 Article suivant

Introduction

1

Les mairies sont l’axe central d’un réseau interorganisationnel appelé groupe communal autour duquel gravitent de nombreux satellites et partenaires dont les associations. Celles-ci sont un outil précieux dans la mise en œuvre des différentes politiques publiques locales, en particulier dans le domaine du sport, de la culture mais aussi dans celui de l’insertion des jeunes et de la prévention de la délinquance. En échange d’un soutien financier et logistique souvent déterminant, les collectivités sont alors amenées à évaluer le bien-fondé des actions engagées ainsi que l’utilisation des moyens alloués. Se pose alors la question de savoir quels outils et méthodes sont mis en œuvre pour atteindre cet objectif. Les rares articles sur le sujet présentent des résultats contradictoires. Lande, par exemple, dans un article portant sur le partenariat CFA conseil régional (2001) insiste sur les contraintes juridiques rendant délicate toute immixtion dans la gestion et préconise l’utilisation de procédures de reporting du type tableau de bord. Renucci, dans un article portant sur les associations financées dans le cadre de la politique de la ville (2001), constate la difficulté de mettre en œuvre de tels outils et souligne l’utilisation dans la pratique de méthodes de contrôle du type « visite sur place ». Carassus (2002) constate également l’importance des contrôles informels et directs dans le processus d’évaluation des associations même s’ils peuvent coexister avec d’autres moyens. Il évoque en particulier le contrôle des comptes et dans le domaine sportif le suivi de critères chiffrés (impact médiatique de l’association, nombre d’adhérents, résultats sportifs). Henriet (1999) souligne l’intérêt de tels critères qui, insérés dans un système de grilles de répartition de subvention, obligent les associations à fournir les informations nécessaires à l’évaluation de leur performance et facilitent cette dernière. L’enquête menée par lui, ainsi que celle du CNFPT (1998), mettent en évidence la fréquence de leur utilisation dans le domaine des associations sportives. Toutefois, une étude qualitative plus large, menée par nous auprès d’une cinquantaine de chefs de services d’une quinzaine de villes (de la sous-préfecture à la métropole régionale), semble montrer que ce type de méthode n’est que très difficilement transposable à d’autres domaines d’activité comme la culture. Cette étude semble également mettre en lumière l’importance des contrôles informels et directs évoqués par Carassus dans le processus de contrôle des associations mais elle reste à valider sur un échantillon plus étendu.

2

L’objectif de cet article est alors double. Il s’agit d’abord, par une enquête empirique large, de faire un état des pratiques des communes françaises en matière d’évaluation des performances des associations subventionnées. L’évaluation des performances sera comprise, dans ce contexte, comme l’ensemble des outils et méthodes utilisés par les villes pour le suivi de l’activité, le contrôle de l’utilisation des moyens et le suivi des réalisations. Il s’agit ensuite d’examiner en quoi ces pratiques sont influencées par les spécificités propres au groupe communal et à ses partenaires. Il conviendra en particulier d’examiner la place qu’occupent les outils de contrôle de type informels et directs mais également de déterminer s’il existe un lien entre le domaine d’activité des associations et les outils de contrôle adoptés. Nous limiterons notre étude à trois secteurs pour lesquels le partenariat avec les associations représente un enjeu politique et financier majeur : la culture, le sport, l’insertion des jeunes et la prévention de la délinquance.

3

Dans une première partie, nous présenterons les principales caractéristiques du groupe communal et des associations contrôlées et leur impact potentiel sur les méthodes de contrôle utilisées et nous dégagerons les principales hypothèses à tester. Dans une deuxième partie, nous décrirons le dispositif de recherche adopté, la conception du questionnaire et le déroulement de l’enquête. La troisième partie sera consacrée à l’exposition des principaux résultats obtenus et à la validation ou à l’infirmation des hypothèses de recherche.

1 - Les particularités de l’évaluation des performances des associations subventionnées dans le cadre communal

4

L’analyse de la littérature et l’enquête qualitative précédemment évoquée nous ont permis de faire le point sur les outils de contrôle utilisés et d’émettre un certain nombre d’hypothèses quant aux particularités caractéristiques du groupe communal ou des associations contrôlées et susceptibles d’avoir un impact sur ces outils.

1.1 - Les outils de contrôle mis en œuvre et l’influence des particularités du groupe communal

5

Quatre grandes familles d’outils ont pu être distinguées en fonction de la provenance des informations utilisées. Certaines caractéristiques propres au groupe communal ne semblent pas sans influence sur la décision de les mettre en œuvre ou non.

1.1.1 - L’exploitation des informations produites et fournies par l’association et le lien avec le cadre juridique des communes

6

La première famille réunit les outils outils de contrôle utilisant les informations fournies par l’association. On y trouve en premier lieu le contrôle des comptes et l’examen des rapports d’activité. En effet l’article L 1611-4 du Code général des collectivités territoriales précise que les associations bénéficiaires de subventions sont tenues de fournir à la collectivité une copie certifiée conforme des comptes de l’exercice écoulé, ainsi que tous les documents relatifs au résultat de leur activité. De par ce cadre législatif les communes disposent donc obligatoirement d’informations minimales sur les associations partenaires (comptes annuels, rapports d’activité) mais la revue de la littérature, tant universitaire que professionnelle, n’apporte que peu de renseignements sur l’utilité réelle de ces informations pour les communes. Cette famille, outre l’exploitation des relevés de fréquentation d’équipement remplis par les associations elles-mêmes, comprend également l’étude des critères à respecter par l’association et des indicateurs d’activité ou de résultat. Ces indicateurs ou critères sont fixés par la collectivité, l’association fournissant les informations nécessaires au chiffrage, et peuvent être intégrés ou non à des grilles de répartition de subvention. La mise en place de tels outils semble facilitée par le cadre législatif qui impose également, au-delà de 23 000 €, la signature d’une convention entre la commune et l’association bénéficiaire et incite à définir des objectifs, base d’une évaluation plus formalisée.

1.1.2 - L’utilisation des dispositifs de contrôle formalisés de la collectivité ou d’informations et d’avis externes et le resserrement de la contrainte financière

7

La deuxième famille se compose des outils exploitant le système d’information de la collectivité. Il peut s’agir de l’exploitation des relevés de fréquentation, par les associations, d’équipements mis à disposition établis par des gardiens au service de la collectivité. Il en est de même pour le suivi du nombre de spectateurs ou de participants.

8

La troisième famille est constituée d’outils établis sur l’utilisation d’avis ou d’informations externes. Il s’agit en particulier de l’étude des dossiers de presse. Cet outil regroupant tous les articles relatifs à une association (spectacles, manifestations, compétitions mais aussi incidents et problèmes rencontrés) peut être élaboré par l’association ou constitué par les services. Sont également regroupés sous cette rubrique le recours à des experts externes (DRAC, cabinets spécialisés, etc.) et l’examen d’informations externes (statistiques des fédérations sportives, observatoires de la délinquance). La mise en œuvre de tels dispositifs semble se heurter, pour certains d’entre eux, au resserrement des marges budgétaires des communes soit qu’ils impliquent un personnel nombreux (gardiens), soit qu’ils nécessitent un investissement financier non négligeable (cabinets spécialisés).

1.1.3 - L’utilisation d’outils de contrôle informels et directs et le lien avec la proximité géographique, caractéristique du groupe communal

9

Une quatrième famille regroupe les outils de contrôle informels et directs (Carassus, 2002) impliquant une forte présence sur le terrain des élus ou des services, c’est-à-dire les visites sur place et l’exploitation du retour terrain. Il s’agit dans ce dernier cas de collecter de façon informelle des informations auprès d’autres intervenants concernés par le travail associatif (utilisateurs, spectateurs, associations de quartier, etc.). Ces deux premiers outils peuvent servir indifféremment au contrôle de l’activité, de l’utilisation des moyens ou des réalisations. On y inclut également la présence aux assemblées générales et la présence aux manifestations et spectacles. De tels outils informels et directs semblent d’une part être très largement utilisés, d’autre part coexister avec les outils plus formalisés évoqués précédemment sans que, là non plus, on puisse se référer à des études empiriques larges traitant ce sujet. D’après l’étude qualitative menée, la mise en œuvre de telles méthodes semble grandement facilitée par la proximité géographique existant entre la mairie et ses partenaires associatifs. Les élus et fonctionnaires territoriaux sont, par exemple, en contact permanent avec le public concerné par les activités déployées par les associations. Ils peuvent en outre aisément effectuer des visites dans les installations communales mises à disposition des associations ou assister aux spectacles et manifestations organisés par celles-ci. Les mêmes constatations ont d’ailleurs été faites pour ce qui concerne les réseaux interorganisationnels du secteur privé, en particulier ceux caractérisés par une proximité géographique et technique forte entre le pivot et ses partenaires (Dumoulin, 1997 ; Renault et Chen, 2002). La Cour des comptes, en 2002, souligne d’ailleurs l’intérêt de telles pratiques dans son rapport sur la politique de la ville, « La connaissance et la proximité du terrain sont probablement le meilleur système de contrôle possible […] » (p. 145). Les opinions des professionnels interrogés pendant l’enquête qualitative semblent également aller dans ce sens. Dès lors on peut soutenir l’hypothèse suivante.

10

Hypothèse 1 : La proximité géographique favorise l’utilisation d’outils informels et directs qui s’avèrent dans ce contexte plus aisés à mettre en œuvre et plus efficaces que les autres outils de contrôle.

11

La facilité de mise en œuvre sera appréciée ici par le taux d’utilisation (utilisateurs/répondants). L’efficacité sera, elle, appréciée par le taux de satisfaction (utilisateurs satisfaits/utilisateurs).

1.2 - Le contexte d’utilisation des méthodes d’évaluation des performances et la prise en compte du secteur d’activité des associations contrôlées

12

En schématisant, les activités engagées par les associations opérant dans le domaine du sport, de la culture ou de l’insertion prévention, se déploient principalement sur deux axes bien distincts :

  • la production de spectacles ou de manifestations à caractère culturel ou sportif :

  • la production d’activités et d’animations à destination des populations de la ville (sport de masse, activités socioculturelles en direction des publics jeunes des quartiers difficiles, éducation à la culture).

Dans ce cadre l’évaluation de la performance impose la mesure des items suivants.

Tableau 1 - Les différents items à mesurer pour l’évaluation de la performance des associations subventionnéesTableau 1
13

On retrouve les notions d’outcomes, d’outputs et d’impacts évoquées par la littérature anglo-saxonne ainsi que la double fonction de production évoquée par Gibert (1986). Sans doute faut-il même parler ici d’une triple fonction de production. En effet, comme on peut le voir dans le tableau ci-dessus, les résultats atteints dépendent eux aussi de la réaction de l’environnement. D’ailleurs il vaudrait mieux parler d’impact intermédiaire (Guyon, 2001).

Figure 1 - Le process de production (des moyens alloués à l’impact obtenu)Figure 1
14

À chaque objet de mesure correspond un aspect du processus de contrôle mis en œuvre par les services de la mairie. Comme nous allons le voir, l’enquête qualitative semble montrer que les outils et méthodes employés à cet effet sont, au moins partiellement, contingents au domaine d’activité des associations contrôlées.

1.2.1 - L’examen de l’adéquation des moyens alloués

15

Il s’agit d’abord pour les services municipaux de vérifier si les moyens alloués sont adéquats par rapport aux réalisations effectives. Cela passe d’abord par la vérification de la réalité des réalisations de l’association, bien souvent par un contrôle sur place. Cela implique également un examen des comptes de l’association pour vérifier la non-existence de matelas de trésorerie révélateurs d’un niveau excédentaire de subvention. Il est également nécessaire de contrôler de façon fiable (c’est-à-dire par l’intermédiaire des gardiens) l’utilisation réelle des équipements mis à disposition. Or, lors de l’enquête qualitative, la mise en œuvre d’un tel type de contrôle a surtout été évoquée par les services des sports, ce qui s’explique d’après les responsables consultés, par l’importance des moyens mis à disposition. Dès lors on peut s’attendre à un taux d’utilisation des relevés de fréquentation des équipements (établis par les gardiens) significativement supérieur dans le domaine sportif par rapport aux deux autres domaines.

1.2.2 - Le contrôle processuel au niveau de l’activité déployée

16

Il s’agit de contrôler le bon déroulement des activités engagées, de vérifier le caractère adéquat des méthodes de travail employées mais aussi de détecter les comportements déviants (violence, usage de stupéfiants, etc.). L’effectivité de ce type de contrôle, intervenant à la fois en amont et en aval des réalisations, semble dépendre fortement du secteur d’activité des associations. En particulier, le domaine culturel semble s’y prêter globalement beaucoup moins du fait d’une forte variabilité des méthodes de travail et d’une impossibilité de formaliser le process (Chiapello, 1994). On peut alors s’attendre, dans ce domaine, à constater pour l’ensemble des outils relevant du contrôle de l’activité (critères à respecter, visites sur place, retour terrain), un taux d’utilisation significativement inférieur aux deux autres domaines. Au contraire, ce type de contrôle paraît relativement fréquent dans le domaine sportif où il existe des méthodes de travail codifiées et des diplômes professionnels (brevets d’État). Il s’exerce de façon informelle et directe par de nombreuses visites sur place mais aussi de façon indirecte en introduisant par exemple dans les critères d’attribution des subventions des exigences en matière d’encadrement (nombre d’encadrants brevetés). En insertion/prévention, les professionnels semblent exercer un contrôle plus lâche, essentiellement par le biais d’outils de contrôle informels et directs.

1.2.3 - Le suivi des résultats obtenus

17

Il s’agit ensuite pour les services d’examiner les résultats obtenus, soit globalement, soit pour chaque projet financé. Mais ces résultats sont fortement dépendants de la réaction des différents publics. Or cette réaction n’est pas toujours aisément quantifiable (en particulier dans le domaine culturel), d’où le recours fréquent à des instruments de mesure indirects ou informels (étude du dossier de presse pour l’impact médiatique, retour terrain pour l’accueil des milieux culturels). Même la satisfaction des usagers ne fait que très rarement l’objet de mesures directes. Elle est souvent approximée par le niveau de fréquentation (Chatelain-Ponroy, 2003) ou le retour terrain. D’après l’enquête qualitative, l’utilisation de tels types d’outils semble particulièrement développée dans le domaine culturel, où l’accueil du public et de la critique revêtent une importance particulière. On peut donc s’attendre à une utilisation plus importante de tels types d’outils dans le domaine de la culture par rapport aux deux autres domaines. Un autre problème est qu’il n’est pas toujours possible de comparer ces résultats à des objectifs quantifiés soit parce que l’activité ne s’y prête guère (culture), soit parce que les objectifs réels (obtenir la paix sociale, prévenir la délinquance) ne sont pas toujours politiquement affichables. En outre, dans le domaine de l’insertion/prévention, Renucci relève la difficulté d’obtenir des associations de simples statistiques de fréquentation des équipements mis à disposition car « recueillir des actions se heurte à une vieille tradition d’anonymat ». Il souligne la nécessité de mettre en œuvre des techniques de contrôle du type visites sur place et d’exploiter le retour terrain. À l’inverse, le suivi des résultats paraît plus aisé pour les associations sportives. Les résultats attendus sont très souvent clairement définis soit dans le cadre de grilles de répartition déjà évoquées précédemment, soit de contrats d’objectifs pour le haut niveau intégrant des indicateurs de résultat. Ces outils de type cybernétique y semblent largement répandus (CNFPT, 1998 ; Henriet, 1999). Il ne semble pas en être de même pour les associations des deux autres domaines sans qu’on dispose d’études empiriques larges pour le démontrer. De plus, les services des sports peuvent aisément vérifier la véracité des informations fournies par les associations (résultats sportifs et nombre d’adhérents) auprès des fédérations sportives. Une telle possibilité de recoupement par validation externe n’existe pas pour les deux autres domaines étudiés. On peut donc s’attendre à une utilisation beaucoup plus fréquente de l’outil « examen des informations externes » dans le domaine du sport.

1.2.4 - La difficile mesure de l’impact

18

La mesure de l’impact est beaucoup plus délicate. Celui-ci étant dilué dans le temps (en particulier pour les actions de formation ou de prévention en direction de la jeunesse), il doit se mesurer dans la durée. Encore faut il pouvoir disposer d’instruments de mesure adéquats. Or si, dans le domaine sportif, on peut suivre l’évolution sportive des jeunes athlètes, dans le domaine de l’insertion/prévention, on se heurte à l’absence de suivi individuel et pour l’impact à plus long terme à l’inexistence d’outils ad hoc (observatoires de la délinquance).

19

L’utilisation accrue de telles sources d’information (en général externes au service) ainsi que le recours éventuel à des experts externes ont été souvent évoqués par les professionnels interrogés lors de l’enquête qualitative, essentiellement en insertion/prévention.

20

On le voit, d’après l’étude qualitative menée préalablement, les associations collaborant avec les mairies sont loin d’être homogènes et semblent, dans les faits, se caractériser par des spécificités fortes liées à la nature même de leur activité. Or ces caractéristiques ne semblent pas sans influence sur les outils de contrôle à mettre en œuvre. On peut, dès lors, avancer l’hypothèse suivante :

21

Hypothèse 2 : Le secteur d’activité des associations a un impact significatif sur la fréquence d’utilisation des outils de contrôle.

2 - Le dispositif de recherche empirique

22

Dans cette partie, nous exposerons les grandes étapes de l’enquête quantitative menée en insistant particulièrement sur les difficultés rencontrées : une population cible difficile à identifier, un questionnaire complexe, la nécessité impérative d’un fort taux de réponse.

2.1 - La recherche de la population cible et la construction du fichier

23

La population cible de cette recherche était celle des chefs de service des villes de plus de 20 000 habitants responsables du suivi des associations pour les trois domaines visés : culture, sport et insertion prévention. Ceux-ci semblent en effet, d’après l’enquête qualitative, jouer un rôle déterminant dans le processus de contrôle, le contrôle de la performance étant dans les faits assuré par les services opérationnels en liaison avec les élus, les services fonctionnels (finance ou contrôle de gestion) étant centrés sur le contrôle financier, administratif et juridique. Par souci de cohérence nous avons également choisi la même population cible de villes que dans l’enquête qualitative. Un fichier nominatif ad hoc a d’abord été créé sur la base d’informations extraites du bottin des communes 2003. L’identification des responsables chargés du suivi des associations opérant dans le domaine de l’insertion/prévention s’est toutefois révélée particulièrement délicate. Dans les villes précédemment étudiées, une telle charge était assumée le plus souvent par le service politique de la ville mais aussi par le service prévention sécurité ou le service jeunesse, voire le service des sports. Si les responsables de ces trois derniers services étaient, en général, bien identifiés, celui de la politique de la ville (souvent un chargé de mission) n’était que rarement mentionné par le bottin des communes. Il a donc été nécessaire de compléter notre base de données par une recherche sur les sites Internet des villes concernées. Il fallait également régler le problème des responsables couvrant plusieurs domaines d’activité (sport et culture, par exemple). De façon à permettre des comparaisons entre domaines, il était essentiel que chaque responsable ne réponde que pour un seul domaine d’activité. Le problème a été résolu en demandant aux répondants de ne renseigner le questionnaire que pour leur champ d’activité principal (sport ou culture ou insertion/prévention).

2.2 - La construction du questionnaire

24

Le questionnaire portait sur les critères de sélection, les difficultés rencontrés dans le processus de contrôle, les méthodes de détermination des budgets alloués, les outils utilisés pour la mesure des performances, la phase de post-évaluation et les facteurs ayant un impact sur celle-ci.

25

L’étude ci-après ne développe que les résultats afférents au quatrième point. Concernant celui-ci, l’enquête qualitative préalable nous a permis de mettre en évidence une douzaine de méthodes précédemment évoquées dans la première partie et utilisées pour la mesure des performances des associations partenaires.

26

Les outils et méthodes ont été ensuite regroupés selon leur thématique d’utilisation :

  • suivi de l’activité, des procédés de travail et du comportement ;

  • contrôle de l’utilisation des moyens ;

  • suivi des réalisations (regroupant l’analyse des résultats et l’éventuelle mesure de l’impact).

Pour chaque méthode il a été demandé :

  • lorsqu’elle était utilisée, si elle était satisfaisante ou pas ;

  • lorsqu’elle n’était pas utilisée, si le répondant envisageait de l’utiliser ou si elle ne lui semblait pas adaptée.

Cette formulation a été reprise de celle employée par Malleret (1998) dans son enquête sur l’évaluation des performances des services fonctionnels.

27

La problématique même imposant un questionnaire commun, un effort important a été fait pour expliciter les méthodes présentées en fournissant des exemples ou en précisant les conditions d’utilisation. Il s’agissait de permettre au répondant d’identifier l’outil, d’éviter les confusions entre outils (par exemple entre relevés de fréquentations et suivi du nombre de spectateurs) ou les incompréhensions (on a ainsi évité d’utiliser l’expression grilles de répartition de subvention, très connue dans le secteur des sports mais peu employée dans les autres secteurs). La problématique adoptée impliquait, en outre, une comparaison des pratiques entres les services de façon à mettre en évidence l’éventuel impact du secteur d’activité sur le choix des outils de mesure des performances. Cela imposait de disposer d’un nombre de réponses relativement élevé (50 minimum par secteur, soit 150 questionnaires exploitables) avec une population mère relativement limitée et des interlocuteurs pas toujours identifiables. À ce niveau un taux de retour élevé apparaissait essentiel. Un test préalable du questionnaire a donc été effectué, en face-à-face, auprès de trois services (jeunesse et sport, culture et politique de la ville) qui nous ont de plus fourni des lettres de soutien. À la suite de quoi celui-ci a été a notablement allégé. En particulier, certaines questions ont été écartées, soit parce qu’elles rallongaient considérablement le temps de traitement (fréquence d’utilisation des méthodes, nombre d’associations contrôlées), soit parce qu’elles provoquaient la réticence des répondants (couleur politique de la mairie, impact de l’alternance).

2.3 - Le déroulement de l’enquête et l’analyse des données obtenues

28

La collecte des données a été réalisée par l’envoi de questionnaires auto-administrés en juillet 2003 auprès des responsables identifiés des directions de la jeunesse, des sports, de la culture, de la prévention sécurité et de la politique de la ville sur la base du bottin des communes pour toutes les villes françaises de plus de 20 000 habitants, soit 950 questionnaires environ. (Dans le détail : 200 responsables de services jeunesse, 190 en sport, 330 en culture, 170 en prévention/sécurité et 60 pour la politique de la ville). En définitive, 275 questionnaires ont été retournés entre juillet et novembre 2003, soit un taux de retour de plus de 28 % relativement important pour ce type d’enquête. Malgré les précautions prises en termes d’explication des méthodes, nous avons été confrontés, dans le domaine culturel et pour certaines questions, à un nombre assez élevé de non-réponses, en particulier pour ce qui est de l’utilisation d’informations externes mais aussi d’autres outils et méthodes tels les critères à respecter (méthodes apparemment assez couramment utilisées en sport ou en insertion/prévention mais sans doute peu familières à ce type de répondant). Un certain nombre de questionnaires ont dû être écartés, dans la plupart des cas parce que les réponses étaient relatives à au moins deux secteurs simultanément (par exemple sport et culture). En définitive, 251 questionnaires ont pu être exploités. La composition de l’échantillon est présentée dans le tableau 2 page suivante.

Tableau 2 - Classement des répondants en fonction de leur domaine d’activité et de la taille de la commune où ils exercentTableau 2
29

La composition des répondants varie avec la taille de la commune, avec une augmentation de la proportion de répondants en insertion/prévention et une diminution parallèle en sport. Ceci peut s’expliquer dans la mesure où la présence de services opérant dans le domaine de l’insertion/prévention (tels les services de la politique de la ville) augmente avec la taille de la ville.

30

Les questionnaires ont été traités sur logiciel SPSS. Il s’agissait d’abord de faire apparaître les fréquences (hors non-réponse) par comptage, puis d’effectuer un tri en fonction du domaine d’activité, de façon à distinguer la fréquence par domaine. Concernant la fréquence de la population étudiée, on peut aisément déterminer un intervalle de confiance sur la base de la fréquence de l’échantillon collecté. C’est ce qu’illustre le tableau 3, sur deux situations types.

Tableau 3 - Intervalle de confiance des fréquences obtenues sur deux situations typesTableau 3
31

La population mère étant limitée, les échantillons obtenus supérieurs à 30 et leur importance relative par rapport à la population mère supérieure à 5 % nous avons procédé à une correction d’exhaustivité réduisant de façon sensible les intervalles de confiance. Ces intervalles peuvent être considérés comme maximums puisque nous avons pris comme population mère l’ensemble des 445 villes de plus de 20 000 habitants alors que les trois compétences étudiées ne sont pas présentes dans toutes les municipalités (en particulier l’insertion/prévention).

32

Au-delà, comme l’avait souligné Malleret pour ce type d’étude, des biais potentiels importants, relatifs à la représentativité de l’échantillon obtenu, imposent la prudence quant à la généralisation des résultats obtenus. Il est en effet possible que les services rencontrant des problèmes dans le contrôle des associations subventionnées et intéressés par les résultats de l’enquête soient surreprésentés. Il est également possible que les services se pensant peu avancés en la matière n’aient pas jugé utile de renvoyer le questionnaire et soient sous-représentés. De même, il existe sans doute un biais lié aux non réponses (non prises en compte dans l’étude), en particulier dans le domaine culturel, sans qu’on puisse réellement se prononcer sur le sens de ce biais.

33

Pour ce qui est de l’hypothèse 2, des tests de Khi deux ont été systématiquement pratiqués pour évaluer le caractère significatif des différences de résultats intersectorielles.

34

Par ailleurs, les commentaires ont été systématiquement relevés et classés par domaine d’activité et par thème (par exemple coût élevé de la méthode, utilisation non systématique de l’outil, etc.).

3 - Les principaux résultats obtenus

35

Il s’agit ici de présenter, outil par outil, les éléments statistiques les plus significatifs sous la forme d’une comparaison intersectorielle et d’en tirer les renseignements essentiels quant aux pratiques professionnelles actuelles. Puis nous examinerons en quoi les éléments précédents peuvent infirmer ou valider les hypothèses de recherche et éventuellement ouvrir de nouvelles perspectives. Enfin nous procéderons à une analyse globale du processus d’évaluation des performances et mettrons en lumière certaines limites de la recherche.

3.1 - L’analyse comparée par secteurs et par aspect du processus de contrôle et la vérification de la validité des hypothèses sectorielles

36

On examinera ici, pour chaque outil utilisé et ce pour les trois domaines d’activité étudiés, les taux d’utilisation (nombre total d’utilisateurs/nombre total de répondants) ainsi que les taux d’insatisfaction (nombre d’utilisateurs insatisfaits/nombre total d’utilisateurs), estimés ici plus parlants que les taux de satisfaction. Les outils ont été regroupés selon l’aspect du processus de contrôle concerné (suivi de l’activité, contrôle de l’utilisation des moyens, suivi des réalisations). Ils sont exposés en fonction de leur taux d’utilisation (de l’outil le plus utilisé à l’outil le moins utilisé). Le cas échéant, on précisera le taux de satisfaction (nombre d’utilisateurs satisfaits/nombre total d’utilisateurs), le potentiel de développement (% de non-utilisateurs envisageant d’utiliser la méthode) ainsi que le % de répondants jugeant la méthode non adaptée. On évoquera également les commentaires les plus fréquemment relevés en précisant à chaque fois leur nombre par rapport au total des commentaires relatifs à l’outil concerné : 5/24 signifiant 5 commentaires sur ce thème sur un total de 24 commentaires portant sur l’outil en question.

3.1.1 - Le suivi de l’activité, des procédés de travail et du comportement

37

On remarque d’abord une utilisation très répandue d’outils de contrôle informels et directs, en particulier les visites sur place, et ce sans différences significatives, pour ce dernier outil, entre les secteurs. La visite sur place est un outil à la fois extrêmement utilisé et plébiscité en terme de satisfaction. L’étude des commentaires (24) donne toutefois une image plus nuancée de l’utilisation de l’outil. Sa mise en œuvre nécessite du temps et du personnel (7/24) et n’est donc pas toujours utilisé de façon systématique (8/24). Le retour terrain est également très employé dans le domaine culturel (88,2 %) mais aussi dans l’insertion/prévention (90,9 %). Il l’est nettement moins dans les services des sports (68 %). L’outil est également jugé globalement moins satisfaisant. Plusieurs commentaires (11/21) portent sur le caractère subjectif et parcellaire du retour terrain.

Tableau 4 - Taux d’utilisation et taux d’insatisfaction par secteur et par outil (suivi de l’activité, des procédés de travail et du comportement)(*)Tableau 4

(*) Y compris ceux utilisés dans les grilles de répartition de subvention.

38

Les associations doivent également souvent fournir des renseignements portant sur un certain nombre de critères. Ceux-ci permettent d’examiner si les associations développent des champs d’activité correspondant aux axes de la politique publique et si les comportements et les procédés de travail sont conformes aux attentes de la collectivité. C’est particulièrement vrai dans le domaine sportif (84,4 % d’utilisateurs) où ces critères sont souvent intégrés dans les grilles de répartition de subvention. La situation est tout autre dans les services culturels où le taux d’utilisation est nettement inférieur à celui des deux autres secteurs. 45,7 % des répondants considèrent d’ailleurs cet outil comme inadapté au domaine culturel (contre 2,9 % pour les services des sports). Les outils de contrôle formalisés de type cybernétique semblent peu employés dans le domaine culturel. Cela peut s’expliquer par la singularité du process de production, difficile à encadrer ou à modéliser.

Tableau 5 - Différences dans les taux d’utilisation des outils de contrôle entre les secteurs d’activité des associations contrôlées (test du Khi deux)(*)(**)Tableau 5

(*) Significatif au seuil de 1% ;

(**) significatif au seuil de 5 % ;

NS = non significatif.

3.1.2 - Le contrôle de l’utilisation des moyens

39

Les visites sur place des élus ou des services permettent de contrôler la bonne utilisation des mises à disposition. C’est l’outil considéré comme le plus satisfaisant par les utilisateurs (86,4 %/sport ; 89,1 % /insertion/prévention ; 81,7 %/culture). Ce contrôle in situ nécessiterait toutefois beaucoup de temps (11 commentaires sur 13).

Tableau 6 - Taux d’utilisation et taux d’insatisfaction par secteur et par outil (contrôle de l’utilisation des moyens)(*)Tableau 6

(*) Fréquentation des équipements ou locaux mis à disposition.

40

Le retour terrain, également très utilisé, suscite plus de réticence, particulièrement dans le domaine sportif, où d’autres méthodes moins subjectives, tels les relevés de fréquentation, peuvent être mises en œuvre.

41

Le contrôle des comptes des associations, obligatoirement fourni par celles-ci, est l’outil le plus employé par les répondants. Il permet de juger de la bonne utilisation de la subvention. Cette méthode est jugée globalement très satisfaisante par les utilisateurs (à 84,5 % pour le sport, 84,3 % pour l’insertion/prévention, 80,7 % pour la culture).

42

Les relevés de fréquentation des équipements renseignés par les associations sont également très utilisés mais se révèlent globalement peu satisfaisants. La plupart des commentaires (10/15) évoquent la partialité de l’information engendrée par « un système déclaratif non vérifiable et peu fiable ».

43

Pour ce qui est des dispositifs de contrôle formalisés de la collectivité, 76,9 % des services des sports interrogés utilisent les relevés de fréquentation établis par les gardiens. L’importance des équipements impose souvent un gardiennage qui peut être mis à profit pour vérifier l’utilisation réelle des créneaux mis à disposition. C’est beaucoup moins le cas pour les deux autres secteurs où un fort pourcentage de répondants juge d’ailleurs la méthode non adaptée (41,9 % pour la culture et 48 % pour l’insertion/prévention).

Tableau 7 - Différences dans les taux d’utilisation des outils de contrôle entre les secteurs d’activité des associations contrôlées (test du Khi deux)(*),(**)Tableau 7

(*) Significatif au seuil de 1% ;

(**) Significatif au seuil de 5 % ;

NS = non significatif.

3.1.3 - Le suivi des réalisations

44

Là encore le recours à des outils de contrôle de types informels et directs est plébiscité par les professionnels, en particulier la présence aux manifestations « incontournables pour avoir ensuite un jugement », avec des taux de satisfaction très élevés. Il en est de même, quoique de façon moins nette, de la présence aux assemblées générales. La situation est en revanche beaucoup plus contrastée pour ce qui est du retour terrain. Les taux de satisfaction exprimés sont nettement plus élevés dans les domaines de la culture (80,8 %) et de l’insertion/prévention (77,8 %) que dans le sport (65,7 %) ou l’utilisation de l’outil est aussi moins forte. Cela peut s’expliquer par la présence d’interlocuteurs plus motivés dans les deux premiers domaines (spectateurs, comités de quartier).

45

L’examen du rapport d’activité, document obligatoirement fourni par les associations subventionnées, est une pratique quasi générale (bien qu’on puisse relever une certaine sous-utilisation dans le domaine du sport par rapport à la culture). Mais de nombreux utilisateurs en sont peu satisfaits (plus d’un tiers en insertion/prévention). L’essentiel des commentaires (15/28) porte sur le caractère incomplet et subjectif du rapport d’activité, « outil insuffisant car ce n’est que la seule vision de l’association », d’où la nécessité de le compléter par d’autres outils (15/28). Ce qui est apparemment plus facile dans les domaines du sport et de la culture.

46

Les indicateurs d’activité ou de résultat semblent relativement peu utilisés (un peu plus de la moitié des répondants) et ce, même en sport où l’utilisation des grilles de répartition est largement répandue. En fait, une enquête téléphonique complémentaire a montré que cet outil renvoyait plutôt, dans l’esprit des répondants, aux indicateurs de résultats utilisés pour le haut niveau dans le cadre des contrats d’objectifs. De même, la notion de critères à respecter a été assimilée aux critères d’attribution de subvention. Or ces critères comprennent aussi des indicateurs de résultat (nombre de licenciés, nombre de jeunes encadrés). C’est pourquoi ils sont présents au niveau du suivi de l’activité et des procédés de travail mais également au niveau du suivi des réalisations. Notons toutefois que les indicateurs chiffrés disposent d’un potentiel de développement non négligeable (voir tableau 9). C’est en particulier le cas pour les indicateurs de résultat. Il en est de même, mais dans une bien moindre mesure, pour les critères à respecter.

Tableau 8 - Taux d’utilisation et taux d’insatisfaction par secteur et par outil (suivi des réalisations)(*)Tableau 8

(*) Y compris ceux utilisés dans les grilles de répartition de subvention.

Tableau 9 - Outils et méthodes à plus fort potentiel de développementTableau 9
47

Pour ce qui est des dispositifs de contrôle formalisés de la collectivité, le suivi du nombre de spectateurs ou de participants est très utilisé et très apprécié (81 %) par les services culturels, sans doute parce que la production de spectacles est au cœur de l’activité. Toutefois, « ce n’est pas toujours un critère pertinent en matière culturelle », précisent plusieurs professionnels consultés. C’est aussi le cas, mais de façon moins nette, en sport et en insertion/prévention.

48

Au niveau de l’utilisation d’informations et d’avis externes, le dossier de presse est largement l’outil le plus utilisé pour tous les secteurs, en particulier dans le domaine culturel (77,9 % des répondants). En revanche, on peut remarquer de fortes disparités dans les taux de satisfaction (69,9 % pour le sport, 62,7 % pour la culture et seulement 29 % pour l’insertion/prévention). Sans doute l’outil ne correspond qu’assez peu aux objectifs des services en charge de ce dernier domaine. Au-delà, si cet outil permet d’estimer à peu de frais l’impact médiatique d’une manifestation ou le succès critique d’un événement culturel, des risques existent, soulignés tant par les commentaires joints (« les médias ne reflètent pas toujours la réalité ») que par les remarques des professionnels interrogés. Les deux autres outils ont une utilisation plus limitée malgré un potentiel de développement non négligeable. Les experts externes semblent être employés de façon ponctuelle (16/35), essentiellement dans le domaine culturel et en insertion/prévention (52,6 %) et (56 %). L’examen d’informations externes est surtout utilisé en insertion/prévention (58 %). Le caractère transversal de la politique de la ville facilite sans doute l’échange d’informations entre les différents intervenants. « Il y a un véritable croisement d’informations entre les services de l’État, le Conseil général, la région, la CAF, la communauté d’agglomération », précise un répondant. Mais la proportion de services des sports utilisateurs (34,7 %) est étonnamment faible. En effet, le contrôle du nombre de licenciés par le biais des fédérations et des ligues avait été fréquemment évoqué lors de l’enquête qualitative.

Tableau 10 - Différences dans les taux d’utilisation des outils de contrôle entre les secteurs d’activité des associations contrôlées (test du Khi deux)(*)Tableau 10

(*) Significatif au seuil de 1% ;

(**) significatif au seuil de 5 % ;

NS = non significatif ; NA = non applicable.

3.2 - Les facteurs ayant un impact sur la mise en œuvre des outils et méthode d’évaluation des performances

49

Si l’enquête statistique valide, au moins partiellement, nos hypothèses de recherche, elle apporte également un certain éclairage sur plusieurs autres facteurs dont on peut penser qu’ils peuvent également influencer les choix en matière d’outils de contrôle.

3.2.1 - Le rôle des outils de contrôle informels et directs

50

Pour ce qui est des services répondants et comme l’illustre le tableau 11, l’hypothèse 1 semble validée pour les outils du type « visites sur place » L’évaluation de la performance des associations y est bien caractérisée par une utilisation importante d’outils de contrôle informels et directs. Ces outils sont utilisés massivement dans les trois secteurs étudiés. Ils sont également globalement considérés par les professionnels répondants comme les plus satisfaisants.

Tableau 11 - Importance relative des outils de types informels et directsTableau 11
51

La situation est différente pour le retour terrain, outil assez largement utilisé mais considéré comme beaucoup moins satisfaisant car posant des problèmes de fiabilité. De nombreux commentaires (15/39) insistent sur le caractère parcellaire et subjectif de cet outil qui nécessite de recourir à des investigations supplémentaires.

52

Globalement, il existe très probablement un lien entre l’utilisation de ces méthodes et la proximité géographique et culturelle des partenaires. Cette hypothèse est cependant difficile à confirmer faute d’études de même type sur des collectivités de nature différente (conseils généraux et régionaux).

3.2.2 - L’impact du secteur d’activité sur les outils de contrôle utilisés

53

À l’inverse, l’hypothèse 2 n’est que partiellement confirmée. Comme on peut le voir dans le tableau 12, une partie significative des outils d’évaluation des performances utilisés dans le contrôle des associations est commune aux trois secteurs d’activité (ces outils étant utilisés par une très forte majorité des services répondants, quel que soit leur domaine d’appartenance). Outre les outils de contrôle informels et directs précédemment évoqués, il en est de même pour les outils basés sur l’exploitation des informations obligatoirement fournies par les associations (contrôle des comptes, examen du rapport d’activité), même si les tests font apparaître une sous-utilisation des rapports d’activité en sport par rapport à la culture. La contingence semble jouer de façon plus significative pour les outils basés sur l’utilisation d’informations externes mais aussi les dispositifs de contrôle formalisés de la collectivité. La situation semble moins claire pour les outils du type « indicateurs chiffrés ». Si les fréquences d’utilisation diffèrent nettement pour ce qui est de l’utilisation de critères à respecter, il n’en est pas de même pour les indicateurs de résultat.

Tableau 12 - Secteur d’activité et fréquence d’utilisation des outil de contrôle(*)Tableau 12

(*) Y compris la présence aux spectacles et aux manifestations ou aux assemblées générales.

3.2.3 - La mise en évidence d’autres paramètres et des incertitudes persistantes

54

Rien dans l’enquête qualitative ne permettait de mettre en évidence un lien entre la taille de la collectivité et les outils utilisés. Toutefois, pour vérifier cette hypothèse, nous avons procédé à un examen des fréquences d’utilisation des méthodes et outils de contrôle en fonction de la taille de la ville, et ce par domaine d’activité, de façon à éliminer l’impact de celui-ci sur les résultats. Aucune corrélation significative n’a pu être mise en évidence entre la fréquence d’utilisation des outils et la taille de la ville. En particulier la fréquence d’utilisation n’augmente pas avec la taille de la ville. À ce niveau de l’étude, aucune relation entre la couleur politique des élus et les outils de contrôle utilisés n’a pu être mise en évidence, ni dans l’enquête qualitative ni à fortiori dans l’enquête quantitative (le test préalable nous ayant amené à écarter ce type de question). En revanche, l’enquête qualitative avait montré de façon assez claire que dans un certain nombre de cas, l’alternance (quelle que soit la couleur politique des anciens et des nouveaux élus) avait favorisé la mise en place d’outils de contrôle formalisés (critères à respecter, indicateurs de résultat). D’après les fonctionnaires interrogés, ces demandes d’outils émanant des nouvelles équipes municipales étaient destinées à pallier une connaissance fragmentaire du tissu associatif local.

55

En revanche, un autre paramètre, négligé dans notre étude, a souvent été souligné par les commentaires. Il s’agit du coût d’installation ou de mise en œuvre de l’outil. En effet, un coût d’installation élevé, comme dans le cas du gardiennage des équipements, freine sans doute de façon considérable, la généralisation de l’outil. De même, un coût de mise en œuvre élevé comme le recours à des experts externes ou dans une moindre mesure les visites sur place (fortes consommatrices de temps) oblige la collectivité soit à renoncer, soit plus généralement à utiliser l’outil de façon plus sélective en le réservant aux associations les plus importantes ou aux cas les plus délicats. À l’inverse le cadre législatif, en imposant la fourniture gratuite de certaines informations, incite à leur utilisation. De même, la proximité géographique rend beaucoup moins coûteuse la mise en œuvre de méthodes de contrôle directes par inspection physique.

3.3 - L’analyse globale et les autres enseignements de l’étude

56

Globalement, de nombreux outils de contrôle sont mis en œuvre pour faire face à un processus complexe avec des résultats très variables selon les secteurs.

3.3.1 - De nombreuses méthodes mises en œuvre

57

Une première remarque s’impose. Le nombre d’outils et méthodes utilisés en moyenne par les professionnels répondants est élevé : entre 9 et 10 pour ce qui est du sport et de la culture ; entre 10 et 11 pour ce qui est de l’insertion/prévention, sur un total de 14 outils et méthodes possibles (en ne comptant qu’une fois les méthodes utilisables pour plusieurs phases du processus de contrôle : visites sur place, retour terrain, critères à respecter). À titre de comparaison, les contrôleurs de gestion interrogés par Malleret utilisaient entre 5 et 6 des 13 méthodes proposées pour l’évaluation de la performance des services fonctionnels. Un constat similaire a d’ailleurs été fait lors de l’enquête qualitative et de plusieurs recherches actions, ce qui rend ce résultat relativement crédible. Plusieurs explications peuvent alors être avancées : d’une part nous avons opté pour une vision élargie de l’évaluation de la performance englobant le contrôle d’exécution (suivi de l’activité, du comportement, des procédés de travail) en sus du contrôle de l’utilisation des moyens et du suivi des réalisations. Ce qui augmente la palette d’outils nécessaire pour contrôler l’ensemble du process.

58

D’autre part, comme nous l’avons souligné précédemment, toutes les méthodes ne sont pas utilisées systématiquement, essentiellement pour des raisons de coût ou de disponibilité des élus et du personnel communal.

59

D’autres raisons plus subtiles peuvent être également avancées.

60

• En premier lieu, les objectifs implicites ou explicites du partenariat sont souvent multiples, subséquemment les résultats attendus le sont aussi. Ceux-ci, pour être évalués, nécessitent souvent des outils de nature différente. Ainsi, pour une association culturelle, le nombre de spectateurs va permettre d’évaluer la satisfaction du public, la présence au spectacle de vérifier la qualité de celui-ci, le retour terrain d’apprécier l’accueil des milieux culturels, le dossier de presse de jauger l’impact médiatique.

61

• En deuxième lieu, les activités déployées par les associations à l’intérieur d’un même secteur peuvent apparaître sensiblement différentes selon qu’elles sont orientées vers la production de manifestations ou de spectacles ou celle d’activités éducatives. Cela apparaît assez clairement en sport, où les services sont amenés à gérer simultanément des associations relevant du haut niveau, du sport de masse ou du sport insertion. Pour les deux dernières activités, il s’agit d’évaluer l’impact de celles-ci sur des personnes, ce qui implique des outils individualisés de suivi et de mesure, délicats à mettre en œuvre. Inversement, il semble plus facile d’apprécier le résultat, voire l’impact d’un club de haut niveau dont on attend essentiellement de lui qu’il gagne ses matchs. Cette nécessité de gérer des activités de nature différente explique sans doute, elle aussi, le nombre important d’outils mis en œuvre. En effet les outils mis en œuvre sont sans doute beaucoup plus contingents à la nature de l’activité déployée qu’au domaine d’activité. Par exemple dans le domaine sportif, les indicateurs de résultat et les dossiers de presse semblent beaucoup plus employés pour le haut niveau que pour le sport de masse, à l’inverse des critères à respecter intégrés dans les grilles de répartition de subvention et plutôt utilisés pour le sport de masse.

62

Enfin, si autant d’outils de contrôle (dont certains comme les visites sur place sont assez intrusifs) sont déployés, c’est sans doute aussi parce que les collectivités ont à la fois l’opportunité et la possibilité de le faire. L’opportunité car la proximité géographique rend plus facile la mise en œuvre des outils de contrôle informels et directs. La possibilité parce que, comme le souligne Orange (1992), la dépendance financière des associations vis-à-vis des mairies permet de leur imposer des procédures de contrôle au choix de la collectivité. Cette dépendance économique est encore renforcée par le fait que les communes sont très souvent propriétaires des lieux où les associations exercent leurs activités.

3.3.2 - Une efficacité limitée du processus de contrôle

63

Il faut également souligner qu’un nombre important d’outils et méthodes déployés ne garantit pas l’efficacité du processus de contrôle. La mesure du résultat et de l’impact semble malgré tout particulièrement délicate, en particulier dans le domaine de l’insertion/prévention. Comme le précise un répondant : « les difficultés portent essentiellement sur les résultats produits (impact) et le lien direct avec les actions mises en œuvre ». D’ailleurs près de 62 % des professionnels opérant dans ce secteur, interrogés à ce sujet dans une autre partie du questionnaire, estiment difficiles ou très difficiles la mesure des résultats obtenus par les associations et la mesure de l’impact sur la collectivité. Cette difficulté apparaît aussi et de façon plus surprenante pour le sport où cette proportion s’élève à 48 %. Un des commentaires souligne que la mesure est « facile quant il s’agit de résultats sportifs en compétition, plus difficile sur projet plus qualitatif ». Cette remarque remet en lumière une limite de l’étude précédemment signalée. Le niveau d’analyse choisi (c’est-à-dire le domaine d’activité), bien qu’ayant permis de mettre en lumière des différences significatives en termes de fréquence d’utilisation et de taux de satisfaction des utilisateurs entre les secteurs, reste encore trop global pour saisir toute la complexité de l’évaluation des performances des associations subventionnées. Il est sans doute plus facile de mesurer le résultat et l’impact d’un club sportif de haut niveau ou d’une compagnie théâtrale que d’évaluer l’impact d’une activité sportive ou culturelle de masse. Le fait que seulement 38 % des répondants du secteur culturel éprouvent de fortes ou très fortes difficultés à mesurer les résultats obtenus par les associations et l’impact sur la collectivité peut sembler confirmer cette hypothèse. En effet, beaucoup d’associations de ce secteur sont orientées vers la production de manifestations ou de spectacles. Malgré tout cette proportion reste élevée car comme le précise un des commentaires : « La difficulté n’est pas relative à la mesure des objectifs quantitatifs mais aux attentes d’ordre éducatif. » On peut certes approximer le niveau de satisfaction par la fréquentation. Il est beaucoup plus difficile d’évaluer l’élévation du niveau culturel induit.

Conclusion

64

Au terme de cette étude, l’évaluation des performances des associations subventionnées apparaît comme un processus relativement complexe. L’hétérogénéité des activités, l’enchevêtrement et le caractère multiforme des relations entre partenaires caractéristiques des réseaux interorganisationnels, les particularités inhérentes au management public (cadre juridique lourd, pluralité des objectifs, double fonction de production) sont autant de problèmes à résoudre pour les élus et les fonctionnaires territoriaux en charge de ce contrôle. Ceux-ci réagissent de façon pragmatique, en utilisant au mieux les opportunités qu’offre la proximité géographique caractéristique du groupe communal et en optant pour une approche partiellement contingente du contrôle. Bien entendu, l’intérêt d’une comparaison avec d’autres collectivités, elles aussi confrontées au problème du contrôle des associations mais de nature différente, comme les conseils généraux ou régionaux, apparaît immédiatement. Au-delà l’évaluation des performances n’est qu’une des facettes du processus global de contrôle des associations subventionnées qui mérite sans doute une étude plus exhaustive. En effet l’exploitation de l’ensemble de l’enquête semble mettre en lumière des processus de finalisation et de postévaluation fort complexes où l’intégralité des modes de contrôle (cybernétiques ou non cybernétiques) décrits par Hofstede (1981) peut être mise en œuvre.


Bibliographie

  • Carassus D. (2002), « L’audit externe des villes et de leurs satellites », thèse de doctorat, université de Pau.
  • Chatelain-Ponroy S. (2003), « Prolégomènes à l’analyse des coûts dans les organisations culturelles municipales », », Comptabilité-Contrôle-Audit, tome 9, mai, p. 79-94.
  • Chiapello E. (1994), « Les modes de contrôle des organisations artistiques », thèse de doctorat, université de Paris-Dauphine.
  • CNFPT (1998), Enquête nationale : les politiques sportives des communes de plus de 3 000 habitants. www.infosport.org/sport/etude/cnfpt1998.htm
  • Cour des comptes (2002), Rapport sur la politique de la ville, p. 145, www.ccomptes.fr.
  • Dumoulin R. et Gbaka A. (1997), « Contrôle d’entreprise et réseaux stratégiques, une étude exploratoire », Comptabilité-Contrôle-Audit, tome 1, mars, p. 23-38.
  • Gibert P. (1987), « Management public, management de la puissance publique », Politiques et management public, vol. 4, n° 2, p. 89-124.
  • Guyon C. (2001), « Les indicateurs introuvables du service public », Échanges, n° 179, juillet, p. 46-49
  • Henriet A. (1999), « L’impartition opportuniste : une spécificité du management public local », Actes du colloque : deuxièmes rencontres Ville-Management, Dalloz, p. 413-431.
  • Hofstede G. (1981) « Management Control of Public and Not-For-Profit Activities », Accounting, Organizations and Society, vol. 6, n° 3, p. 193-211.
  • Lande E. (2001), « Le contrôle externe des associations par les organismes de financement », Actes du congrès AFC, mai.
  • Malleret V. (1998), « L’évaluation des performances des services fonctionnels : une étude empirique », Finance-Contrôle-Stratégie, vol. 1, mars, p. 145-168.
  • Orange G. (1992), « Les stratégies non budgétaires des villes », thèse de doctorat de sciences de gestion, Caen.
  • Renault S., Chen J. (2002), « Forces, enjeux et faiblesses des réseaux de proximité : le cas des sites industriels étendus », Actes du colloque Réseaux (PESOR), septembre.
  • Renucci A. (2001), « Efficacité relative des services municipaux et des associations pour remplir une mission de service public », Cinquièmes rencontres Ville-Management.

Résumé

Français

Cet article expose les résultats d’une enquête par questionnaire menée auprès de 270 chefs de services opérant dans les domaines des sports, de la culture et de la politique de la ville dans 180 villes de plus de 20 000 habitants. Elle porte sur les outils et méthodes utilisés par ces services pour le suivi de l’activité, le contrôle de l’utilisation des moyens et l’évaluation des résultats des associations subventionnées. Utilisant une approche comparative, l’étude montre l’importance des contrôles informels et directs, ce quel que soit le type d’association envisagée. Elle souligne également le rôle non négligeable du secteur d’activité des associations dans le choix des outils de contrôle.

Mots-clés

  • contrôle interorganisationnel
  • ville
  • associations
  • satellites
  • évaluation des performances

English

This article gives the résults of a survey of 270 départemental heads in the fields of sports, culture and urban policy in 180 towns and cities of more than 20 000 inhabitants. It analyses the tools and méthods used by this départements in order to monitor the activity, the use of allocated means and assess the performance of associations subsidized by the town. Using a comparative approach, this survey shows the importance of direct and informal inspections. It also highlights the field of activity of the associations as a décisive factor in choosing the tools of supervision.

Keywords

  • interorganisationnal control
  • towns
  • associations
  • performance evaluation

Plan de l'article

  1. Introduction
  2. 1 - Les particularités de l’évaluation des performances des associations subventionnées dans le cadre communal
    1. 1.1 - Les outils de contrôle mis en œuvre et l’influence des particularités du groupe communal
      1. 1.1.1 - L’exploitation des informations produites et fournies par l’association et le lien avec le cadre juridique des communes
      2. 1.1.2 - L’utilisation des dispositifs de contrôle formalisés de la collectivité ou d’informations et d’avis externes et le resserrement de la contrainte financière
      3. 1.1.3 - L’utilisation d’outils de contrôle informels et directs et le lien avec la proximité géographique, caractéristique du groupe communal
    2. 1.2 - Le contexte d’utilisation des méthodes d’évaluation des performances et la prise en compte du secteur d’activité des associations contrôlées
      1. 1.2.1 - L’examen de l’adéquation des moyens alloués
      2. 1.2.2 - Le contrôle processuel au niveau de l’activité déployée
      3. 1.2.3 - Le suivi des résultats obtenus
      4. 1.2.4 - La difficile mesure de l’impact
  3. 2 - Le dispositif de recherche empirique
    1. 2.1 - La recherche de la population cible et la construction du fichier
    2. 2.2 - La construction du questionnaire
    3. 2.3 - Le déroulement de l’enquête et l’analyse des données obtenues
  4. 3 - Les principaux résultats obtenus
    1. 3.1 - L’analyse comparée par secteurs et par aspect du processus de contrôle et la vérification de la validité des hypothèses sectorielles
      1. 3.1.1 - Le suivi de l’activité, des procédés de travail et du comportement
      2. 3.1.2 - Le contrôle de l’utilisation des moyens
      3. 3.1.3 - Le suivi des réalisations
    2. 3.2 - Les facteurs ayant un impact sur la mise en œuvre des outils et méthode d’évaluation des performances
      1. 3.2.1 - Le rôle des outils de contrôle informels et directs
      2. 3.2.2 - L’impact du secteur d’activité sur les outils de contrôle utilisés
      3. 3.2.3 - La mise en évidence d’autres paramètres et des incertitudes persistantes
    3. 3.3 - L’analyse globale et les autres enseignements de l’étude
      1. 3.3.1 - De nombreuses méthodes mises en œuvre
      2. 3.3.2 - Une efficacité limitée du processus de contrôle
  5. Conclusion

Pour citer cet article

Fabre Pascal, « L'évaluation de la performance des associations dans les villes françaises, entre proximité et contingence », Comptabilité - Contrôle - Audit, 1/2005 (Tome 11), p. 55-77.

URL : http://www.cairn.info/revue-comptabilite-controle-audit-2005-1-page-55.htm
DOI : 10.3917/cca.111.0055


Article précédent Pages 55 - 77 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback