Je voudrais d’abord féliciter Esther pour cette excellente revue de l’état des connaissances sur les méthodes d’analyse d’impact des projets et programmes de développement. Cette revue bénéficie de l’expérience considérable qu’Esther a du sujet ainsi que des contributions à la fois méthodologiques et pratiques qu’elle a faites à l’analyse d’impact. Les commentaires qu’elle propose sur l’avantage de l’évaluation par assignation aléatoire, mais aussi sur les difficultés de sa mise en Å“uvre, et les recommandations qu’elle fait sur différentes façons de dépasser ces difficultés sont très importants pour le progrès de l’analyse d’impact.

Tant qu’elle restera un bien public international, l’analyse d’impact de projets sera toujours très sous-financée, malgré les exhortations des universitaires et des planificateurs sociaux à l’échelle mondiale faisant valoir les importants bénéfices de ces études. La raison principale est la logique implacable du passager clandestin en ce qui concerne l’offre de biens publics. Cela se voit dans les propres pratiques de la Banque mondiale. De grand projets comme le soutien à la réforme agraire par des subventions aux transactions de marché au Brésil (Credito Fundiario) qui a absorbé 2 à 3 milliards de dollars, ou les programmes de développement communautaires (Community Driven Development ou CDD) qui absorbent à l’heure actuelle un quart des déboursements de la Banque mondiale, restent sans évaluation fiable.

L’évaluation doit être organisée pour que des résultats à court terme soient disponibles et transmis aux responsables de projet alors que le projet est encore en activité. Cela demande d’être vigilant, comme le remarque Esther, à ne pas confondre résultats à court terme et résultats à long terme. Dans certains cas mêmes, des résultats à court terme peuvent être obtenus au détriment de résultats à long terme. On peut cependant souvent définir des indicateurs d’impact à court terme utiles à l’amélioration d’un projet. C’est probablement plus facile pour des projets bien circonscrits, comme les projets de soutien scolaire, que pour des projets plus amples, comme ceux dont le but est de réduire la pauvreté ou la dégradation de l’environnement.

L’évaluation d’impact peut être conçue avec un double objectif :

Les programmes participatifs ont potentiellement beaucoup d’avantages. Ils permettent l’accès à l’information locale et la mobilisation du capital social. Ils se donnent souvent comme objectif additionnel l’amélioration de la capacité de gestion des participants eux-mêmes par l’expérience participative. Les exemples bien connus de cette approche sont les projets de développement communautaires (CDD) et les approches participatives au niveau du village. Dans ces cas, la délégation aux agents du choix des objectifs des projets fait partie de l’approche elle-même.

L’expérimentation dans des programmes avec assignation aléatoire tels que Progresa est en général trop étroite : elle concerne uniquement les effets de la participation/non-participation, et non des conditions de la participation. Il existe cependant des aspects importants de ces programmes sur lesquels il serait utile d’expérimenter, comme par exemple le niveau optimum du transfert pour maximiser le taux de participation des populations ciblées, le choix des ménages éligibles, le ciblage au niveau des individus ou des communautés, le genre de celui qui reçoit les transferts, la présence de programmes complémentaires pour maximiser les effets multiplicateurs des transferts, etc.

Même si l’on élargit l’éventail des questions posées par l’expérimentation et si l’on organise une analyse séquentielle pour y répondre de la façon la plus économique, il y a trop de dimensions à considérer pour pouvoir répondre à toutes de façon expérimentale. La construction de modèles structurels qui reproduisent les changements de comportement en réponse aux transferts selon la spécificité des contextes (y compris la présence de programmes complémentaires) reste une méthode en grande mesure sous-utilisée. Ces modèles devraient être calibrés sur la base d’expériences pilotes construites spécifiquement dans ce but. Ces modèles sont la seule façon de saisir les multiples dimensions de l’hétérogénéité ainsi que de capter les effets de long terme et d’équilibre général.

La collecte de données reste une entreprise très coûteuse et exigeante en temps, ce qui limite le nombre, l’amplitude et l’utilité des évaluations d’impact. Dans bon nombre de situations, il existe cependant des données recueillies par le programme lui-même, en particulier s’il utilise une approche à la gestion par les résultats. Nous travaillons de cette façon avec plusieurs entreprises commerciales de micro-finance au Guatemala, utilisant leurs données administratives comme base pour l’évaluation de l’impact des réformes qu’elles ont introduites, comme par exemple l’utilisation de fichiers positifs (credit bureau) pour sélectionner leurs clients. On peut négocier avec les institutions avec lesquelles on travaille une modification de l’information qu’elles gardent sur leurs anciens clients ou sur les clients dont les demandes de crédit ont été refusées, et la collecte de variables exogènes additionnelles à celles qu’elles recueillent pour caractériser leurs clients. Des arrangements mutuellement bénéfiques peuvent être définis avec les institutions qui participent, en particulier si l’on peut leur donner des résultats en temps réel qui leur servent à renforcer leurs systèmes de gestion par les résultats. Ces données administratives peuvent être massives et donner aux chercheurs une dimension temporelle qui ne pourrait jamais être obtenue par des données d’enquête. Les bailleurs de fonds sont en bonne position pour négocier avec les institutions bénéficiaires la sauvegarde et l’accès aux données administratives. Des données administratives massives sont aussi disponibles au niveau des gouvernements locaux qui doivent satisfaire des exigences de transparence auprès du gouvernement national. Le Brésil offre un bon exemple de cette situation, avec les données administratives municipales disponibles sur l’internet.

Bon nombre de projets sont mis en Å“uvre de façon décentralisée au niveau de gouvernements locaux ou à travers la participation active des bénéficiaires. Cela est dû au fait que l’information privée est en grande partie publique au niveau local, que le capital social peut être mobilisé pour l’exécution de projets, et que la responsabilité des élus locaux vis-à-vis de leurs électeurs peut en principe être plus réelle que celle de leurs homologues du gouvernement central. Il serait cependant naïf d’évaluer l’impact de projets sans prendre en compte les mécanismes d’économie politique qui en déterminent les résultats. Cela requiert une bonne connaissance des institutions locales et des rouages politiques locaux, des mécanismes de prise de décisions, de l’exercice de jeux d’influence, et du rôle que le clientélisme et les achats de votes jouent dans l’appropriation des rentes créées par les projets. Il faut recueillir des données pour cela au niveau institutionnel auquel se prennent les décisions (municipalités, conseils locaux, groupes d’intérêt). Au Brésil, Boisa Escola/Bolsa Familia délègue aux municipalités et à leurs conseils locaux la sélection des bénéficiaires. L’impact de ces programmes est donc façonné par les mécanismes de l’économie politique locale, ce qui conduit à des résultats hétérogènes selon les jeux d’influence locaux. Avec 5 300 municipalités engagées dans ce jeu, cela nous offre un laboratoire d’une très grande richesse pour observer les mécanismes de l’économie politique des projets en action. La compréhension de leur rôle est donc un élément incontournable de l’analyse d’impact des projets de développement.