La méthode d’évaluation par expérimentation, qui se développe en France, est réputée plus fiable, précise et transparente que ne peuvent l’être d’autres outils évaluatifs. La présentation qui est faite dans cet article des principes de base et des étapes de cette démarche étaye cette appréciation.

Par évaluation, on comprend souvent évaluer le processus de mise en Å“uvre d’un programme généralement destiné à une population spécifique. Les analyses s’apparentent alors à un audit : compter le nombre de bénéficiaires effectifs, déterminer le taux d’entrée dans le programme, vérifier que les services prévus ont bien été offerts, qu’ils étaient de bonne qualité, etc. Alors que les programmes ont aussi pour finalité d’atteindre un objectif, par exemple remettre les individus dans l’emploi, les évaluations de processus ne donnent aucune information sur ce point qui est soit ignoré, soit considéré comme acquis. Il est pourtant crucial de vérifier que les objectifs assignés aux programmes sont atteints et que ces programmes apportent une réelle plus-value. C’est l’objet des évaluations dites « d’impact ».

Pour mesurer l’impact d’un programme, il est nécessaire de reconstruire cette situation inobservée. L’idée centrale est de s’appuyer sur la situation observée pour des individus n’ayant pas participé au programme. On est alors amené à confronter la situation moyenne observée pour un groupe de participants et la situation moyenne observée pour un groupe de non-participants – un groupe de contrôle. La question est alors celle du choix de ce groupe de contrôle. Le problème principal est que les deux populations de participants et de non-participants ne sont pas identiques, en l’absence même du programme. De ce fait, la comparaison de la situation moyenne des deux populations de bénéficiaires et de non bénéficiaires mêle deux effets indiscernables. Le premier est l’impact du programme. C’est ce que l’on cherche à mesurer. Le deuxième est « l’effet population ». Il résulte de différences préexistantes entre les deux populations. Cet effet vient contaminer la mesure à laquelle on s’intéresse et biaise l’appréciation que l’on a de l’impact de la participation au programme. Il s’agit là d’un problème fondamental de l’évaluation : « le biais de sélection ». Il existe un large éventail de méthodes pour corriger les comparaisons que l’on effectue entre bénéficiaires et non-bénéficiaires de ce biais de sélectivité. Celles-ci reposent sur des hypothèses spécifiques qui ont un impact considérable sur les résultats. L’une des méthodes couramment employée pour l’évaluation est la méthode dite de « l’appariement » (Imbens, 2004 ; Caliendo et Kopeinig, 2005). Pour chaque individu bénéficiant du programme, il s’agit de trouver un individu n’ayant pas bénéficié du programme et ayant des caractéristiques observables [1] similaires – sexe, âge, diplôme, historique sur le marché du travail, etc. – et de comparer leurs situations respectives. Cette méthode réduit les erreurs que l’on peut commettre en faisant une comparaison grossière, mais un biais subsiste. On ne corrige avec cette méthode que la sélection dite « sur observables ». Il reste la sélection dite « sur inobservables ». Par exemple, dans une population de chômeurs, il y a des demandeurs d’emploi prêts à faire tous les efforts pour retrouver rapidement un emploi. D’autres, au contraire, sont moins motivés et peuvent éprouver une forme de découragement. Aucun fichier statistique ne contient ces informations « inobservables ». Elles sont pourtant très importantes car elles conditionnent à la fois l’entrée dans un programme et la capacité à sortir spontanément du chômage vers l’emploi. Elles vont donc fortement contribuer à un effet population substantiel venant biaiser les comparaisons entre participants et non-participants. Il ne s’agit pas là d’un problème de second ordre que l’on pourrait négliger en première approximation. Heckman, Ichimura et Todd (1998) montrent que les biais résiduels avec la méthode de l’« appariement » sont en général de l’ordre de grandeur de l’effet du programme lui-même. En outre, les résultats obtenus sont sensibles au choix des variables sur lesquels on apparie les individus, et on se trouve alors face à une multiplicité de résultats. Même si la méthode de l’« appariement » est une très bonne méthode, là ou l’on a besoin d’évidence forte, son apport est limité.

Les évaluations dites « par expérimentation » ne présentent pas cet inconvénient. Dans leur version standard, ces évaluations consistent à partager de façon aléatoire la population éligible en deux. Une seule des deux populations, le groupe test, est affectée au programme. L’intérêt de cette démarche est qu’elle permet d’obtenir deux populations statistiquement identiques : même proportion de moins de trente ans, de femmes, de diplômés, mais aussi même proportion de personnes motivées pour améliorer leur situation ou, au contraire, découragées. Au terme d’un échantillonnage aléatoire, n’importe quelle caractéristique est identiquement représentée entre les deux groupe. Une fois le programme mis en Å“uvre, la seule différence entre le groupe test et le groupe de contrôle ne peut provenir que du programme lui même. L’idée reste donc la même que dans les études par « appariement », à la différence notable que l’on construit au préalable deux populations statistiquement identiques et qu’elles sont exposées différemment au programme. On n’a donc pas à reconstruire ex post ces deux populations, qui ne seront statistiquement identiques que sur un nombre choisi et donné de caractéristiques.

Les postulants sont tirés au sort et répartis aléatoirement en deux populations. C’est fréquemment de cette façon que les grandes évaluations menées aux États-Unis sont menées, comme celle du programme Job-Corp, destiné aux jeunes rencontrant de grandes difficultés d’insertion. Ce tirage aléatoire direct peut paraître injuste. Pourtant, dans de nombreuses situations, le nombre de places disponibles dans le programme est limité et largement inférieur à la population éligible. Ainsi, pour l’évaluation du programme d’accompagnement des demandeurs d’emploi proposé par l’Unédic et l’ANPE en 2007, 80 000 places étaient disponibles pour un public éligible évalué à plus de 350 000 (Behaghel et al., 2008).

Des programmes sont mis en Å“uvre progressivement car on ne pourrait mobiliser les moyens nécessaires à leur développement immédiat dans toutes les zones concernées. Ce type de contraintes opérationnelles se prête très bien à la mise en place d’un protocole expérimental. Dans ce cas, il est en effet possible de découper l’ensemble du territoire concerné par le programme en un grand nombre de périmètres homogènes. On tire alors au sort l’ordre selon lequel les périmètres entreront dans le programme. Tant qu’ils n’y sont pas entrés, les derniers périmètres constituent des groupes de contrôle adaptés pour les périmètres entrant les premiers. Miguel et Kremer (2004) ont ainsi pu évaluer l’effet d’une campagne de traitement vermifuge sur la participation scolaire au Kenya. Le programme prévoyait de développer sur trois ans une campagne de traitement dans 75 écoles. Trois groupes de 25 écoles ont été formés aléatoirement. Le groupe 1 a été traité dès la première année, le groupe 2 la deuxième année et le groupe 3 la troisième. L’effet du traitement la première année a pu être évalué en utilisant comme groupe de contrôle les écoles traitées les années deux et trois. L’effet au bout de deux ans a pu être évalué en utilisant comme groupe de contrôle les écoles traitées l’année trois.

Il s’agit de procéder à un tirage aléatoire en amont du processus d’entrée dans le programme : on tire deux populations au hasard dans la population éligible et on ne propose l’entrée qu’à l’une des deux, l’autre étant exclue du programme. Les individus auxquels on a proposé le programme sont libres d’entrer ou non dans le programme. On compare la situation moyenne de l’ensemble des deux populations, celle à laquelle a été proposé le programme (en incluant tous les individus, qu’ils aient acceptés ou non de participer) et celle à laquelle on n’a pas proposé de participation. La différence entre les situations moyennes est simplement rééchelonnée en divisant par la proportion d’individus entrant dans le programme dans la population à laquelle on a proposé le programme. C’est ainsi qu’a été conduite l’évaluation du programme d’accompagnement vers l’emploi proposé par l’Unédic et l’ANPE.

Les évaluations par expérimentations ne sont pas pour autant la solution miracle capable de régler tous les problèmes. Il reste des impératifs liés à la conduite de ce type d’évaluation. Mais, au fond, bon nombre de ces impératifs s’imposent à n’importe quelle méthode d’évaluation.