Accueil Revues Revue Numéro Article

Informations sociales

2012/6 (n° 174)


ALERTES EMAIL - REVUE Informations sociales

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Article précédent Pages 62 - 65 Article suivant
1

La création en 2008 du Fonds d’expérimentation pour la jeunesse (FEJ) a contribué à développer en France les expérimentations sociales et accru leur visibilité. L’innovation principale du FEJ est la promotion du « couple expérimentation – évaluation » [1][1] Voir le Rapport du Conseil scientifique du Fonds d’expérimentation... : le financement public de l’expérimentation requiert que soit prévue en amont la façon dont l’impact du projet pourra être évalué ex post. L’objectif est de financer ainsi un « bien public », à savoir, une meilleure connaissance des effets des politiques sociales. L’expérimentation sociale contrôlée est une forme particulière du couple expérimentation – évaluation. L’évaluation y suit la même approche que les « tests cliniques » [2][2] Ainsi que celle des tests agronomiques promus par R.... qui, en médecine, mesurent l’impact d’un médicament en construisant par tirage au sort deux groupes de patients, comparables en tout sauf que les uns bénéficient du traitement et les autres non. Dans une expérimentation sociale contrôlée, c’est l’accès à un programme (une formation, par exemple) qui est attribué par tirage au sort des participants, lequel crée les deux groupes « test » et « témoin » au départ statistiquement identiques. L’impact du programme est déduit par l’analyse des différences qui apparaissent entre les groupes une fois le programme mis en œuvre. Cette méthode de l’évaluation sociale contrôlée fait l’objet de débats scientifiques, structurés autour des problèmes de validité interne et externe, qui permettent d’apprécier ses forces et ses limites. L’objectif n’est pas ici de rendre compte de ces débats [3][3] On pourra trouver une présentation des débats parmi.... Sans doute faut-il noter que, malgré leur développement récent en France, les évaluations quantitatives (et a fortiori les expérimentations contrôlées) restent largement minoritaires parmi les évaluations de politiques publiques [4][4] Par exemple, sur les 168 évaluations du premier appel.... Le propos de cet article est simplement de les faire mieux connaître à partir d’un exemple, celui du CV anonyme, sur lequel l’auteur a été impliqué comme évaluateur. Il s’agit d’un exemple parmi d’autres et certainement pas d’une expérimentation « modèle » car elle est fortement contrainte ; mais il permet, nous l’espérons, d’illustrer ce que l’approche offre de nouveau, et à quelles conditions.

Une expérimentation sous contraintes

2

Le contexte de l’expérimentation du CV anonyme [5][5] Le rapport complet est disponible sur http://www.p... illustre d’emblée les contraintes qui peuvent peser sur l’évaluation. Contrairement au modèle qui voudrait qu’on expérimente d’abord et qu’on légifère ensuite, la loi sur l’égalité des chances de 2006 a déjà inscrit l’obligation de recruter sur CV anonyme dans les entreprises de plus de 50 salariés. Mais les conditions pratiques de l’anonymisation n’étant pas définies et le décret d’application n’étant pas pris, la loi ne s’applique pas.

3

L’expérimentation débute en 2009. Elle a pour fonction d’étudier une procédure d’anonymisation possible, effectuée par Pôle emploi lorsqu’il transmet aux entreprises des CV dont le bloc état civil (nom, prénom, adresse, âge, nationalité et genre) est effacé. Les pouvoirs publics imposent néanmoins une contrainte forte : en l’absence de décret rendant la mesure obligatoire, les entreprises restent libres de participer ou non à l’expérimentation. Dans ces conditions, l’impact du CV anonyme n’est mesuré que sur un ensemble d’entreprises qui peuvent être particulières (les « bons élèves » ?). Aussi, pour qualifier les résultats, est-il prévu d’enquêter systématiquement auprès des entreprises refusant l’expérimentation : sont-elles différentes de celles qui acceptent ? A-t-on des raisons de penser que les effets du CV anonyme seraient pour elles différents ?

4

Ce cadre donné, l’expérimentation du CV anonyme consiste à identifier, parmi les offres d’emploi soumises à Pôle emploi dans huit sites expérimentaux, celles pour lesquelles la loi s’appliquerait, puis à solliciter la participation des entreprises à l’expérimentation et, enfin, à mettre en œuvre le CV anonyme avec une partie de ces entreprises, les autres formant le groupe témoin. Pour sa part, le conseiller de Pôle emploi présélectionne d’abord un ensemble de CV qu’il souhaite soumettre à l’entreprise, puis un tirage au sort détermine le statut de l’offre : l’entreprise a une chance sur deux de recevoir de Pôle emploi des CV anonymes et une chance sur deux des CV nominatifs. Le fait que les candidats sont appariés aux offres avant le tirage au sort garantit que les ensembles « offre-candidats » sont comparables dans les groupes test et témoin [6][6] On pourrait craindre sinon que le conseiller de Pôle.... Les différences observées en termes de sélection pour un entretien et de recrutement final peuvent donc être attribuées à l’anonymisation du CV. Un suivi statistique est ensuite mis en œuvre, tant auprès des recruteurs qu’auprès des candidats. Plus de 600 offres et un échantillon de 1 300 candidats sont mobilisés dans l’analyse statistique.

Une mise en œuvre exigeante

5

Ce dispositif, simple dans son principe, n’empêche pas sa mise en œuvre d’être exigeante. Le conseiller de Pôle emploi doit, en particulier, convaincre un maximum d’entreprises de participer. Individuellement, chaque entreprise peut préférer conserver ses pratiques de recrutement, de peur d’essuyer les plâtres d’un processus expérimental, ou de perdre du temps dans la réponse aux enquêtes, ou encore de laisser observer de trop près ses pratiques de recrutement. Le double risque est alors que le nombre d’offres d’emploi rentrant dans l’expérience soit trop faible pour permettre des analyses statistiques précises et que les entreprises acceptant l’expérience soient trop particulières. Une fois l’offre d’emploi rentrée dans l’expérimentation, il faut s’assurer d’un strict respect du protocole : tous les CV doivent être anonymisés dans le groupe test, aucun dans le groupe témoin. Pour cela, le choix est fait de centraliser le tirage au sort et l’anonymisation. Enfin, le dispositif d’enquête doit permettre un suivi systématique de tous les candidats (sans cela, les candidats qui acceptent de répondre dans le groupe test risquent fort de ne plus être comparables à ceux du groupe témoin et de ne plus être représentatifs de l’ensemble de candidats visés). Cet objectif d’interrogation exhaustive d’un échantillon donné se distingue de la plupart des pratiques des instituts d’enquête, pressés d’atteindre un nombre élevé de répondants, quitte à interroger un gros échantillon avec un faible taux de réponse.

6

Au final, ces difficultés pratiques – en particulier la difficulté à impliquer les entreprises – expliquent que l’expérimentation dure deux fois plus longtemps que les trois mois prévus, à quoi s’ajoute le temps de suivi et d’analyse.

Accepter la surprise…

7

Ce processus est le prix à payer pour apprendre, avec ce que cela peut impliquer de surprise. On pouvait d’abord se demander si l’anonymisation du CV ne serait pas un coup d’épée dans l’eau : une fois l’anonymat levé lors de l’entretien, rien n’empêche l’entreprise de discriminer. Tel n’est pas le cas : masquer ou afficher le bloc état civil du candidat modifie non seulement la liste des candidats convoqués en entretien, mais aussi le recrutement final. Toutefois, selon les caractéristiques des candidats potentiellement discriminées, les effets ne sont pas forcément ceux attendus. Ainsi, les femmes voient s’améliorer leurs chances d’avoir accès à un entretien et d’être recrutées lorsqu’elles sont en concurrence avec des hommes, et ce tout particulièrement lorsque le recruteur lui-même est un homme. Mais l’anonymisation pénalise les candidats d’origine étrangère ou résidents de quartiers sensibles. Dans les entreprises participantes, lorsque le CV est nominatif, ces candidats ont légèrement moins de chances d’accéder à un entretien que les autres candidats. Or, si le CV est anonymisé, cet écart s’accroît au lieu de se réduire. L’anonymisation joue donc, pour ces candidats, à rebours de l’objectif poursuivi. Cela signifie que les entreprises entrées dans l’expérimentation tendaient, en moyenne, à interpréter favorablement le signal d’un nom d’origine étrangère ou la résidence dans un quartier défavorisé. Il n’est pas possible de dire si c’est parce que ces entreprises visent la diversité dans leurs recrutements, ou parce qu’elles calculent qu’à parcours égal un candidat issu de milieu moins favorisé a déjà fait ses preuves, ou encore qu’un tel candidat sera moins exigeant sur le salaire [7][7] On n’observe cependant pas de différence sur le niveau....

8

Bien sûr, il faut garder en tête que ce résultat ne porte que sur les entreprises qui ont accepté d’entrer dans l’expérimentation. Un gros effort d’enquête a été entrepris pour les connaître. Elles ne diffèrent pas des autres entreprises par leurs caractéristiques observables (taille, secteur, politique de diversité affichée), mais elles recrutent, en règle générale, davantage de candidats potentiellement discriminés. Il est possible que l’anonymisation ait empêché cette pratique et que, dans d’autres entreprises au départ moins favorables aux candidats d’origine étrangère ou de quartiers sensibles, le CV anonyme ait des effets positifs. Cela, l’évaluation ne permet pas de le dire.

… et poursuivre la démarche

9

Ces résultats peuvent entraîner une certaine frustration : le bilan est incomplet. Il est difficile de mesurer l’influence exacte de l’évaluation dans la décision du gouvernement de ne pas généraliser le CV anonyme, dans la mesure où de nombreux acteurs influents y étaient dès le départ hostiles. Mais il est probable que les résultats peu favorables sur les candidats d’origine étrangère aient également pesé. Le CV anonyme ne pouvait pas être présenté comme une panacée à cet égard, tandis qu’il s’est révélé être un outil intéressant contre la discrimination selon le genre.

10

D’autres évaluations conduisent à des conclusions plus fortes. Par exemple, une autre expérience avec Pôle emploi montre de façon univoque, d’une part, que l’accompagnement renforcé des demandeurs d’emploi améliore leurs chances de trouver un emploi et, d’autre part, que Pôle emploi est plus efficace que des opérateurs privés pour fournir ce service [8][8] Voir Luc Behaghel, Bruno Crépon et Marc Gurgand, Évaluation.... Ici, l’expérimentation, du fait de ses contraintes initiales, ne permet pas de répondre pleinement à la question des effets qu’aurait le CV anonyme s’il était rendu obligatoire pour toutes les entreprises.

11

Ce que l’on a appris n’est pas pour autant négligeable. Un changement, même temporaire, dans l’information qui entre dans le processus de recrutement modifie ainsi la décision finale de l’entreprise. Il est également intéressant de noter que l’anonymisation atténue la discrimination selon le genre – qui faisait moins l’objet de l’attention des recruteurs et a peut-être été moins déterminante dans l’autosélection des entreprises dans l’expérience. Mais il reste que, pour un sous-ensemble d’entreprises, l’anonymisation pénalise les candidats que l’on souhaitait aider. Les pratiques des entreprises apparaissent finalement très hétérogènes et complexes, au point qu’il est difficile de classer une entreprise comme discriminante ou pas puisque tout dépend du type de discrimination : les mêmes recruteurs qui traitent favorablement les candidats d’origine étrangères privilégient, surtout s’ils sont des hommes, les candidats de leur sexe. Par ailleurs, ces pratiques sont très sensibles à l’information disponible sur les candidats. Comprendre cette hétérogénéité des pratiques et cette sensibilité à l’information disponible sont autant de pistes pour la recherche et autant de paramètres à prendre en compte par les entreprises et les pouvoirs publics.

Notes

[1]

Voir le Rapport du Conseil scientifique du Fonds d’expérimentation pour la jeunesse pour la période mai 2009 – décembre 2010.

[2]

Ainsi que celle des tests agronomiques promus par R. A. Fisher dans les années 1920 et des expériences menées auparavant en psychologie expérimentale et dans les recherches sur l’éducation – voir Ann Oakley, « Experimentation and social interventions : a forgotten but important history », British Medical Journal, 1998, n° 317, p. 1239-1242.

[3]

On pourra trouver une présentation des débats parmi les économistes dans : Luc Behaghel, Lire l’économétrie (2e éd.), La Découverte, 2012, p. 78-79.

[4]

Par exemple, sur les 168 évaluations du premier appel à projets du FEJ, 17 % sont à dominante quantitative, 29 % mêlent approches quantitative et qualitative, 54 % sont qualitatives seulement.

[6]

On pourrait craindre sinon que le conseiller de Pôle emploi sélectionne des candidats différents selon que l’offre est traitée selon la procédure anonymisée ou pas. Si c’était le cas, on ne mesurerait plus l’effet propre de la procédure, mais aussi l’effet des différences des candidats.

[7]

On n’observe cependant pas de différence sur le niveau des salaires d’embauche entre les offres pourvues selon les procédures nominatives ou anonymes.

[8]

Voir Luc Behaghel, Bruno Crépon et Marc Gurgand, Évaluation d’impact de l’accompagnement des demandeurs d’emploi par les opérateurs privés de placement et le programme Cap vers l’entreprise, Rapport final, 2009, disponible sur http://www.povertyactionlab.org/sites/default/files/publications/Rapport%20Final-%20CREST-ENSEE.pdf

Plan de l'article

  1. Une expérimentation sous contraintes
  2. Une mise en œuvre exigeante
  3. Accepter la surprise…
  4. … et poursuivre la démarche

Pour citer cet article

Behaghel Luc, « Focus — Un exemple d'expérimentation sociale contrôlée : le cas du CV anonyme », Informations sociales, 6/2012 (n° 174), p. 62-65.

URL : http://www.cairn.info/revue-informations-sociales-2012-6-page-62.htm


Article précédent Pages 62 - 65 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback