Accueil Revues Revue Numéro Article

L'Économie politique

2006/2 (no 30)


ALERTES EMAIL - REVUE L'Économie politique

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Article précédent Pages 68 - 78 Article suivant
1

C'est le problème central de l'économie du développement. Soit une économie enfermée dans une trappe à pauvreté: des performances insuffisantes motivent des investissements trop faibles qui plongent l'économie dans la stag nation. La solution? Des investissements massifs pour extraire l'économie du piège où elle se trouve. C'est le bon vieux "big push" (la "grande poussée") que les Objectifs du millénaire ont remis au goût du jour. Seulement voilà, le développement est autant affaire d'institutions que de moyens, et un demi-siècle d'expériences concrètes ont enseigné cette leçon simple: faute d'institutions suffi samment robustes, les investissements publics seront acheminés vers de mauvaises destinations et, dans ce contexte, "big push" rime avec prévarication et corruption.

2

Les pays développés n'échappent pas à ce principe, comme l'expérience française en matière de recherche le démontre. Il ne nous appartient pas ici de faire le tableau des difficultés actuelles de la recherche dans notre pays: problèmes de ressources, comme le savent tous les scientifiques, et problèmes de performances, comme des classements universitaires internationaux récents l'ont souligné. Problèmes de développement, comme nous voulons le démontrer.

3

Avec comme objectif de remédier à cette situation, une décision des ministres de la Recherche et de l'Economie créait, le 7 février 2005, un groupement d'intérêt public (GIP, en argot ministériel) intitulé Agence nationale de la recherche (ANR). Le Journal officiel du 9 février 2005 indiquait que l'ANR allait soutenir la politique nationale de recherche "par le financement de projets sélectionnés sur des critères d'excellence scientifique et technique". Plus récemment, le projet de loi de "Pacte pour la recherche" du 23 novembre 2005 décrivait l'ANR comme une "grande agence de financement des meilleurs projets de recherche".

4

A la fin du printemps 2005, l'ANR entrait en fonctionnement. Une première campagne était lancée. Les chercheurs étaient invités à soumettre des projets de recherche avec demandes de financement afférentes. Des experts devaient émettre leurs avis sur les candidatures de façon à répartir un "big push" de 540millions d'euros sur trois ans. On parlait d'experts étrangers.

5

Cette première campagne s'est produite dans de mauvaises conditions administratives, et les fameux experts étrangers ne furent guère sollicités. L'ensemble a été tellement cacophonique, en réalité, que le directeur de l'Agence, Gilles Bloch, s'est hâté d'admettre l'existence de sérieux dysfonctionnements. Seulement, il les a présentés comme transitoires. Il promettait d'y remédier pour 2006 avec "des instances scientifiques plus largement ouvertes" par l'inclusion d'experts "étrangers", cette éternelle panacée. Pour finir, il déclarait que l'ANR était en passe de gagner sa légitimité (Le Monde du 22 septembre 2005).

6

Parler de désorganisation, nous allons le montrer maintenant, n'était pas une caractérisation sincère des faits. Par le flou qu'elle a créé, cette désorganisation a en pratique détourné l'attention d'une affaire qui, comme l'oignon, possède plusieurs peaux. Concernés par les problèmes de la recherche, nous avons tout d'abord été intrigués par la politique discrétionnaire et arbitraire de l'ANR, qui refusait de communiquer les rapports d'évaluation supposés avoir été rédigés par les experts. Cette pratique, qui n'est pas conforme aux normes internationales que l'ANR invoque sans relâche, nous a décidés à procéder à un audit indépendant de l'ANR avec l'aide de collègues et d'étudiants, en décembre 2005.

7

Cet audit nous est apparu d'autant plus désirable que le dossier de presse que l'ANR a communiqué aux journalistes lors de la publication des résultats de la première campagne était un chef-d'oeuvre de langue de bois. Le texte en était pour ainsi dire soviétique, puisque la mesure du succès était prise à partir de critères non point qualitatifs, mais quantitatifs. Ainsi, Gilles Bloch se félicitait devant la presse de ce qu'"un quart de ces projets sont financés, ce qui représente un bon calibrage" (Le Monde du 17 novembre 2005). Calibrage de quoi, c'est ce que nous allons découvrir plus loin.

8

Les résultats de notre étude, dont nous publiions les principales conclusions dans un "point de vue" des Echos du 20 janvier 2006, ne révélaient en aucun cas le "flou" ou la "désorganisation" des déclarations officielles. Au contraire, apparaissaient deux conclusions démontrables. Primo, l'ANR avait complètement échoué dans sa mission de sélectionner l'excellence, puisqu'elle avait ramassé beaucoup de bois mort. Secundo, sa crédibilité était minée par des conflits d'intérêts. Nous spéculions pour conclure que ces deux constats étaient étroitement reliés.

A qui profitent les fonds de l'ANR

9

L'étude a provoqué de nombreuses réactions individuelles de soutien. Elle a été incluse dans les revues de presse des diverses veilles scientifiques et techniques, comme celle de l'Inserm, et son contenu a été beaucoup débattu. L'ANR, à son tour, venait nous donner raison en ne publiant aucun démenti.

10

Dans ce contexte, il n'est peut-être pas superflu de présenter en détail la méthodologie de notre étude, que l'article des Echos ne faisait que résumer succinctement. Voici donc la façon dont nous avons procédé. Nous avons d'abord sélectionné un échantillon: nous nous sommes penchés sur les résultats de l'un de ses appels à projets phares, intitulé "appels à projets non thématiques", qui s'adresse à des chercheurs confirmés. En effet, à côté de cet appel, il en existe un autre destiné aux "jeunes chercheuses, jeunes chercheurs", visant des scientifiques de moins de 40 ans. Parmi les différents secteurs disciplinaires concernés, nous avons examiné le domaine des sciences humaines et sociales, pour lequel 51financements ont été attribués.

11

Le premier travail auquel nous nous sommes livrés a consisté à établir, à partir de la liste des noms des récipiendaires de crédits publics sélectionnés par l'ANR et postés sur le site de celle-ci (www. gip-anr. fr), un répertoire des projets retenus, en associant chaque fois le nom du laboratoire de rattachement du chercheur soumissionnaire. Ce travail est fastidieux en raison notamment du nombre de coquilles qui figuraient sur le site de l'ANR.

12

Comme on le voit (Figure 1), les laboratoires propres ou partenaires du CNRS ont été les grands bénéficiaires de cette première campagne d'adjudication, avec 85% des projets attribués. Pour la petite histoire, cette concentration phénoménale des crédits a été la raison qui a rendu notre étude plus gérable et nous a donné le courage de poursuivre. Car la base de données Labintel des laboratoires du CNRS [[2]][[2]] Base Labintel : http:// web-ast. dsi. cnrs. fr/ l3c/... détaille le rattachement de tous les chercheurs de cette institution et permet de "pister" aisément l'immense majorité des chercheurs lauréats [[3]][[3]] Cette conclusion est masquée dans le bilan officiel....

Figure 1 : L'ANR, un fromage pour le CNRSIllustration 1
13

Ces résultats nous ont étonnés. Nous avions en tête les déclarations du collectif "Sauvons la recherche" qui critiquait l'ANR, qu'il accusait d'"étouffer les grands organismes" comme le CNRS et d'organiser le démantèlement des structures actuelles de recherche (voir notamment Le Monde du 17 novembre 2005). Ayant pourtant a priori de la sympathie pour une démarche qui viserait à "Sauver la recherche", nous devions bien reconnaître que les affirmations du collectif sur la mise en péril du CNRS par l'ANR, qui déshabillerait Pierre pour habiller Paul, manquaient de lucidité. Car, nous le voyons bien, dans ce cas précis, l'ANR a habillé Pierre en déshabillant Pierre. Il fallait alors sans doute voir plus de perspicacité dans les propos de l'ancien directeur général du CNRS Bernard Larrouturou, qui s'était quant à lui félicité de la création de cette agence, vis-à-vis de laquelle "le premier rôle du CNRS (serait) d'être un client" (L'Humanité du 24 mai 2005).

L'ANR finance-t-elle les meilleurs chercheurs?

14

La suggestion de M. Larrouturou selon laquelle, entre l'ANR et le CNRS, c'est une histoire de clientèle, porte en réalité très loin. Pour voir cela, poursuivons notre raisonnement et abordons le difficile sujet de la qualité. Si l'on reçoit des financements publics, c'est parce qu'on le mérite. Il se pourrait donc que les chercheurs du CNRS sélectionnés par l'ANR fussent tout simplement les meilleurs. Il est difficile d'évaluer cette proposition, car l'ANR refuse de fournir la liste complète des soumissionnaires. Il se pourrait aussi, comme nous l'ont suggéré certains collègues, que les chercheurs du CNRS aient été beaucoup plus nombreux à soumettre des projets. Mais, là encore, les données manquent. Cependant, même si de telles données étaient disponibles, elles n'auraient aucune valeur pour traiter des questions qui nous préoccupent. Il y a forcément des biais de sélection dans le simple fait d'avoir soumis des projets. Supposez que les chercheurs affiliés au CNRS aient compris à l'avance qu'il y aurait un biais en leur faveur, hypothèse qui est conforme à de nombreux témoignages que nous avons reçus: on ne pourrait alors rien déduire du rapport entre nombre de soumissionnaires et nombre de lauréats.

15

Pour contourner ces questions indébrouillables, nous proposons ici une approche toute simple qui nous fait entrer au coeur des conditions dans lesquelles l'allocation des financements a été réalisée: il s'agit de définir un critère formel qui permette de juger de la performance de l'ANR. Posons-nous donc la question la plus directe qui soit: quel est le propos d'une telle agence? C'est de trier le bon grain de l'ivraie, comme le précisent les textes: promotion de l'"excellence scientifique" par le "financement des meilleurs projets de recherche". Si l'ANR a fait son travail convenablement, le profil scientifique des récipiendaires devrait avoir l'allure suivante: décroissance plus ou moins graduelle de la qualité des projets soumis jusqu'à un seuil correspondant à la qualité scientifique minimale requise pour recevoir de l'argent public, puis élimination des candidats en deçà de ce niveau. On devrait donc voir apparaître un "seuil de résistance" au-dessous duquel les projets sont refusés. Imaginons à l'inverse que l'ANR se soit bornée à distribuer de l'argent en vertu d'un autre critère: à l'aveuglette par exemple, ou encore par "copinage". Alors on verrait une décroissance graduelle de la qualité des projets jusqu'au niveau zéro. Nous avons donc un test simple et opérationnel pour répondre à la question de savoir si l'ANR a fait son travail: y a-t-il eu ou non décroissance jusqu'au niveau zéro?

16

Reste donc à mesurer la qualité des projets soumis. Pour ce faire, nous avons eu recours à une astuce. Nous l'avons dit, l'ANR refuse de publier ou de communiquer les projets soumis, de sorte qu'un examen des projets eux-mêmes est impossible. Cependant, nous connaissons la liste des bénéficiaires de crédits et, s'agissant de chercheurs en pleine maturité (les données disponibles sur Internet situent leur âge moyen aux alentours de 50 ans), il existe bien sûr un lien entre la qualité et la viabi lité d'un projet d'un côté et la performance scientifique passée de son porteur de l'autre. Or, si nous ne connaissons pas la première, nous pouvons nous renseigner sur la seconde, à partir de la liste des lauréats qui, elle, est disponible. En clair, pour juger d'un projet présenté par un chercheur mûr, il suffit d'examiner sa performance passée. Et si on ne peut exclure qu'il existe des chercheurs dont la qualité se révèle après la cinquantaine, le bon sens suggère -et l'expérience prouve- que cette configuration demeure exceptionnelle, et n'aura aucune incidence statistique sur nos conclusions.

17

Pour former un indice de qualité scientifique, nous avons alors interrogé le moteur de recherche universitaire bien connu scholar.google.com, en lui proposant, par exemple pour un projet hypothé tique soumis par Karl Marx sur "La baisse tendancielle du taux de profit", une requête du type "Karl Marx". Comme ce moteur de recherche référence publications, documents de travail et citations par d'autres chercheurs, la méthode permet d'avoir une bonne mesure du positionnement scientifique international de chaque chercheur, en laissant de côté les célébrités de village: Karl Marx obtient 23800réponses. Des vérifications par discipline permettent de s'assurer de la fiabilité de la démarche. Ainsi, pour les sciences économiques, la corrélation entre notre indice de qualité scientifique scholar.google.com et le nombre total de publications selon la base de données EconLit, qui est la référence dans le champ, est de 0,94, soit proche de 100% (Figure 2).

18

Reste donc à calculer le score de chaque soumissionnaire, en relevant pour chacun le score scholar.google.com. Bien sûr, là aussi, la tâche était fastidieuse. Récipiendaire par récipiendaire, il fallait contrôler les risques d'homonymie. Heureusement, le nombre d'occurrences était rarement si élevé que la vérification portât au-delà de quelques clics (ce n'eût point été le cas pour Karl Marx). La Figure3 (cf. infra) classe les récipiendaires du plus grand nombre de réponses scholar.google.com, soit 948, au plus petit, soit... 0!

Figure 2 : Corrélation des indices de qualitéIllustration 2
19

Il y a donc eu décroissance rapide et forte de la qualité des récipiendaires, jusqu'au niveau de la mer. Cette conclusion nous permet de rejeter l'hypothèse que l'ANR a procédé en triant le bon grain de l'ivraie, au profit de l'hypothèse alternative qu'elle a manqué à remplir sa mission de sélection. Il est clair qu'elle a distribué de l'argent à des chercheurs inactifs ou stériles.

20

Il serait maintenant intéressant d'aller une étape plus loin dans notre raisonnement et de nous faire une idée du volume de médiocrité qui a été honorée par des fonds publics. Pour cela, nous avons reporté sur le graphique une ligne qui correspond à un seuil de productivité de 1 travail "significatif" par an, c'est-à-dire d'un travail qui laisse une trace dans les bases de données scientifiques. Le critère ne peut être considéré comme très restrictif, puisque rien n'empêche que le travail en question soit médiocre.

21

Cette ligne a été construite de la façon suivante. Nous sommes partis de ce que les évaluations quadriennales des équipes de recherche demandent à chacun une liste de quatre publications significatives par période de quatre ans. Le rythme d'une publication par an est donc un "minimum social". Par ailleurs, grâce aux informations plus précises dont nous disposons pour les économistes, reportées sur la Figure 2, il est possible de calculer l'indice scholar.google.com qui correspond à un stock de publications dont la vitesse d'accumulation serait précisément ce minimum social. En considérant que la publication scientifique commence aux alentours de 30 ans et que l'âge moyen des soumissionnaires est de 50 ans, on a vingt ans d'activité, ce qui corres pond à un stock de 20 publications. Or, comme le montre la Figure2, ce stock correspond environ, pour les économistes, à un indice scholar.google.com de 100. D'où la ligne reportée sur la Figure3.

22

Celle-ci permet de fixer un seuil de bon sens. Il faut bien garder à l'esprit que cette ligne est approximative. Elle est probablement trop optimiste et donc trop basse  [[4]][[4]] Cette méthode inclut les doublons et surestime donc.... Cependant, comme on le voit, les trois quarts des bénéficiaires des crédits publics sont au-dessous de ce seuil. La réalité est probablement pire. Ce résultat alarmant donne la mesure de l'échec de l'ANR. Nous avons affaire à un véritable désastre de qualité. Notre analyse révèle la performance calamiteuse de la première moisson de l'ANR.

Un système clientéliste

23

Reste donc à comprendre ce qui s'est passé: comment la commis sion des sciences humaines de l'ANR a-t-elle travaillé pour produire un pareil capharnaüm? Au cours de notre étude, nous avions relevé, pour la seule commission des sciences humaines, la présence d'un certain nombre de faits qui établissent l'existence d'un conflit d'intérêts opérant à deux niveaux. Il y a d'abord le problème des "copains et coquins". Sur ce registre, nous notons, parmi les problèmes les plus saillants, que:

24
  • parmi les 21 membres de la commission, 5 appartiennent à un laboratoire dont au moins un chercheur a été sélectionné;

  • parmi ces lauréats "accointés", 3 ont un score scholar.google. com qui les situe dans le plus mauvais quart de la population;

  • il existe un chercheur dont on retrouve le nom tant sur la liste des membres de cette commission que sur la liste des projets retenus.

  • Le second conflit d'intérêts tient à ce qu'il faut bien appeler le "noyautage", faute d'un vocable plus adéquat, de l'ANR par le CNRS. A ce titre, nous remarquions que:

  • la commission des sciences humaines est présidée par un membre du conseil scientifique du CNRS;

  • parmi les 21 membres de cette commission, 16 sont affiliés au CNRS, c'est-à-dire 81% du total;

  • la correspondance de l'ANR est signée par un certain Victor Sanchez, directeur du département des sciences pour l'ingénieur du CNRS;

  • on a lu dans la presse des déclarations troublantes des patrons et patronnes de laboratoires du CNRS indiquant qu'ils ou elles allaient réclamer, de la part des chercheurs et chercheuses récipiendaires, un reversement d'une partie de leurs "gains" au profit du laboratoire, ce qui suggère que c'est bien le rattachement CNRS et non la qualité scientifique qui a été le critère d'attribution des fonds.

Figure 3 : L'ANR, un label de qualité ?Illustration 3
25

Notre conclusion est qu'il y a bien sûr un lien entre les conflits d'intérêts identifiés ci-dessus et la performance calamiteuse de la première campagne. Cette conclusion n'a rien d'une spéculation: elle est conforme à tout ce que nous apprend l'économie sur les problèmes d'insuffisance institutionnelle dans les pays en développement. Il y a là un problème qu'il est urgent de résoudre.

26

Sur le site de l'ANR, on peut trouver aujourd'hui un document daté du 22 juillet 2005 intitulé "Charte de déontologie". Ce document préconise un certain nombre de choses louables. Il indique par exemple que "les membres d'un comité ne doivent pas accepter de cadeaux ou d'avantages qui les rendraient ensuite débiteurs d'une autre partie et pourraient altérer l'objectivité de leurs positions finales".

27

Mais les moyens prophylactiques proposés par l'ANR sont-ils propres à résorber ces conflits d'intérêts? Nous sommes très sceptiques, puisque la date de rédaction de cette Charte est antérieure à la manifestation des conflits d'intérêts avérés que nous venons d'identifier. La Charte évoque par exemple la nécessité pour tout expert ou membre de la commission qui serait confronté à un conflit d'intérêts d'en "informer le reste du comité", lequel appréciera et prendra les mesures nécessaires. Et la Charte de conclure: "cela consiste en général à demander à la personne de quitter les débats". On a vu plus féroce. Effectivement, le chercheur dont le nom figurait à la fois sur la liste des lauréats et des membres de la commission de sélection nous a fait la déclaration suivante: "J'avais vérifié, en acceptant de participer au conseil, l'absence d'incompatibilité avec la soumission d'un projet et j'ai évidemment été absent de toutes les discussions qui concernaient ce projet" (e-mail du 6 décembre 2005). Evidemment.

28

Nous ne savons pas si les chercheurs dont un collègue du même laboratoire était soumissionnaire sont sortis eux aussi. Mais nous savons que les collègues en question avaient en général des scores affligeants et ont été lauréats. A l'évidence, la Charte de déontologie prend l'eau.

29

Un autre aspect de la Charte est l'insistance sur la nécessité d'agir "dans l'intérêt général". Là encore, il s'agit d'une déclaration louable. Mais faisons preuve d'un peu de bon sens et imaginons nos 81% de chercheurs affiliés au CNRS entrer dans la salle de délibération après avoir juré sur la mémoire de Marie Curie qu'ils "agiront dans l'intérêt général". Que croyez-vous qu'ils décideront?

30

Il semble qu'il y ait une façon beaucoup plus sûre d'atteindre à l'excellence scientifique, laquelle d'ailleurs est conforme aux principes de la démarche scientifique. La première, c'est de définir des critères de qualité minimale pour éviter les fiascos comme celui de l'an passé. La deuxième, c'est de contraindre l'ANR à la diffusion systématique des rapports d'évaluation des experts et de permettre des recours. Il est important de comprendre que la communicabilité des rapports est un mécanisme qui garantit les soumissionnaires contre d'éventuels abus: un rapport est opposable. Tant les experts que la commission y sont responsables de leurs jugements. La troisième, c'est de mettre un terme au conflit d'intérêts fondamental que nous avons identifié, à savoir que l'ANR a été noyautée par le CNRS. Notons d'ailleurs que la Charte de déontologie précise bien que la "notion de conflit d'intérêts peut être étendue à un groupe d'indi vidus, voire un organisme", comme le CNRS par exemple. Mais qui peut juger, aux termes de la Charte, de l'importance d'un conflit d'intérêts? Un comité dominé... par le CNRS. Il faut donc doter l'ANR d'un personnel propre.

31

Pour conclure, il faut mettre fin à des conceptions d'Ancien Régime sur la crédibilité fondée sur le "prestige" ou la "vertu" de tel ou tel individu. A titre personnel, j'ai été abasourdi d'entendre l'interlocutrice de l'ANR à qui j'exprimais mes critiques mettre en avant la nationalité de la présidente de la commission des sciences humaines (scandinave, je crois, ce qui pour moi est évidemment sans importance) comme garantie de qualité!

32

Faute d'une réflexion suffisante sur l'importance des institutions, au lieu de la "grande agence de financement des meilleurs projets de recherche (...) sur des critères d'excellence scientifique" annoncée en fanfare par les textes officiels, nous risquerions fort de n'avoir enfanté qu'une petite agence de financement de projets de recherche médiocres, sur des critères de copinage et de magouille.

Notes

[1]

Un grand merci à tous les collègues et étudiants qui m'ont aidé dans la collecte des données. Merci à tous les chercheurs qui m'ont contacté après la parution de l'article que j'ai publié dans le quotidien Les Echos le 20 janvier dernier pour me prodiguer encouragements et détails supplémentaires. Ils m'ont fait voir que ma critique initiale était probablement encore trop optimiste.

[3]

Cette conclusion est masquée dans le bilan officiel du premier processus de sélection par l'agrégation de différentes disciplines et, semble-t-il, par une ventilation des crédits en fonction du corps d'appartenance des porteurs de projet, et non de leur laboratoire de rattachement (de sorte qu'un professeur des universités directeur d'un laboratoire du CNRS et soumissionnaire d'un projet apparaît comme "établissement d'enseignement supérieur"). Voir le dossier de presse du mardi 15novembre 2005: "Appel à projets 2005: premier bilan du processus de sélection".

[4]

Cette méthode inclut les doublons et surestime donc la productivité réelle. Remarquons aussi que, en raison de ce que scholar.google.com incorpore au cours du temps de nouvelles bases de données, les indices calculés ont une valeur ordinale et non cardinale. Des sondages réalisés à des dates ultérieures montrent une très grande proportionnalité entre des mesures successives de l'indice, de sorte que les chercheurs plus productifs restent plus productifs tandis que les chercheurs stériles restent stériles.

Résumé

Français

C'est le problème central de l'économie du développement. Soit une économie enfermée dans une trappe à pauvreté: des performances insuffisantes motivent des investissements trop faibles qui plongent l'économie dans la stag nation. La solution? Des investissements massifs pour extraire l'économie du piège où elle se trouve. C'est le bon vieux "big push" (la "grande poussée") que les Objectifs du millénaire ont remis au goût du jour. Seulement voilà, le développement est autant affaire d'institutions que de moyens, et un demi-siècle d'expériences concrètes ont enseigné cette leçon simple: faute d'institutions suffi samment robustes, les investissements publics seront acheminés vers de mauvaises destinations et, dans ce contexte, "big push" rime avec prévarication et corruption.

Plan de l'article

  1. A qui profitent les fonds de l'ANR
  2. L'ANR finance-t-elle les meilleurs chercheurs?
  3. Un système clientéliste

Pour citer cet article

Flandreau Marc, « La recherche sans qualités : un audit indépendant de l'Agence nationale de la recherche », L'Économie politique 2/2006 (no 30) , p. 68-78
URL : www.cairn.info/revue-l-economie-politique-2006-2-page-68.htm.
DOI : 10.3917/leco.030.0068.


Article précédent Pages 68 - 78 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback