Accueil Revues Revue Numéro Article

L'Économie politique

2011/3 (n° 51)


ALERTES EMAIL - REVUE L'Économie politique

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Article précédent Pages 70 - 96 Article suivant

Plus vous voudrez accélérer

les progrès de la science,

et plus vite vous la ferez périr.

Friedrich Nietzsche [1874]
1

Depuis quelques années, les conditions et modalités d'évaluation de la recherche scientifique ont connu de multiples et profondes transformations. L'harmonisation européenne, la multiplication des comparaisons et classements internationaux, le développement des techniques et des indicateurs bibliométriques, l'influence croissante des listes classant les revues, la systématisation des financements sur projet et/ou appel d'offres..., sont autant d'éléments qui ont participé à ce bouleversement du paysage de l'évaluation de la recherche et qui ont, chacun, donné lieu à d'innombrables réflexions, débats et contributions. Pour autant, ces analyses, aussi nécessaires et convaincantes soient-elles, se cantonnent le plus souvent à l'étude d'un ou de quelques éléments de ce paysage.

2

On se propose ici, à l'inverse, de privilégier une appréhension globale de ces différents éléments, c'est-à-dire de souligner en quoi ils " font " système ou régime, et d'appréhender ce que tendent à devenir, dans le cadre de ce régime, le travail des chercheurs, les conditions de production de leurs travaux, et donc, la dynamique de la connaissance scientifique. Après une caractérisation, aussi synthétique que possible, du régime d'évaluation qu'on qualifiera de " quantitatif ", on s'efforcera de montrer à quel point celui-ci incite au conformisme des chercheurs et génère une standardisation du travail de recherche, conduisant à l'asphyxie progressive de la dynamique de la connaissance scientifique. On remarquera qu'en économie, cette tendance est sensiblement renforcée par la dérive instrumentaliste de la discipline.

3

Ce propos s'inscrit pleinement dans le cadre des réflexions initiées par la création, en décembre 2009, de l'Association française d'économie politique (Afep), et dont le précédent numéro de L'Economie politique s'est largement fait l'écho. Il vise à compléter ces réflexions sur le monolithisme et les impasses de la science économique contemporaine, en se focalisant sur l'évaluation de la recherche, appréhendée comme un régime, et en soulignant ses effets délétères sur le travail des chercheurs et la pensée économique.

4

La plupart des phénomènes qui seront évoqués touchent, à des degrés divers, l'ensemble des disciplines scientifiques. Les considérations qui suivent, centrées sur le cas de l'économie (et sur l'univers institutionnel français), ne sauraient cependant être étendues, sans précaution, aux autres sciences sociales, et encore moins aux sciences " dures ".

Le régime d'évaluation quantitative

Dynamique et acteurs

5

Dans le cadre de la tendance historique de longue durée au développement des appareils statistiques et au souci croissant d'efficacité de l'action publique [Desrosières, 2010], l'émergence puis l'affirmation d'un " régime d'évaluation quantitative " de la recherche, au cours des dernières décennies, résultent, concrètement, de la combinaison de trois dynamiques, chacune portée par une catégorie d'acteurs (managers, évaluateurs, chercheurs) du monde de la recherche.

6

Ce régime d'évaluation participe tout d'abord de la montée en puissance générale des préoccupations en matière d'évaluation des politiques publiques, et de l'évolution des moyens mis en oeuvre pour y répondre [Perret, 2006 et 2008]. De l'époque de la rationalisation à celle de l'évaluation, puis à celle du " nouveau management public ", la volonté politique d'un management plus efficace de la recherche a logiquement conduit à un renforcement du contrôle et des processus d'évaluation des institutions et des individus. Sur fond de compétition internationale et d'harmonisation européenne, les récentes réformes institutionnelles et le poids croissant des financements (européens, nationaux ou locaux) sur projet s'inscrivent clairement dans cette perspective.

7

Du point de vue des managers de la recherche, intimement convaincus de la " flânerie " des chercheurs, comme Taylor l'était de celle des ouvriers (voir le discours du président de la République au monde le la recherche, le 22 janvier 2009), le développement et le renforcement des processus d'évaluation visent, par le renforcement de la compétition académique, statutaire et économique, à l'amélioration de la productivité du travail des chercheurs et des laboratoires. Or, comme pour toute autre activité, l'affirmation de la logique managériale dans le monde de la recherche s'accompagne nécessairement d'une obsession quantitativiste. " Le souci de l'efficacité, assis sur la mesure de la performance, place l'activité de quantification au coeur de l'action publique : sans chiffres, on ne peut ni fixer des objectifs, ni définir des indicateurs de performance, ni contrôler la productivité, ni annoncer des résultats, ni évaluer le degré de réussite d'une disposition de politique publique " [Ogien, 2010].

Petit lexique de l'évaluation

Aeres : l'Agence d'évaluation de la recherche et de l'enseignement supérieur, autorité administrative indépendante créée en mars 2007, a pour mission d'évaluer, dans toutes les disciplines, les établissements et organismes d'enseignement supérieur et de recherche, c'est-à-dire, les activités et laboratoires de recherche, les formations et diplômes d'enseignement supérieur, et, de fait, les chercheurs et enseignants-chercheurs.

Agrégation des universités : à la différence de la quasi-totalité des disciplines, en droit, science politique, sciences économiques et gestion, le passage de maître de conférences à professeur ne se fait pas à travers une procédure de qualification puis de candidature auprès d'une université (comme pour les maîtres de conférences), mais presque exclusivement par la réussite au concours d'agrégation des universités [cf. Postel, 2011].

ANR : l'Agence nationale de la recherche, créée en février 2005 et devenu établissement public administratif le 1er janvier 2007, est une agence de moyens chargée de la mise en oeuvre de la programmation scientifique, par l'attribution de financements sur appel d'offres et sur projet.

" Boards " et " referees " : quand un chercheur soumet un projet d'article à une revue, le texte est d'abord transmis à des referees, en général au nombre de deux, qui ont pour charge d'évaluer le projet d'article, d'indiquer les éventuelles corrections qui apparaissent nécessaires, et de formuler un avis quant à la publication. C'est cependant au board (en français, " comité éditorial " ou " comité de rédaction ") que revient, au vu des rapports des referees, la décision de publier ou non le texte soumis (et éventuellement corrigé).

CNU : le Conseil national des universités est l'instance nationale chargée de qualifier les candidats aux fonctions de maître de conférences et de professeur, mais aussi de statuer sur les demandes de promotion des enseignants-chercheurs (les récentes réformes lui accordent un droit de regard accru sur les promotions décidées au sein de chaque université). Il compte autant de sections que de disciplines scientifiques. La section " sciences économiques " est la cinquième section. Elle compte 48 membres (24 professeurs et 24 maîtres de conférences), dont deux tiers sont élus et un tiers nommé par le ministère.

Comités de sélection : depuis la loi " Liberté et responsabilités des universités " d'août 2007, la nomination des enseignants-chercheurs par les universités est confiée à des comités de sélection (qui ont remplacé les anciennes " commissions de spécialistes "). Les membres de ces comités sont nommés par le président de l'université (ils étaient, pour une part significative, élus), sachant que la moitié d'entre eux doivent appartenir à la discipline du poste mis au concours (c'était le cas de la totalité des membres des commissions de spécialistes).

G-index : visant à valoriser la " qualité " des articles publiés, le g-index, élaboré par Leo Egghe en 2006 pour pallier les insuffisances du h-index (voir ci-dessous), surpondère les articles très cités et/ou l'étant longtemps après leur publication.

H-index : indicateur bibliométrique synthétique, élaboré en 2005 par Jorge Hirsh. Il est aujourd'hui l'indicateur de performance individuelle des chercheurs le plus utilisé. Son principe est élémentaire : un auteur ayant publié x articles, cités chacun au moins x fois, atteint un h-index égal à x.

Qualification : tout chercheur souhaitant se porter candidat sur les postes proposés par les universités doit, au préalable, avoir obtenu du CNU une qualification aux fonctions envisagées (maître de conférences, et professeur pour les sections sans agrégation des universités) [cf. Postel, 2011].

8

La montée en puissance du régime d'évaluation quantitative est également le fruit de la réalité matérielle à laquelle se trouvent confrontés les évaluateurs. Comme le souligne le récent rapport de l'Académie des sciences sur la bibliométrie [Académie des sciences, 2011], les modalités traditionnelles d'évaluation sont dévoreuses de temps. Dès lors, la prolifération des évaluations rend inéluctablement ces modalités obsolètes.

9

A tous les échelons, les instances d'évaluation sont concrètement dépassées par la masse des dossiers à évaluer. Qu'on songe à l'Agence d'évaluation de la recherche et de l'enseignement supérieur (Aeres), chargée d'évaluer, tous les quatre ans, et dans les disciplines les plus variées, les laboratoires, les organismes de recherche, les formations, les universités et, de fait, les 55 000 enseignants-chercheurs qui les composent ; à la 5e section (économie) du Conseil national des universités (CNU), dont les 48 membres traitent, chaque année, 300 à 350 dossiers de candidats à la qualification des maîtres de conférences ; ou aux comités de sélection des universités, parfois confrontés à un nombre de candidats à trois chiffres pour un poste de maître de conférences. Dans de telles conditions, les membres de ces institutions, contraints de rationaliser leur travail d'évaluation, sont naturellement conduits à recourir à des indicateurs quantitatifs. Ceux-ci accélèrent considérablement la prise de décision, en réduisant le temps nécessaire au traitement de chaque dossier, en " évacuant " la complexité des appréciations des rapporteurs, en simplifiant les hiérarchisations et classements, et surtout en limitant, voire en supprimant les débats et les controverses. Comme dans bien d'autres domaines, compter permet de ne pas débattre, et se révèle infiniment plus simple et plus rapide.

10

Il convient enfin de souligner le rôle des chercheurs eux-mêmes dans le renforcement de l'évaluation quantitative de la recherche. D'abord, parce qu'en vertu du principe traditionnel d'évaluation par les pairs - que les récentes réformes institutionnelles ont certes remis en cause -, ils sont souvent évaluateurs. Mais aussi, parce qu'ils ont globalement (du moins en économie) joué sincèrement le " jeu " qui leur était proposé. Si l'esprit de compétition, dont on ne voit guère pourquoi il serait moins développé chez les chercheurs que chez les autres individus, fut longtemps encadré par les normes et conventions traditionnelles du monde la recherche, la montée en puissance de la logique managériale a conduit à le libérer et à l'encourager. Les chercheurs ont ainsi activement contribué au renforcement de la compétition symbolique et statutaire, ainsi qu'à l'émergence et à la montée en puissance d'une compétition économique et bibliométrique de plus en plus exacerbée.

11

L'esprit de compétition et la soif de classement des chercheurs ont ainsi convergé avec la logique managériale et le poids des contraintes matérielles, pour pousser à la généralisation et à la systématisation de l'évaluation quantitative de la recherche. Au sein des sciences sociales, l'économie, par nature familière du quantitatif, et depuis longtemps travaillée par un fantasme de rapprochement avec les sciences " dures ", s'est logiquement retrouvée à la pointe du mouvement.

12

Du point de vue du manager de la recherche, de l'évaluateur ou du chercheur, le recours systématique, voire exclusif, aux indicateurs quantitatifs et aux classements qui en découlent, présente un quadruple intérêt : simplifier et rationaliser le travail d'évaluation, circonscrire les débats et controverses, donner une apparence d'objectivité aux classements obtenus, et " cardinaliser " les objectifs de la compétition des chercheurs. C'est ainsi que, depuis une douzaine d'années, la section " économie " du CNU s'est dotée, pour la qualification des maîtres de conférences, d'une " grille d'évaluation " [Beaumais, 2007] comportant dix indicateurs, dont sept purement quantitatifs, les autres l'étant potentiellement. C'est de même que la liste recensant et classant (à l'origine par un nombre d'étoiles) les revues d'économie et de gestion, établie par la section 37 du Centre national de la recherche scientifique (CNRS), a généré, dès sa première publication en juillet 2004, une véritable " course aux étoiles ". Objectif désormais prioritaire de bien des chercheurs, qui le font fréquemment figurer sur leur curriculum vitæ, le " nombre d'étoiles CNRS " est, du point de vue de l'évaluateur ou du manager, un outil de classement particulièrement simple et pratique. Même si la section " économie " du CNU terminant actuellement son mandat a repoussé de justesse, en mars 2010, l'utilisation explicite d'un cardinal de ce type pour les promotions des enseignants-chercheurs, la liste CNRS-37 n'en demeure pas moins une référence implicite, et elle sert de base à l'établissement de " scores de publication " par le jury du concours d'agrégation depuis 2008. Elle est aussi devenue la référence pour l'évaluation des économistes et de leurs laboratoires par l'Aeres, et joue un rôle déterminant dans l'attribution des financements, voire, pour un nombre croissant d'institutions, dans la rémunération individuelle des chercheurs (sous forme de primes).

13

Le fait que les concepteurs et initiateurs de cette liste aient été très largement débordés par son succès et par les usages qui en ont été faits [Pontille et Torny, 2010] illustre à la fois la fascination qu'opèrent les indicateurs quantitatifs sur les chercheurs, évaluateurs et managers, et la puissance que ceux-ci confèrent, par la convergence de leurs comportements, à la dynamique du régime d'évaluation quantitative.

De l'évaluation par les pairs à l'évaluation " par les revues et les listes "

14

Concrètement, l'affirmation du régime d'évaluation quantitative s'est traduite par de profondes transformations des instruments, du processus et du travail d'évaluation. Ces transformations se sont articulées avec un " déplacement " de la substance du pouvoir d'évaluation.

15

Au fur et à mesure que s'affirmait le régime d'évaluation quantitative, les indicateurs ont fait l'objet de multiples perfectionnements et innovations, tel le h-index [Hirsch, 2005], devenu, en quelques années, l'alpha et l'oméga de nombre de chercheurs, en premier lieu aux Etats-Unis, et plus vite en sciences " dures " qu'en sciences humaines et sociales. Comme tout indicateur, le h-index souffre d'un certain nombre d'insuffisances [Gingras, 2008] et a donc fait l'objet de multiples critiques  [1][1] On peut mentionner la démonstration par l'absurde de.... Sans entrer dans les détails, on peut cependant noter que le h-index, comme le g-index [Egghe, 2006], censé en corriger certains biais, et comme tous les autres instruments de mesure de la productivité académique des chercheurs, repose en dernier ressort sur deux données : le nombre de publications (éventuellement pondéré par le rang) et le nombre de citations. Au fond, le débat technique sur les indicateurs est un débat sur la meilleure façon de construire et de combiner ces deux données. Or, il est essentiel de remarquer que le degré de perfectionnement de cette combinaison n'a d'impact direct ni sur la fascination pour les indicateurs, ni sur la puissance du régime d'évaluation quantitative ; celui-ci peut fort bien prospérer sur la base d'indicateurs élémentaires. C'est ainsi que la section " économie " du CNU se contente de dénombrer les publications (et communications) de chaque candidat et de les classer en différentes catégories ; ou que le " nombre d'étoiles CNRS " d'un chercheur n'est, arithmétiquement parlant, qu'une somme (parfois pondérée par certaines instances d'évaluation).

16

Il convient en outre de rappeler que ces indicateurs, aussi perfectionnés et raffinés soient-ils, reposent tous, in fine, sur des données dont le recueil et la construction sont, dans bien des cas, pour le moins approximatifs. Ainsi, les deux grilles remplies (par chacun des deux rapporteurs) pour chaque candidat à la qualification des maîtres de conférences par la section " économie " du CNU diffèrent fréquemment, en particulier sur les indicateurs quantitatifs, alors même que ces indicateurs sont élémentaires. " Il est important d'insister sur le fait que nombre d'analyses bibliométriques sont erronées en raison d'un mauvais recueil des données, d'erreurs dans le calcul des indicateurs, ou d'une interprétation inexacte " [Académie des sciences, 2011].

17

C'est pourquoi on ne s'attardera pas sur la critique technique des indicateurs, certes nécessaire, mais qui, bien souvent, tend à éclipser la réflexion sur la logique et le fonctionnement concret du régime d'évaluation quantitative ; la critique des indicateurs, aussi utile soit-elle, ne saurait se substituer à celle de l'évaluation par indicateurs.

18

La montée en puissance du régime d'évaluation quantitative s'est traduite par une profonde évolution du travail concret des instances d'évaluation. Le cadre traditionnel de collectifs de scientifiques émettant, après lecture et discussion, des avis (par nature discutables) sur les travaux qui leur sont soumis, se réduit de plus en plus aux apparences. Désormais, dans la plupart des cas, leur tâche effective se limite à opérer la synthèse d'un certain nombre d'indicateurs.

19

Concernant les promotions des maîtres de conférences et des professeurs, par exemple, la section " économie " du CNU statue sur la seule base des dossiers et indicateurs, sans disposer des travaux (ou même d'une sélection de travaux) des candidats. Il en va de même pour les promotions dites " locales ", au sein de chaque université. Ce n'est que pour la qualification des maîtres de conférences qu'il est demandé aux candidats de fournir une sélection de leurs travaux. Chaque rapporteur dispose alors d'environ six semaines (dont les fêtes de fin d'année) pour, en plus de ses activités habituelles d'enseignant-chercheur, " traiter " une quinzaine de dossiers, c'est-à-dire établir les indicateurs au vu des données figurant dans les dossiers, puis lire et apprécier les travaux (thèse et articles) de chaque candidat, et enfin, rédiger un rapport sur chacun d'entre eux. Cependant, les rapporteurs savent tous que leur appréciation sur les travaux d'un candidat n'a qu'un impact marginal sur la décision finale. Une étude [Beaumais, 2007] réalisée sur les qualifications de 2005 et 2006 l'a clairement montré. Pour obtenir la qualification aux fonctions de maître de conférences, deux critères sont largement prépondérants : la mention de thèse " Très honorable avec les félicitations du jury ", et au moins une publication dans une revue référencée par la base EconLit (établie par l'American Economic Association).

20

Concernant les recrutements à l'échelle locale, les pratiques concrètes varient évidemment selon les universités et les disci­plines. Mais les conditions matérielles (délais, nombre de candidats, nombre et compétences disciplinaires des membres des comités de sélection...) poussent souvent, au moins pour la sélection des candidats à auditionner, à procéder sans lecture des travaux. Les " bonnes intentions ", telles celles exprimées par l'Académie des sciences  [2][2] " Les indicateurs bibliométriques n'ont pas de valeur..., ne pèsent guère face à la réalité matérielle.

21

L'Agence nationale de la recherche et l'Agence d'évaluation de la recherche et de l'enseignement supérieur, par leur compo­sition et leurs critères d'évaluation, constituent, à ce jour, l'aboutissement de cette logique : une expertise sans lecture ni appréciation des travaux. Dès lors, le travail d'évaluation (la synthèse d'indicateurs) ne nécessitant aucune compétence sur le fond, le confier à des chercheurs de la discipline constituerait un évident gaspillage de ressources. D'ailleurs, quel membre de la section " économie " du CNU, noyé dans le dossier d'un candidat et cherchant désespérément à en extraire les données nécessaires à l'établissement de la grille d'évaluation, ne s'est jamais dit que ce travail ardu ne nécessite pas la moindre ­compétence en économie ?

22

Les différentes instances officielles d'évaluation des chercheurs et de la recherche tendent ainsi à n'être que de simples " chambres " de synthèse d'indicateurs. De ce fait, et malgré les apparences institutionnelles, la substance du pouvoir d'évaluation leur échappe. Ainsi, dans le cas de la qualification aux fonctions de maître de conférences en économie, le rôle prépondérant appartient, in fine, aux jurys de thèse et aux comités éditoriaux des revues référencées par la base EconLit.

23

Plus généralement, l'évaluation par le nombre d'articles conduit inéluctablement à transmettre le pouvoir d'évaluation aux boards et referees des revues ; la prise en compte du rang des publications en redistribue une partie aux différentes institutions, privées ou publiques, recensant et classant les revues. En simplifiant à l'extrême, pour un économiste français, la substance du pouvoir d'évaluation est désormais entre les mains des comités éditoriaux des revues, à hauteur du classement de la revue dans la liste établie par la section 37 du CNRS. Du score qu'il atteindra dans sa " course aux étoiles ", dépendront sa carrière (à travers le CNU, le CNRS, l'Aeres...) et sa capacité à obtenir des financements (universités autonomes, ANR, fonds européens...).

24

Finalement, le régime d'évaluation quantitative, qui doit sa puissance à la conjonction des comportements de tous les acteurs concernés, vise à maximiser la productivité académique des chercheurs par la systématisation de la compétition et l'établissement de classements explicites ou implicites reposant sur des indicateurs quantitatifs. Dans le cadre d'un tel régime, la substance du pouvoir d'évaluation revient, in fine, aux revues et aux listes.

Incitations, biais, contraintes

25

Du point de vue des chercheurs, le régime d'évaluation quantitative agit comme un système d'incitations visant à les encourager à participer à la compétition, en particulier bibliométrique et économique. Certes, parmi les chercheurs, comme au sein de tout groupe d'individus, il en existe de plus ou moins perméables, ou de plus ou moins rétifs, aux incitations. Mais globalement, au fur et à mesure de la montée en puissance du régime d'évaluation quantitative, les chercheurs ont naturellement été amenés à faire évoluer leurs comportements (objectifs, travail concret...), et donc le produit de leur travail. C'est pourquoi on tentera de repérer les particularités (biais, contraintes) comportementales générées par le régime d'évaluation quantitative, et de montrer comment elles influent sur la nature et le contenu des recherches menées. On s'attachera, en particulier, à montrer comment le régime d'évaluation quantitative pèse sur les capacités d'innovation et de renouvellement des disciplines, et spécifiquement de l'économie.

26

Idéalement, le " programme " du chercheur se limite à un objectif unique : consacrer toutes les ressources dont il dispose à faire progresser sa discipline. Bien entendu, la réalité n'a jamais été aussi simple ; l'intérêt individuel des chercheurs et les relations concurrentielles qu'ils entretiennent n'ont pas attendu l'époque contemporaine pour interférer avec cet idéal. Cependant, avec le régime d'évaluation quantitative, il ne s'agit plus d'interférences, mais de substitution ; désormais, les progrès de la discipline ne font plus partie du programme individuel du chercheur. Qu'il s'agisse de sa carrière, de sa reconnaissance académique, de sa capacité à obtenir des contrats de recherche, de la prospérité et du devenir de son laboratoire, et même de son université, l'objectif exclusif de l'individu-chercheur rationnel est désormais de maximiser " ses " indicateurs. c'est-à-dire le nombre et le rang de ses publications, et, à un moindre degré, le nombre de citations dont ses publications font l'objet.

Biais comportementaux

27

Dans ce cadre, le travail concret des chercheurs est affecté par de nombreux biais comportementaux, dont l'impact sur le produit du travail est certes variable, mais dont la combinaison pèse lourdement sur les contenus, les méthodes et les résultats des recherches entreprises, et donc sur le devenir des différentes disciplines. Ces biais ne sont évidemment pas tous nouveaux ; mais lorsque ce n'est pas le cas, le régime d'évaluation quantitative leur insuffle une puissance qui, elle, est nouvelle.

28

On peut, dans un premier temps, mentionner quelques biais qui, à l'instar de ceux affectant les indicateurs, remettent en cause la pertinence et la rigueur des résultats de l'évaluation mais n'ont, à première vue, pas d'impact direct sur le contenu des travaux. Ainsi l'objectif de maximisation du nombre de publications conduit-il à la multiplication des signatures collectives, dont il n'est pas toujours avéré qu'elles correspondent à une absolue nécessité scientifique et à une répartition du travail parfaitement équilibrée entre les signataires, sachant qu'en économie, l'ordre des auteurs (alphabétique) ne dit rien de leurs contributions respectives. Quant à l'objectif de maximisation du nombre de citations, c'est tout naturellement qu'il conduit à la multiplication des autocitations (que certains indicateurs isolent et excluent) et des effets de réseau (citations réciproques par collusion). Et c'est tout aussi naturellement que les doctorants, déjà parfaitement conscients des impératifs du métier auquel ils se destinent, n'oublient jamais, dans leurs premières publications, de citer abondamment leur directeur de recherche. De façon plus anecdotique, tout chercheur sait qu'il est habile et " de bonne guerre ", dans un article soumis à une revue, de citer, aussi fréquemment que possible, les membres du board et les articles de cette revue. Enfin, même si l'évolution technologique a sans aucun doute joué un rôle, la pression à la publication induite par le régime d'évaluation quantitative a favorisé la banalisation du plagiat, régulièrement dénoncée depuis plusieurs années.

29

Ces quelques exemples, sans impact apparent sur le produit du travail de recherche, donnent cependant un premier aperçu de l'ampleur de la tâche que constitue, pour le chercheur, la mise en oeuvre d'une stratégie efficace dans le cadre du régime d'évaluation quantitative. Et dans cette perspective, d'autres biais affectent directement le travail de recherche en tant que tel, et donc la nature et la qualité du produit.

30

Tout d'abord, pour maximiser la probabilité de publication d'un article et, à plus long terme, son nombre de publications, le chercheur s'efforcera, naturellement, de rendre les résultats qu'il a obtenus aussi attractifs que possible. Or, il n'existe pas de frontières précises mais un continuum entre la mise en valeur habile des résultats et la falsification (terme qu'on réserve ici aux cas extrêmes). Si la falsification pure et simple, heureusement exceptionnelle, existait bien avant le régime d'évaluation quantitative, celui-ci favorise inévitablement les pratiques " intermédiaires " consistant à " s'arranger " avec certaines données, à en ignorer d'autres, à embellir certains résultats et à en passer d'autres sous silence. Pour s'en tenir à l'économie, qui n'a jamais été tenté, ne serait-ce qu'un instant, de recourir à de " petits arrangements " permettant, bien sûr à la marge, de rendre plus " présentables " les résultats d'un test économétrique ? De même, avec la vogue actuelle de l'économie expérimentale, qui n'a jamais éprouvé le moindre doute sur le sérieux, la rigueur, les conditions concrètes et la fiabilité des résultats de certaines expériences, pourtant publiés ?

31

Les chercheurs ne sont pas moins tentés que les autres individus par des pratiques " biaisées " leur permettant d'atteindre plus aisément leurs objectifs. Le régime d'évaluation quantitative, qui renforce très sensiblement ces tentations, est donc générateur d'incertitude quant à la qualité et à la fiabilité du produit du travail des chercheurs.

32

Second biais particulièrement lourd de conséquences, l'ensemble des pratiques qu'on peut regrouper sous le terme de " sur-publication ". Celle-ci découle bien sûr de la logique générale du régime d'évaluation quantitative, mais aussi du fait qu'à ce jour, dans le programme du chercheur, le nombre (et le rang) des publications apparaît clairement prioritaire par rapport au nombre de citations. Pour un économiste français, le nombre de citations n'intervient ni dans les indicateurs retenus par la section " économie " du CNU, ni dans ceux retenus par l'Aeres. Plus généralement, même lorsqu'il en est tenu compte, le nombre de citations est généralement un indicateur de second rang. Il en est ainsi dans le calcul du h-index, qui se veut pourtant être un indicateur synthétique : au cours d'une période donnée, un chercheur ayant publié six articles, ayant fait l'objet de six citations chacun, a un h-index de 6 ; un chercheur ayant publié deux articles, ayant fait chacun l'objet de centaines de citations, a un h-index de 2, et se révèle donc trois fois moins " h-performant " que le premier. Enfin, le nombre de publications est un des facteurs dont dépend le nombre de citations. Bref, tout pousse le chercheur à se focaliser sur le nombre de ses publications. C'est de cette obsession que résultent les pratiques de sur-publication.

33

Il est ainsi logique de tronçonner les résultats d'une recherche en autant d'éléments publiables que possible, quitte à en affaiblir la cohérence d'ensemble ; c'est ainsi que de plus en plus de thèses en économie sont, implicitement ou explicitement, des recueils d'articles. De même, il apparaît rationnel d'établir successivement plusieurs " versions " ou " évolutions " d'un contenu similaire, ne différant que par des adaptations et modifications aussi mineures ou formelles que possible, puis, au fur et à mesure de leur rédaction, de les soumettre à des revues différentes. Plus généralement, le régime d'évaluation quantitative pousse le chercheur rationnel à consacrer toute son énergie à la production accélérée de " nouveautés éditoriales ", aussi marginales et insignifiantes soient-elles du point de vue des progrès de sa discipline [Cordonnier, 2011].

34

D'autre part, la course à la publication pousse au renforcement de la spécialisation et de son inertie ; le chercheur est, de fait, incité à se spécialiser dans un créneau précis, aussi porteur que possible, puis à exploiter le filon tant qu'il offre des opportunités de publication, puisque, sauf cas particulier, un changement de spécialisation se traduirait par une réduction, au moins temporaire, de son rythme de publication (coûts de transfert).

35

Apprécier l'ampleur de la sur-publication générée par le régime d'évaluation quantitative est évidemment très difficile. Un rapport [Bosquet, Combes et Linnemer, 2010], commandé par le ministère de l'Enseignement supérieur et de la Recherche, en fournit un ordre de grandeur pour l'économie. Il constate que, depuis le milieu des années 1990, le nombre annuel d'" articles EconLit " publiés par des chercheurs français a approximativement triplé, mais que la " qualité moyenne " des publications, calculée sur la base d'un classement des revues en fonction du nombre de citations dont leurs articles font l'objet, n'a, elle, pas progressé. Parallèlement, les auteurs soulignent que l'accroissement du rythme de publication est essentiellement le fait des " entrants ", c'est-à-dire des générations de chercheurs ayant été, dès le début de leur carrière, confrontés à la montée en puissance du régime d'évaluation quantitative. On retrouve logiquement cette distorsion générationnelle dans les résultats des évaluations fondées sur des indicateurs bibliométriques : lors de la session de la section " économie " du CNU de mai 2009, parmi les huit promus au premier échelon de la classe exceptionnelle des professeurs, sept avaient moins de 50 ans.

36

Du point de vue des progrès de la connaissance scientifique, la sur-publication et les innombrables redondances qu'elle entraîne sont l'un des principaux gaspillages de ressources générés par le régime d'évaluation quantitative : gaspillage lié à la spécialisation et à son inertie, mais aussi pour les lecteurs - de plus en plus submergés par une marée de publications dont l'apport unitaire est souvent très réduit - et surtout pour les auteurs, par le temps et l'énergie consacrés à multiplier les articles et les applications plutôt qu'à essayer de progresser sur le coeur de leur démarche. Plus généralement, la pression induite par le régime d'évaluation quantitative conduit le chercheur rationnel à consacrer un temps considérable à communiquer sur son travail, que ce soit par des participations à des colloques, indispensables pour accroître ses probabilités de publication et de citation, ou par la rédaction d'articles aussi nombreux que possible. Au fond, le chercheur rationnel consacre infiniment plus de temps et d'énergie à faire en sorte de publier qu'à chercher. Il convient de souligner les effets de ce biais sur les jeunes chercheurs, auxquels les impératifs de publication interdisent désormais de prendre le temps nécessaire pour se constituer une culture générale de leur discipline, pour construire peu à peu leur propre démarche, leur propre cadre de pensée.

37

Si elle accroît la productivité académique telle qu'elle est aujourd'hui mesurée, la sur-publication pèse ainsi négativement sur la productivité scientifique. En outre, en favorisant l'inertie des spécialisations, elle réduit les capacités de renouvellement et contribue donc à asphyxier ou stériliser la dynamique de la connaissance scientifique. Il y a quelques années, l'éminent géomètre franco-russe Mikhaïl Gromov (prix Abel 2009) décrivait ainsi les effets dévastateurs de la sur-publication et de la pression induite par le régime d'évaluation quantitative pour l'avenir des mathématiques : " En Amérique, beaucoup de mathématiciens deviennent rapidement limités car ils sont tenaillés par l'urgence de publier et d'obtenir des subventions. S'ils ne sont pas experts dans un domaine, ils n'en reçoivent pas. Cela les rend très étroits d'esprit, tant dans leur savoir que dans leur attitude à l'encontre d'autres savoirs [...]. En France, les choses vont beaucoup mieux en raison de l'éducation héritée de Bourbaki, qui a développé un enseignement inter-mathématique. Un mathématicien français est beaucoup plus instruit en mathématiques qu'un mathématicien américain " [cité in Ripka, 2002].

Contraintes formelles

38

Aux biais affectant le comportement du chercheur, s'ajoutent des contraintes formelles encadrant la présentation ou la publication des résultats de son activité, lesquelles conditionnent, elles aussi, le contenu, voire la nature des travaux entrepris.

39

Alors que l'ouvrage avait longtemps été la forme privilégiée de diffusion des résultats de la recherche en sciences sociales, la montée en puissance du régime d'évaluation quantitative a conduit, en particulier en économie, à s'aligner sur les pratiques des sciences " dures ", en faisant de l'article (dans une revue à comité de lecture) la forme quasi exclusive de la production académique. C'est ainsi que, dans le processus de qualification des maîtres de conférences par la section " économie " du CNU, l'impact de la publication d'un ouvrage (même sous signature individuelle) est tout à fait négligeable, alors que celui d'un article dans une revue référencée EconLit se révèle décisif [Beaumais, 2007].

40

En sciences sociales, la contrainte concrète la plus immédiate que fait peser le format article est la limitation stricte de la taille des textes produits. Si chaque revue est libre de définir la limite qu'elle souhaite, il existe de fait une norme courante qui, en économie, est de l'ordre de 50 000 à 90 000 signes. Quels que soient ses raisons et ses éventuels effets positifs, cette contrainte conditionne largement le travail des chercheurs.

41

Tout d'abord, le format article confronte le chercheur à un dilemme : s'il souhaite rendre compte précisément et rigoureusement des différentes étapes de son raisonnement, il est condamné à se limiter à un objet étroitement délimité, à un champ réduit, voire ponctuel ; s'il souhaite aborder un champ élargi, il est condamné à un propos très synthétique tendant à gommer les nuances, les détails et les précautions qui caractérisent la démarche scientifique. En économie, où la première option a clairement été privilégiée par les revues et les chercheurs, la prépondérance du format article a ainsi joué un rôle important dans le renforcement de la spécialisation des chercheurs et du morcellement de la discipline.

42

Parallèlement, le format article, en incitant les économistes à privilégier les outils et méthodes qui s'y adaptent le plus aisément, stimule certains domaines de la pensée économique, en déstabilise d'autres, et, par conséquent, influe directement sur la dynamique et la structuration de la discipline. Il a ainsi contribué au recours de plus en plus systématique à la formalisation mathématique et aux tests économétriques, et plus récemment, au succès de l'économie expérimentale. A l'inverse, alors que d'éminents économistes, tels Maurice Allais [2009] ou Robert Shiller [Shiller et Shiller, 2011], dénoncent une " spécialisation outrancière ", plaident pour un effort général de synthèse et regrettent le manque de culture historique des jeunes économistes, le format article favorise une histoire de la pensée économique de plus en plus spécialisée, voire " ponctuelle ", et philologique. Quant à l'économie historique, la quasi-impossibilité de présenter un travail de synthèse dans le format article entrave considérablement son intérêt pour les non-spécialistes, et donc son rayonnement.

43

On peut enfin remarquer que le format article est porteur d'une vision très déformée, voire artificielle, du travail scientifique. Les interrogations qui demeurent, les doutes, les fausses pistes et les errances de la démarche scientifique sont, en effet, de plus en plus systématiquement passés sous silence. D'une part, les revues ne publient pas les fausses pistes et les errances, d'autre part, le format article ne laisse guère la possibilité d'en parler. Sans compter que la plupart des chercheurs sont convaincus, à tort ou à raison, qu'évoquer les méandres de la démarche scientifique réduit la probabilité de publication.

44

Les chercheurs français sont confrontés à une autre contrainte formelle lourde : celle de la langue, et plus précisément de l'anglais. Certes, les effets de cette contrainte linguistique paraissent a priori limités pour les sciences " dures " ; la présentation d'une démonstration mathématique ne dépend que très marginalement de la langue utilisée, et n'exige pas de son auteur une parfaite maîtrise de cette langue. Cependant, en sciences humaines et sociales, où la langue écrite demeure le principal véhicule de la pensée, rendre compte rigoureusement de phénomènes complexes exige une maîtrise très précise de la langue utilisée, et le passage d'une langue à l'autre soulève ­fréquemment des problèmes de fond qui donnent lieu à d'innombrables débats de traduction - qu'on songe aux interminables querelles sur la traduction des oeuvres d'auteurs tels que Karl Marx ou Sigmund Freud.

45

En économie, la contrainte linguistique est particulièrement forte ; l'immense majorité des revues référencées sont anglophones. Surtout, la prépondérance des revues anglophones est d'autant plus forte qu'on s'élève dans la hiérarchie des revues telle qu'elle est définie par les listes et les classements. Ainsi, les six revues économiques classées " 1* " (rang le plus " élevé ") dans la liste CNRS-37 sont anglophones. Quant aux 58 (sur 705) revues francophones classées, 40 d'entre elles sont en catégorie 4, soit la plus faible [Audier, 2009]. On peut aussi remarquer que la seule revue francophone classée en catégorie 1 (Annales. Histoire, sciences sociales) ne publie, paradoxalement, que très peu d'articles d'économie.

46

Comme le format article, la contrainte linguistique ne pèse pas de la même façon sur les différents domaines de l'économie, et influe donc sur la dynamique et la structuration de la discipline.

Normalisation, conformisme, standardisation

47

Ces biais et contraintes encadrant étroitement le travail concret des chercheurs s'inscrivent dans un processus général de normalisation des comportements induit par le régime d'évaluation quantitative. Dans ce processus, les revues - auxquelles a, de fait, été délégué le pouvoir d'évaluation - sont le " lieu " de production des normes et des modes que le conformisme et les incitations du régime d'évaluation poussent les chercheurs à incorporer. Il en résulte une tendance à la standardisation de la production scientifique, qui affaiblit les capacités d'innovation et de renouvellement des disciplines et, plus largement, la dynamique de la connaissance scientifique.

48

En économie, ce processus prend des formes originales. Par rapport aux autres sciences sociales, la normalisation instrumentale y joue un tel rôle qu'on peut parler de dérive instrumentaliste ; insensiblement, dans la démarche scientifique de bon nombre d'économistes, " l'outil est devenu l'objet ". On peut citer l'un des représentants emblématiques de cette dérive, Steven Levitt : " L'économie [est] un jeu d'outils avant d'être un sujet en soi " (Le Monde 2, 25 février 2006).

49

Dans un milieu professionnel par nature sujet au conformisme et aux jeux de réseaux, ne serait-ce que par le principe de cooptation, le pouvoir des revues dans le régime d'évaluation quantitative se déploie à travers le réseau de chercheurs qui gravite autour de chaque revue. Le centre de gravité de ce réseau est constitué par les membres du board et les referees. Bien sûr, en tant que chercheur, chacun d'entre eux, par son appartenance à d'autres réseaux professionnels, dispose d'un réseau de relations, plus ou moins proches, qui lui est propre. C'est l'ensemble de ces relations avec le centre de gravité qui constitue le réseau d'une revue.

50

Or, appartenir au réseau gravitant autour d'une revue, directement ou par le réseau personnel d'un membre du board ou d'un referee, constitue, pour un chercheur, un avantage concurrentiel significatif pour publier dans cette revue, ne serait-ce que par l'accès privilégié à l'information sur les normes (explicites et implicites) de publication propres à la revue, ou aux éventuels colloques au sein desquels il est possible de faire connaître et de " roder " son article auprès des membres du réseau. Cela peut aussi permettre plus aisément de faire relire son texte, avant soumission, par un membre du réseau aussi éminent que possible, lequel sera bien sûr respectueusement remercié en début d'article, l'affichage d'un nom prestigieux ne pouvant nuire à la probabilité de publication.

51

Bien entendu, l'appartenance d'un chercheur au " centre de gravité " d'une revue n'est en rien exclusive. Etre membre du board ou du corps des referees de plusieurs revues constitue, au contraire, un signe d'excellence pour le chercheur concerné, ainsi qu'un facteur de nature à faciliter ses publications et sa carrière. Il existe de ce fait un enchevêtrement inextricable des réseaux gravitant chacun autour d'une revue. Cependant, toutes les revues - et donc tous les réseaux - ne se valent pas ; les classements de revues, eux-mêmes influencés par les processus d'autovalidation propres aux réseaux [Hodgson et Rothman, 1999], définissent une hiérarchie des réseaux calquée sur celle des revues. Une étude américaine [McKinney, Jr., et Rupp, 2002] en fournit une illustration presque caricaturale : afin d'" informer les étudiants et les administrateurs universitaires ", les auteurs proposent un classement des sept meilleurs départements d'économie aux Etats-Unis, sur la base des publications de leurs membres dans les cinq meilleures revues, le classement des revues étant établi à partir... du nombre d'articles signés par des auteurs appartenant aux sept meilleurs départements !

52

Au sein de chaque discipline se constitue ainsi un enchevêtrement hiérarchisé de réseaux de revues qui constitue le principal vecteur de diffusion, d'incorporation et de reproduction des normes et des modes. C'est par son intermédiaire que s'opèrent la normalisation et la standardisation du travail des chercheurs.

53

En déléguant la substance du pouvoir d'évaluation aux revues, le régime d'évaluation quantitative leur confie, du même coup, le pouvoir de définir les normes et les modes propres à chaque discipline. Chaque revue, par son positionnement (théorique, méthodologique...), par son domaine de référence et par les membres de son réseau, est porteuse d'une certaine vision de la discipline, de ses paradigmes, de ses thématiques, de ses méthodes. A une échelle plus globale, c'est à travers l'enchevêtrement hiérarchisé de réseaux, au sein duquel les revues les mieux classées sont logiquement les plus influentes, qu'est générée la vision dominante et normalisatrice de la discipline, vision bien sûr évolutive. Ce sont ainsi les revues, et en particulier les mieux classées, qui orientent et canalisent les évolutions et le devenir de chaque discipline. En économie, où la suprématie des revues anglo-saxonnes, et en particulier américaines, frise le monopole, le régime d'évaluation quantitative a considérablement renforcé l'emprise, déjà forte, des normes et de la vision " anglo-saxonnes " de la discipline [Hodgson et Rothman, 1999]. Les économistes contemporains sont ainsi, beaucoup plus que les générations précédentes, touchés par une normalisation de la discipline à l'échelle mondiale.

54

Ce processus de normalisation est particulièrement puissant car, loin de tenter d'y résister, le chercheur rationnel, attentif aux incitations induites par le régime d'évaluation quantitative, consacrera au contraire d'importantes ressources à l'incorporation des normes produites par les revues. Pour accroître sa probabilité de publication dans une revue, il s'efforcera naturellement d'appréhender et de faire siennes la vision de la discipline et les normes thématiques, méthodologiques, instrumentales et rédactionnelles, propres à ladite revue. Et pour multiplier le nombre et améliorer le rang de ses publications, il sera logiquement conduit à tout faire pour coller au plus près de la vision dominante de la discipline et des ses évolutions.

55

Certes, rien n'interdit à des chercheurs ne se reconnaissant pas dans la vision dominante d'organiser séminaires et colloques, et de publier des ouvrages, individuels ou collectifs. Cependant, au moins en économie, ces formes de production scientifique sont de plus en plus ignorées par les instances d'évaluation. De même, rien n'interdit d'éditer des revues porteuses d'une vision hétérodoxe de la discipline, mais leur référencement et leur classement dans les listes nuiront inévitablement à la carrière des auteurs y publiant leurs travaux. Le régime d'évaluation quantitative tend ainsi à exclure les chercheurs prétendant échapper à la vision dominante, en les condamnant à une carrière de second rang [Postel, 2011].

56

Le régime d'évaluation quantitative, conjugué à la systématisation des financements sur projet, rend ainsi le conformisme rationnel pour le chercheur. Logiquement, celui-ci ne produira que ce qui a une forte probabilité de publication, et il ne se lancera que dans des projets dont les résultats sont prévisibles, programmables  [3][3] On ne peut s'empêcher de souligner à quel point l'idée..., rapides et " publiables ". Il en résulte un comportement général d'autolimitation, visant à se conformer aux normes et impératifs des revues et générant une tendance lourde à la standardisation des ambitions, des perspectives, des paradigmes, des thématiques, des méthodes et outils, des pratiques rédactionnelles...

57

Bien entendu, d'une discipline à l'autre, la pondération des différents " axes " de la standardisation est variable. Ainsi l'économie contemporaine est-elle très ouverte en matière de thématiques : de Gary Becker (prix de la Banque de Suède en économie en l'honneur d'Alfred Nobel en 1992) à Steven Levitt (médaille John Bates Clark 2003), des économistes reconnus se sont penchés sur des questions tellement variées et apparemment peu économiques qu'on parle aujourd'hui d'" économie saugrenue " [Levitt et Dubner, 2005]. De même, à l'heure du défi posé par les répercussions de la crise financière et par la contrainte écologique, deux des six revues économiques les plus prestigieuses viennent de publier des articles sur des sujets tels que les liens existant entre la violence conjugale et les résultats des matchs de football américain [Card et Dahl, 2011], ou l'avantage dont disposerait l'équipe tirant en premier, lors des séances de tirs au but qui concluent les matchs de football, en cas d'égalité après prolongations [Apesteguia et Palacios-Huerta, 2010]. A l'inverse, l'économie contemporaine souffre d'une très forte standardisation paradigmatique [Raveaud, 2011] : la représentation walrassienne de l'économie comme ensemble de marchés interdépendants tendant vers l'équilibre. Elle est en outre, du fait de sa dérive instrumentaliste, particulièrement soumise aux modes instrumentales ; à la vogue de l'économie quantitative de la fin du XXe siècle, s'est ainsi ajoutée, au début du XXIe, celle de l'économie expérimentale (l'évolution des thèses est, à cet égard, tout à fait symptomatique), voire de la neuro-économie, laquelle ne se définit au fond que par son outil : l'imagerie par résonance magnétique.

58

Cette standardisation des comportements et du travail des chercheurs est évidemment nuisible à leur créativité, à leur imagination, à leurs ambitions, à leur esprit critique, à leur goût du risque... En incitant les chercheurs à consacrer leur énergie et leur intelligence à l'incorporation des normes et à la satisfaction des critères d'évaluation, elle génère d'importants gaspillages de ressources, du point de vue des progrès de la connaissance scientifique. Le développement de la connaissance scientifique, les capacités d'innovation des chercheurs et le renouvellement des disciplines sont ainsi étroitement canalisés et bornés.

Appréciation versus évaluation

59

Le régime d'évaluation quantitative, par les biais comportementaux qu'il génère, par le pouvoir normalisateur qu'il délègue aux revues et aux listes, et en incitant le chercheur rationnel au conformisme, débouche sur une standardisation du travail des chercheurs, et donc du produit de leur travail. Visant à améliorer la productivité académique, il tend concrètement à asphyxier la dynamique de la connaissance scientifique. En paraphrasant Nietzsche, on pourrait dire qu'à trop vouloir accroître la productivité académique, le régime d'évaluation quantitative affaiblit la productivité scientifique.

60

D'une façon qui n'est paradoxale qu'en apparence, le régime d'évaluation quantitative se révèle ainsi être un obstacle important au renouvellement de la pensée économique, dont la crise financière récente et les préoccupations écologiques ont cruellement mis en évidence la nécessité. Promouvoir un tel renouvellement exige donc, parmi bien d'autres choses, d'enrayer la dérive quantitativiste qui affecte aujourd'hui le régime d'évaluation.

61

En ce qui concerne les chercheurs, dissiper l'illusion quanti­tativiste ne devrait pas poser de problème insurmontable ; ils savent tous que les progrès scientifiques ne sont pas affaire de nombre de publications, ni même de citations. Pour exemple, les deux lauréats 2010 de la médaille Fields ont des " scores de citation " très différents (1 520 citations de 629 auteurs pour Cédric Villani, contre 102 citations de 52 auteurs pour Ngô Báo Châu), " alors qu'aucun mathématicien au monde ne se risquerait à y voir une disparité de niveau " [Académie des sciences, 2011]. Les chercheurs savent tous que, bien souvent, les progrès les plus décisifs sont le fruit de " recherches orphelines " que le régime d'évaluation quantitative, par nature, ignore. Ils savent tous qu'en 1905, deux articles, sur l'effet photoélectrique et la relativité restreinte, ont suffi à Einstein pour révolutionner l'histoire de la physique. De même, tous les économistes savent que Ronald Coase (" Nobel " 1991) a bouleversé la pensée économique de la seconde moitié du XXe siècle par deux articles publiés à vingt-trois ans d'intervalle et longtemps ignorés, ou qu'il a suffi d'un article d'une page à John Nash (" Nobel " 1994) pour faire franchir à la théorie Des jeux une étape décisive...

62

Ces constats n'empêchent pourtant pas la plupart des économistes de se satisfaire du régime d'évaluation quantitative, ou de considérer comme perdue d'avance toute tentative de remise en cause. Quant aux résistances qui se font jour, elles tendent malheureusement à se cantonner à la défense des modalités " traditionnelles " d'évaluation, lesquelles n'étaient, faut-il le rappeler, ni exemptes de tout biais, ni irréprochables en matière d'incitations au conformisme - qu'on songe au sort réservé par l'université française à des auteurs tels que Léon Walras ou, plus près de nous, Gérard Debreu et Fernand Braudel...

63

Il ne saurait évidemment être question de proposer ici un régime d'évaluation " clés en main " alternatif au régime d'évaluation quantitative. Tout au plus peut-on esquisser quelques pistes de réflexion, s'appuyant, certes, sur la réaffirmation de certains principes traditionnels, mais s'efforçant de ne pas trop succomber à l'illusion du retour à un âge d'or qui n'a jamais existé. Ces esquisses s'inscrivent dans la perspective tracée par l'Association française d'économie politique, dans la mesure où elles s'appuient sur la conviction que la promotion systématique du pluralisme et de la diversité, en particulier sur les plans méthodologique et instrumental, est un des moyens privilégiés de lutte contre la sclérose et l'infertilité de la pensée économique contemporaine.

64

Enrayer la dérive quantitativiste du régime d'évaluation suppose, en premier lieu, que la substance du pouvoir d'évaluation ne soit plus accaparée par les revues et les listes, mais reprise par les instances qui en sont officiellement dotées. Or, une telle réappropriation ne peut être envisagée que si les instances prévues à cet effet en reviennent à une évaluation sur travaux (et non sur indicateurs). La dérive quantitativiste ne saurait être combattue sans que soit systématiquement réaffirmé le principe selon lequel toute évaluation sans lecture et appréciation des travaux devrait être proscrite.

65

De ce principe élémentaire découlent, concrètement, de multiples effets ou conséquences. La lecture et l'appréciation des travaux (ou d'une sélection de travaux) permettraient, tout d'abord, de rendre leur importance aux formats autres que ­l'article, laissant ainsi plus de place à des démarches moins " standard ". Parallèlement, récuser toute évaluation sans lecture des travaux imposerait, matériellement, une réduction significative du nombre et de la fréquence des évaluations, laquelle favoriserait la qualité effective de l'évaluation et limiterait, au moins à court terme, les incitations à la sur-publication ; on pourrait à ce sujet s'inspirer de l'exemple américain, où chaque universitaire n'est évalué que deux fois au cours de sa carrière (tenure, full professor), mais de façon extrêmement approfondie [Foucault et al., 2009]. Enfin, l'application de ce principe permettrait, selon les préconisations de l'Académie des sciences, d'interdire le recours aux indicateurs bibliométriques pour l'évaluation des jeunes chercheurs, et d'en circonscrire étroitement l'usage pour les autres.

66

Le principe de lecture et d'appréciation des travaux induit, inévitablement, celui d'évaluation par les pairs. Or, le passé de l'université française a abondamment montré que l'évaluation par les pairs pouvait être, elle aussi, profondément conformiste et génératrice de biais. Il importe donc de ne pas se contenter d'un simple retour au principe d'évaluation par les pairs, mais d'organiser et de promouvoir systématiquement la diversité et le pluralisme, tant des instances qu'au sein des instances.

67

Selon la même logique, les modalités de fonctionnement et de délibération des instances d'évaluation devraient être élaborées et adaptées dans le souci permanent de valoriser le pluralisme, de mieux prendre en compte les recherches orphelines et/ou hétérodoxes, et de réfréner le conformisme " naturel " des chercheurs. Parallèlement, la logique d'examen devrait être systématiquement privilégiée, la logique de concours n'intervenant qu'en un second temps, et seulement dans les cas où elle se révèle indispensable.

68

Pour soutenir aujourd'hui les progrès de la connaissance scientifique, et spécifiquement pour oeuvrer au réveil de l'économie, il convient enfin de mener le combat du vocabulaire, beaucoup moins anodin qu'il n'y paraît. Face aux impasses de l'évaluation quantitative de la productivité académique, il importe de promouvoir, inlassablement, une logique d'appréciation de la contribution scientifique des chercheurs et des laboratoires.


Bibliographie

  • Académie des sciences, Institut de France, 2011, " Du bon usage de la bibliométrie pour l'évaluation individuelle des chercheurs ", rapport remis à Madame la Ministre de l'Enseignement supérieur et de la Recherche, 17 janvier.
  • Allais, Maurice, 2009, " C'est seulement dans la voie d'un immense effort de synthèse que les sciences sociales peuvent réaliser de grands progrès ", L'Economie politique, n? 43, juillet, p. 100-112.
  • Apesteguia, Jose, et Palacios-Huerta, Ignacio, 2010, " Psychological pressure in competitive environments : evidence from a randomized natural experiment ", The American Economic Review, vol. 100, n? 5, p. 2548-2564.
  • Audier, Florence, 2009, " L'évaluation et les listes de revues ", La Vie des idées.fr, 15 sept. (http ://www.laviedesidees.fr/ L-evaluation-et-les-listes-de.html).
  • Beaumais, Olivier, 2007, " A propos de l'inscription sur la liste de qualification aux fonctions de maître de conférences. Une modélisation des décisions de la section sciences économiques du CNU ", Revue économique, vol. 58, n? 2007/5, p. 1111-1125.
  • Bosquet, Clément, Combes, Pierre-Philippe, et Linnemer, Laurent, 2010, " La publication d'articles de recherche en économie en France en 2008. Disparités actuelles et évolutions depuis 1998 ", rapport pour la Direction générale de la recherche et de l'innovation (DGRI) du ministère de l'Enseignement supérieur et de la Recherche, version du 1er mars 2010.
  • Card, David, et Dahl, Gordon B., 2011, " Family violence and football : the effect of unexpected emotional cues on violent behavior ", The Quarterly Journal of Economics, vol. 126, n? 1, févr., p. 103-143.
  • Cordonnier, Laurent, 2011, " Pourquoi les économistes se sont-ils trompés à ce point ? ", L'Economie politique, n? 50, avril, p. 32-44.
  • Desrosières, Alain, 2010, La Politique des grands nombres. Histoire de la raison statistique (1993), Paris, La Découverte, 3e éd.
  • Egghe, Leo, 2006, " Theory and practise of the g-index ", Scientometrics, vol. 69, n? 1, p. 131-152.
  • Foucault, Martial, Lépinard, Eléonore, Lepinay, Vincent, et Mallard, Grégoire, 2009, " Pour des université plus justes ", La Vie des idées.fr, 17 févr. (www.laviedesidees.fr/Pour-des-universites-plus-justes.html).
  • Gingras, Yves, 2008, " Du mauvais usage de faux indicateurs ", Revue d'histoire moderne et contemporaine, 2008/5, n? 55-4 bis, p. 67-79.
  • Hirsch, Jorge E., 2005, " An index to quantify an individual's scientific research output ", Proceedings of the National Academy of Sciences, vol. 102, n? 46, p. 16569-16572.
  • Hodgson, Geoffrey M., et Rothman, Harry, 1999, " The editors and authors of economics journals : a case of institutional oligopoly ? ", The Economic Journal, vol. 109, n? 453, févr., p. 165-186.
  • Labbé, Cyril, 2010, " Ike Antkare, one of the great stars in the scientific firmament ", Laboratoire d'informatique de Grenoble (LIG), RR-LIG-08, sept. (http ://rr.liglab.fr/research_report/RR-LIG-008.pdf).
  • Levitt, Steven D., et Dubner, Stephen J., 2005, Freakonomics, New York, William Morrow.
  • " L'"excellence scientifique" comme prétexte au scientisme ", 2010, lettre ouverte par des membres élus de la section " économie " du Conseil national des universités, 21 janv. (disponible sur www.assoeconomiepolitique.org/IMG/pdf/Lettre-ouverte- section-economie-CNU.pdf).
  • Nietzsche, Friedrich, 1874, " Schopenhauer éducateur ", in Considérations inactuelles III et IV, Paris, Gallimard, " Folio ", 1992.
  • McKinney, Jr., Carl Nicholas, et Rupp, Nicholas G., 2002, " The publication patterns of the elite economics departments : 1995-2000 ", Eastern Economic Journal, vol. 28, n? 4, automne, p. 523-538.
  • Ogien, Albert, 2010, " La valeur sociale du chiffre. La quantification de l'action publique entre performance et démocratie ", Revue française de socio-économie, n? 5, 1er sem., p. 19-40.
  • Perret, Bernard, 2006, " De l'échec de la rationalisation des choix budgétaires (RCB) à la loi organique relative aux lois de finances (LOLF) ", Revue française d'administration publique, n? 117, 1er trim., p. 31-41.
  • Perret, Bernard, 2008, L'Evaluation des politiques publiques, Paris, La Découverte, " Repères ".
  • Pontille, David, et Torny, Didier, 2010, " Revues qui comptent, revues qu'on compte : produire des classements en économie et gestion ", Revue de la régulation. Capitalisme, institutions, pouvoirs, n? 8, 2e sem.
  • Postel, Nicolas, 2011, " Le pluralisme est mort, vive le pluralisme ! ", L'Economie politique, n? 50, avril, p. 6-31.
  • Raveaud, Gilles, 2011, " Un enseignement pluraliste des représentations de l'économie ", L'Economie politique, n? 50, avril, p. 59-70.
  • Ripka, Georges, 2002, Vivre savant sous le communisme, Paris, Belin, coll. " Débats ".
  • Shiller, Robert J., et Shiller, Virginia M., 2011, " Economists as worldly philosophers ", Yale University, Cowles Foundation discussion paper n? 1788, mars.

Notes

[1]

On peut mentionner la démonstration par l'absurde de Cyril Labbé (Grenoble 1), à travers la création d'un chercheur fictif, Ike Antkare, ayant atteint un h-index de 94 (avril 2010), soit le 21e rang mondial, toutes disciplines confondues, Einstein n'atteignant, lui, que le 36e rang ! Cf. Labbé [2010].

[2]

" Les indicateurs bibliométriques n'ont pas de valeur au début de la carrière scientifique et ne doivent donc pas être utilisés pour les recrutements, sauf lorsqu'il s'agit du recrutement de seniors. [...] La bibliométrie doit exclusivement être utilisée en association avec une évaluation qualitative " [Académie des sciences, 2011].

[3]

On ne peut s'empêcher de souligner à quel point l'idée d'une démarche scientifique prévisible et programmable relève de l'oxymore.

Plan de l'article

  1. Le régime d'évaluation quantitative
    1. Dynamique et acteurs
    2. De l'évaluation par les pairs à l'évaluation " par les revues et les listes "
  2. Incitations, biais, contraintes
    1. Biais comportementaux
    2. Contraintes formelles
  3. Normalisation, conformisme, standardisation
  4. Appréciation versus évaluation

Pour citer cet article

Walery Serge, « Productivité académique contre contribution scientifique : le cas de l'économie », L'Économie politique, 3/2011 (n° 51), p. 70-96.

URL : http://www.cairn.info/revue-l-economie-politique-2011-3-page-70.htm
DOI : 10.3917/leco.051.0070


Article précédent Pages 70 - 96 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback