Accueil Revues Revue Numéro Article

Documentaliste-Sciences de l'Information

2009/4 (Vol. 46)

  • Pages : 80
  • DOI : 10.3917/docsi.464.0030
  • Éditeur : A.D.B.S.

ALERTES EMAIL - REVUE Documentaliste-Sciences de l'Information

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Article précédent Pages 30 - 43 Article suivant

Le système français de recherche et d’innovation à l’ère des indicateurs

1

Panorama. Pour ouvrir ce dossier sur les indicateurs de la recherche et la politique documentaire, il faut éclairer le contexte dans lequel s’inscrit cette problématique. Ghislaine Filliatreau examine dans ces pages la place de la recherche française sur la scène internationale au travers des indicateurs de référence. Elle présente la réforme en cours de notre système de recherche et d’innovation qui vise à l’« adapter à un monde plus ouvert ». La recherche vit désormais à l’ère des indicateurs, du (bon) usage desquels tous les acteurs doivent se sentir comptables.

La place de la France sur la scène internationale

2

La France est encore, aujourd’hui, la cinquième puissance scientifique et technologique mondiale, derrière les États-Unis, le Japon, la Chine et l’Allema­gne, proche du Royaume-Uni. Elle est héritière d’une tradition scientifique et technologique solide que, dans un monde en évolution et globalisation rapides, elle doit continuer à promouvoir activement au sein des grands réseaux scientifiques internationaux.

3

En 2006, la France a dépensé 37,9 milliards d’euros, soit 41 Md$ PPA [1][1] Md$ PPA : million de dollars en parité de pouvoir d’achat,... pour des activités de recherche et développement, qu’elles soient exécutées par le secteur public ou le secteur privé. Ce volume de dépense la place au cinquième rang mondial – loin, avec l’Allemagne et le Royaume-Uni, de la Chine (87 Md$ PPA), du Japon (139) et des États-Unis (349 Md$ PPA).

4

En France, en volume de dépense engagée, le secteur privé est le premier financeur de R&D. C’est depuis 1995 que sa part des dépenses de R&D est devenue majoritaire (autour de 55 % depuis 1998). Le secteur privé est aussi le premier opérateur de R&D, avec une part d’exécution de cette dépense de l’ordre de 63 % depuis 1998. Enfin, c’est le premier employeur en R&D, puisqu’il salarie, en 2006, 56 % des 360 000 équivalents temps plein de ressources humaines. Les entreprises financent sur leurs fonds propres plus des deux tiers de leurs dépenses de R&D, mais reçoivent également des financements venus du secteur public via des contrats et des dispositifs de défiscalisation, tels que le crédit impôt-recherche et le dispositif jeune entreprise innovante.

5

Les pouvoirs publics français financent donc 45 % des dépenses de R&D – une part qui reste plus élevée que celle observée dans la plupart des pays comparables. La partie civile de ce financement va pour environ 45 % aux opérateurs de recherche publique académique (CNRS, universités, écoles), pour 30 % aux opérateurs de recherche publique finalisée (Inserm, Inra, CEA civil, IRD, Inria, etc.) et pour 5 % environ au secteur privé. Les activités – et les laboratoires – de la recherche publique académique et finalisée se recoupent largement. Globalement, l’essentiel de leurs ressources vient des financements publics de niveau national ; les contrats passés par des entreprises, les financements communautaires et ceux des collectivités territoriales restent mineurs en volume, même si leur rôle incitatif peut être important au niveau des laboratoires et de leurs orientations de recherche.

6

La France est à l’origine de près de 4,5 % des publications mondiales répertoriées par le Web of Science en sciences de la matière et de la vie, ce qui la place au septième rang mondial de production. Son indice d’impact relatif, qui mesure sa visibilité et son influence scientifiques internationales, la place au-delà du dixième rang mondial, avec un indice global situé un peu en dessous de la moyenne mondiale. Elle est présente de manière équilibrée dans toutes les disciplines des sciences de la matière et de la vie, avec cependant une forte – et traditionnelle – spécialisation en mathématiques, une dynamique récente en informatique-STIC, et une sous-spécialisation en biologie appliquée-écologie.

7

En une dizaine d’années, la part française de publications a diminué (elle était de près de 5,5 % en 1996) mais son indice d’impact s’est amélioré. C’est une évolution comparable à celle qui s’est produite dans beaucoup de pays du fait de l’arrivée sur la scène internationale d’acteurs très dynamiques, scientifiquement et économiquement (pays d’Europe de l’Est, d’Asie, d’Amérique du Sud, etc.). En s’ajoutant aux défis globaux à relever pour une réelle amélioration des conditions de vie sur l’ensemble de la planète, ce mouvement a amené une mobilisation de la plupart des pays en faveur de leur R&D.

8

Enfin, on notera que la France, depuis longtemps bien insérée dans les réseaux scientifiques internationaux, n’a pas une dynamique de collaboration aussi marquée que ses voisins européens avec des partenaires comme la Chine, la Corée, le Brésil, l’Inde, mais aussi avec d’autres pays actifs sur la scène internationale. Ses liens scientifiques avec les États-Unis sont en retrait par rapport à ceux d’autres pays européens, ce qui peut constituer un atout dans un monde multipolaire.

En 2006, la part mondiale de la France dans le système de brevet européen était de 5,5 %, contre 8,3 % en 1988. Dans le système américain de brevets, sa part mondiale est de 2 % en 2006, mais elle est de 4 % en pharmacie-biotechnologies – et de 5 % dans le sous-domaine pharmacie-cosmétiques. Si le Royaume-Uni a un niveau de brevets un peu inférieur à celui de la France, l’Allemagne fait trois fois mieux. Les demandes françaises de brevets européens sont à 90 % le fait des entreprises. Cependant, la part des demandes faites par le secteur public a sensiblement augmenté au cours des dernières années, largement du fait des universités (+ 112 % entre 2001 et 2006). Le secteur public est très offensif en pharmacie-biotechnologies, procédés industriels et chimie-matériaux.

La réforme du système français de recherche et d’innovation

9

La notion de « système national d’innovation » a été introduite dans les années 1990 par l’OCDE, inspiré par des économistes de l’innovation. L’idée était que ce système, qui est « l’ensemble des institutions nationales, leurs systèmes d’incitation et leurs compétences, qui déterminent le rythme et l’orientation de l’apprentissage technologique dans un pays », joue un rôle majeur dans la compétitivité socio-économique et l’influence du pays au niveau mondial. Plus récemment, l’Union européenne a promu la notion d’« économie de la connaissance », qui met l’accent sur l’aspect décisif de l’ouverture internationale et de la circulation des connaissances dans le fonctionnement de ces systèmes, et sur le fait que, dans un monde globalisé, les capacités de chaque système national – et du système européen – reposent de plus en plus directement sur la capacité des acteurs individuels du système à s’insérer dans les grands réseaux internationaux où se font les apprentissages et les partenariats de demain. C’est ce qu’on a vu à l’œuvre par exemple, avec le classement de Shanghai, où les différents pays sont évalués par le classement mondial de leurs universités individuelles.

Rappels sur les indicateurs de référence

La « dépense (intérieure) de R&D » est devenue, comme le PIB, un chiffre de référence pour situer le niveau d’activité économique en recherche et développement d’un pays en comparaison internationale. C’est une mesure de flux, qui comptabilise l’ensemble des dépenses faites dans un pays, pendant une année, pour réaliser des activités de recherche (recherche fondamentale, technologique, appliquée, etc.) et de développement (tests, mise au point de méthodes, prototypes, pilotes, etc.).

On utilise les indicateurs bibliométriques pour comparer les caractéristiques de la production scientifique des pays, en s’appuyant le plus souvent sur la base bibliographique Web of Science. Il s’agit d’une base généraliste dans laquelle le signalement des articles de près de 10.000 revues scientifiques internationales est archivé. Cette base permet de produire, dans les disciplines des sciences de la matière et de la vie, des indicateurs statistiques comparatifs satisfaisants. Elle est moins fiable en informatique-STIC et en mathématiques, et elle n’est pas encore satisfaisante en sciences humaines et sociales.

On utilise des statistiques sur les brevets pour caractériser le potentiel d’innovations des différents pays et apprécier leur volonté d’être présents sur des marchés importants, comme l’Europe et les États-Unis.

10

Dans ce contexte, le rôle de l’État va être de tenter d’identifier, puis de promouvoir, le meilleur (ré)agencement institutionnel et politique possible des acteurs du système national de recherche et d’innovation – ce qui, avec l’émergence d’un monde globalisé de la R&D, veut dire de faciliter l’insertion des acteurs français dans les réseaux internationaux. C’est ainsi que les réformes actuelles sont guidées par trois principes.

11

Le premier est que les acteurs du système doivent être capables de se déplacer rapidement dans un monde complexe, très concurrentiel et très ouvert. Pour cela, ils doivent posséder une certaine autonomie, des capacités d’analyse stratégique et d’anticipation – ce qui va les inciter d’une part à se différencier selon leurs meilleurs atouts, d’autre part à s’allier avec d’autres acteurs (acteurs publics, mais également entreprises, et associations issues de la société civile) sur la base d’objectifs scientifiques communs. Cette capacité des acteurs à nouer une large variété d’alliances stratégiques est fondamentale pour la dynamisation du système.

12

Ensuite, le rôle des universités (re)devient central, car leur triple mission d’éducation, de recherche et d’innovation est au cœur de la société de la connaissance. Même lorsque, comme en France, les universités ne sont pas les seuls acteurs du système, leur rôle est primordial du fait, notamment, de leur présence comme acteurs de référence dans tous les systèmes nationaux : cette « universalité » leur confère un rôle important de signal pour attirer les étudiants, les chercheurs et les entreprises mobiles, et parfaire l’intégration de la France dans l’« espace européen de la recherche ».

13

Enfin, les orientations du système, ses ambitions et son fonctionnement doivent être plus «lisibles » et plus prévisibles, donc précisément explicités. Ceci est important pour l’attrac­tivité de la «destination France», mais également pour la coordination de l’ensemble du système, devenu plus complexe.

Des acteurs institutionnels nouveaux mis en place depuis 2006
  • L’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES). Autorité administrative indépendante de niveau national, elle a pour missions d’évaluer les opérateurs de recherche, les fondations de coopération scientifique et l’ANR, ainsi que les laboratoires de ces opérateurs, soit directement soit en déléguant l’exécution de cette évaluation à l’opérateur. Elle évalue les formations et les diplômes des établissements d’enseignement supérieur et, enfin, elle valide les procédures que les opérateurs utilisent pour évaluer leurs personnels. L’agence rend publiques ses évaluations, en même temps que les remarques des entités évaluées.

  • L’Agence nationale de la recherche (ANR). Établissement public administratif de niveau national dédié au financement sur projets de la recherche, elle a également un rôle de soutien des instituts Carnot, des pôles de compétitivité et d’autres infrastructures. En 2008, son financement a représenté 4 % de la dépense publique de R&D.

  • Le Haut Conseil de la science et de la technologie (HCST). Créé en 2006, il a été réorganisé – mais pas remis en activité – en mars 2009. Il est rattaché au Premier ministre et a pour mission de « mettre en cohérence la politique nationale de recherche et de contribuer à la rénovation du système français de recherche ».

  • Les Instituts Carnot. Label décerné à des institutions ou à de gros laboratoires pour signaler aux entreprises que la structure labellisée a des compétences en matière de collaborations, transferts et innovations. En 2008, il existe 33 Instituts Carnot (20 000 chercheurs et doctorants).

  • Les Pôles de compétitivité. Label décerné à des regroupements sur un même site d’institutions publiques et privées pour mettre en œuvre des projets de développement pour l’innovation sur un thème donné. Ce label facilite l’accès à des financements (fonds unique interministériel, Oséo, ANR, etc.) et à des avantages fiscaux. En 2009, on compte 70pôles, mais sept seulement sont déclarés d’envergure mondiale. Le financement est de l’ordre de 6 % du financement public.

  • Les universités « autonomes ». Elles ont une gouvernance modifiée et de nouvelles compétences (maîtrise de leur budget global, gestion de leurs ressources humaines, etc.). On compte actuellement 18 universités autonomes ; 33 autres le seront au 1er janvier 2010.

  • Les Alliances. Elles visent à coordonner les acteurs publics et des pôles de compétitivité sur des programmes thématiques d’importance nationale, qui seront également abondés par l’ANR. Elles ont aussi vocation à structurer des programmations conjointes thématiques au niveau européen. En 2009, deux alliances existent, en santé et énergie, et deux autres sont en création, sur la mer et sur l’informatique.

  • Les Pôles de recherche et d’enseignement supérieur (PRES). Dispositifs coopératifs inter-établissements qui doivent se trouver sur un même site et inclure une université. Ils mettent en commun des équipements, ont une politique de valorisation et de rayonnement international, et coordonnent leurs écoles doctorales. En 2009, 15 PRES concernent 44 universités, 40 écoles et 3 instituts.

  • Les Réseaux thématiques de recherche avancée (RTRA). Dispositifs coopératifs de sites rassemblant des laboratoires d’excellence sur un thème porteur, adossés à une fondation de coopération scientifique qui favorise leur financement. 13 RTRA et 8 RTRS (en recherche médicale) ont été créés.

Le « nouveau management public » et l’ère des indicateurs

14

Les indicateurs quantitatifs sont très présents dans le nouveau management public : ils structurent le dialogue contractuel entre acteurs, éclairent les stratégies, appuient l’évaluation. Ils contribuent ainsi à la coordination, à la cohérence et à la gouvernance d’ensemble du système. Vis-à-vis du public, ils améliorent la lisibilité des décisions, la transparence des bilans et la visibilité des acteurs dans leur diversité.

15

Ce que nous venons d’évoquer à propos de la réforme du système français de recherche et d’innovation s’inscrit par ailleurs dans un mouvement plus général qui fait profondément évoluer le rapport entre la sphère publique et la société. Il inclut notamment ce qu’on appelle le « nouveau management public », qui prend des formes très diverses selon les pays, mais qui s’appuie partout sur l’usage d’indicateurs, qualitatifs et quantitatifs.

16

En effet, dans le nouveau management public, il s’agit de différencier les compétences des différents acteurs intervenant pour une politique publique, et de limiter les situations où un même acteur décide, exécute et évalue. Cette « séparation des fonctions » s’appuie sur des dispositifs dans lesquels des indicateurs jouent un rôle central (contrats quadriennaux, contrats d’objectifs, projets et rapports annuels de performance, contrats de financement de projet, évaluations). En théorie, chaque acteur va s’appuyer sur des indicateurs pour définir puis expliciter ses objectifs et sa stratégie, obtenir d’un autre acteur les arbitrages et les moyens pour exécuter cette stratégie, puis rendre des comptes sur ses réalisations, lesquelles seront évaluées par un troisième acteur.

17

Rappelons, enfin, que l’importance grandissante des indicateurs quantitatifs s’inscrit dans une tendance encore plus large, qui est liée à l’évolution des moyens d’information et de communication et à la grande complexité de nos sociétés : les chiffres sont utilisés de manière quasi systématique dans tous les secteurs, à la fois comme outils de transparence et d’information vis-à-vis du public, et comme vecteurs de communication vis-à-vis des « usagers ».

L’expérience de l’OST

18

L’Observatoire des sciences et des techniques (OST [2][2] www. obs-ost. fr) est géré par quinze acteurs majeurs du système national de recherche et d’innovation, qui lui ont confié en 1990 la mission de concevoir et produire les indicateurs utiles à ses membres et, plus généralement, à l’ensemble des acteurs du système.

19

Après vingt ans de pratique professionnelle, il participe évidemment à l’évolution de l’usage des indicateurs, en ce qui concerne :

  • l’analyse stratégique, avec des indicateurs qui décrivent la production d’une institution ou de la France par rapport à d’autres pays. D’abord développés il y a vingt ans pour les pays, ces indicateurs sont maintenant déclinés au niveau des institutions. Ils permettent une analyse « SWOT [3][3] De l’anglais Strengths (forces), Weaknesses (faiblesses),... » quantitative de la production scientifique et technologique de l’institution et son suivi dans le temps. On trouve des exemples d’indicateurs de positionnement stratégique de niveau pays dans le rapport Indicateurs de sciences et de technologies ;

  • le pilotage par la performance, avec l’exemple des indicateurs de la Mission interministérielle recherche et enseignement supérieur, dans le cadre de la loi organique relative aux lois de finances (LOLF). L’OST fournit des indicateurs qui mesurent chaque année certains aspects de la production des acteurs concernés, permettant d’évaluer l’écart entre cette production et les objectifs fixés par le projet annuel de performance [4][4] Voir par exemple, www. performance-publique. gouv.... ;

  • l’évaluation d’institutions ou de programmes, avec la création d’indicateurs nouveaux. Voir par exemple le travail du groupe EREFIN sur les indicateurs de recherche finalisée [5][5] Voir par exemple www. obs-ost. fr/ fr/ le-savoir-faire/....

Du (bon) usage des indicateurs

20

Dans nos sociétés de plus en plus complexes, où l’on souhaite promouvoir l’activité d’acteurs autonomes et stratèges, les indicateurs sont devenus des outils d’analyse et de communication irremplaçables. Ils facilitent la coordination et les arbitrages entre toutes sortes d’intervenants, porteurs chacun de points de vue particuliers liés à leurs compétences propres, et que les chiffres aident à dialoguer. Cependant, les indicateurs simplifient dangereusement le monde : ils sont très imparfaits et parfois difficiles d’interprétation, ce qui veut dire qu’ils demandent un effort d’appropriation pour être véritablement utiles et pertinents. C’est pourquoi un travail d’analyse et de surveillance mutuelle des (bons) usages des indicateurs doit être assuré par tous les acteurs : la recherche et l’innovation sont leurs biens communs. •

Quelques repères bibliographiquess

• « Dépenses de recherche et développement en France en 2006. Premières estimations pour 2007 ». Note d’information n° 09.03 du ministère de l’Enseignement supérieur et de la Recherche, MESR-DEPP, février 2009. http:// media. enseignementsup-recherche. gouv. fr/ file/ 2009/ 78/ 8/ NI0903_44788. pdf

Repères et références statistiques sur les enseignements, la formation et la recherche, édition 2009, chapitre 11. MESR, DGESIP-DGRI-SIES. http:// cisad. adc. education. fr/ reperes/ default. htm

La recherche et l’innovation en France : FutuRIS 2009. Sous la direction de Jacques Lesourne et Denis Randet. Paris : Odile Jacob, 2009

Indicateurs de sciences et de technologies [rapport biennal]. Observatoire des sciences et des techniques ; sous la direction de Ghislaine Filliatreau. Paris : Économica, 2008 et www. obs-ost. fr

21

Ghislaine Filliatreau

Les systèmes d’évaluation de la recherche

22

Analyse. Quand on parle d’« évaluation de la recher?che » de façon générique, on amalgame souvent différents niveaux d’évaluation qu’il faut pourtant distinguer si l’on veut discuter sérieusement des méthodes appropriées à chacun d’eux. Yves Gingras propose ici un survol de chacun de ces niveaux à peu près dans l’ordre de leur apparition historique. Cette approche permet de rappeler l’ancienneté et l’omniprésence de l’évaluation des chercheurs tout en faisant ressortir la spécificité des modes d’évaluation mis de l’avant au cours des deux dernières décennies.

Les publications dans les revues savantes

23

On peut faire remonter le début de l’évaluation de la recherche à la création en mars 1665 des Philosophical Transactions de la Société royale de Londres. Publiée sous la direction d’Henry Oldenburg, secrétaire de la Société, cette revue constitue le prototype de la revue savante moderne : son contenu se limite aux domaines scientifiques, et elle est constituée de comptes rendus de livres, de reprises d’articles étrangers et d’articles originaux dont le contenu doit être évalué par d’autres membres de la Société royale [6][6] Marie Boas Hall, Henry Oldenburg. Shaping the Royal....

24

Pendant longtemps, l’« évaluation de la recherche » se limitera à l’évaluation par les pairs des contributions de leurs collègues et compétiteurs dans le champ scientifique en formation. Les revues se spécialiseront au cours du XIXe siècle pour devenir disciplinaires mais, jusqu’au début du XXe siècle, ce système demeurera assez informel, le rédacteur de la revue décidant s’il a ou non l’expertise d’évaluer lui-même le texte soumis et, dans le second cas, choisissant dans son entourage immédiat un expert pouvant lui faire rapport sur la valeur du texte soumis. Le taux de refus était généralement très bas.

L’originalité et la qualité des enseignants-chercheurs

25

Un autre niveau d’évaluation est bien sûr celui des individus eux-mêmes en tant que chercheurs. Depuis la création de l’Université de Berlin en 1810, le professeur d’université se doit d’être aussi un chercheur. Les responsables de l’institution demandent alors l’avis d’experts extérieurs au département concerné avant d’embaucher de nouveaux enseignants chercheurs ou de leur accorder la titularisation (tenure) ou une promotion. Ces experts, qui sont aussi des pairs, rendent un jugement global et qualitatif sur la valeur et l’originalité des travaux du candidat. De façon générale, ce niveau d’évaluation est très local et sa forme précise varie énormément d’un département et d’une université à l’autre. Une fois la titularisation obtenue, l’évaluation est moins fréquente et varie énormément selon les pays et les institutions.

La révision des programmes de formation et des activités des départements disciplinaires

26

Les professeurs et les chercheurs étant réunis au sein de « départements » ou d’unités de recherche, ces niveaux d’organisation deviennent à leur tour des objets d’évaluation. L’évaluation systématique des départements et autres unités de recherche semble toutefois assez récente et nullement systématique avant les années 1970. Jusqu’à tout récemment, cependant, cet exercice était lui aussi essentiellement fondé sur le jugement de pairs provenant d’autres institutions et appelés à visiter les départements, analysant leurs rapports d’activité et jugeant de la qualité globale de l’enseignement et de la recherche sans vraiment user d’indicateurs quantitatifs bien définis. Bien que le nombre de publications soit généralement pris en compte, il fait partie d’un jugement global qui est, in fine, qualitatif.

27

Tout comme l’évaluation des chercheurs et des professeurs, celle des unités a une fonction essentiellement interne à l’université et vise la mise à jour des programmes de formation environ à chaque dix ans. Les centres de recherche, qui sont pour la plupart créés autour d’un objet donné et qui répondent souvent à des demandes et des besoins externes à l’université, peuvent avoir une durée de vie moins longue que les départements et, dépendant davantage de ressources externes, sont souvent évalués sur une base plus fréquente que les départements universitaires.

L’évaluation des universités

28

Le tournant le plus important en matière d’évaluation de départements universitaires correspond à la mise en place du Research Assesment Exercice (RAE) en Angleterre au milieu des années 1980. Le premier exercice a eu lieu en 1986 et ensuite environ tous les trois (1989, 1992) ou quatre ans (1996, 2001) [7][7] Paul G. Hare, « L’exercice d’évaluation de la recherche.... L’originalité de cette approche est qu’elle relie les résultats de l’évaluation de l’ensemble des unités du pays en créant un classement général qui influe ensuite sur le niveau des ressources consenties par l’État à chaque institution : les « meilleurs » obtiennent davantage et les « moins bons » voient leurs crédits diminués. Formule excessivement coûteuse et lourde à gérer, le RAE a donné lieu depuis le début des années 2000 à un très grand nombre d’analyses et de critiques dont plusieurs concluent que la formule est maintenant dépassée.

29

On peut imaginer l’ampleur du travail quand on sait que l’exercice de 2001 a porté sur 50.000 chercheurs, 2.600 unités et 173 institutions d’enseignement supérieur [8][8] Voir le site du RAE : www. rae. ac. uk. À la suite d’une évaluation en profondeur du programme par un comité présidé par Sir Gareth Roberts et d’une série de consultations, on constate une longue pause et une reprise de l’exercice en 2008. Celui-ci analyse 67 unités regroupées en 15 grands domaines disciplinaires comparables. Les nombreux comités d’évaluation comprennent chacun quinze membres dont des experts internationaux.

30

Il faut noter ici que ces évaluations sont le fait de comités de pairs qui fondent leur jugement sur un mélange complexe de données diverses. Il ne s’agit pas d’une évaluation « mécanique » fondée seulement sur des données bibliométriques, comme on le croit parfois. En fait, seul le gouvernement de la Flandre utilise un système d’évaluation des universités qui prend en considération les indicateurs bibliométriques explicites et formalisés, en plus du nombre d’étudiants inscrits, pour distribuer les octrois gouvernementaux à ses universités. [9][9] Vincent Larivière, Éric Archambault, Yves Gingras,...

L’évaluation des revues savantes

31

Un aspect entièrement nouveau de l’évaluation a émergé récemment au niveau européen. Il s’agit de l’évaluation des revues savantes elles-mêmes. Il est en effet important de rappeler que, même s’il a toujours existé dans chaque discipline et spécialité une hiérarchie implicite des revues, celle-ci n’a jamais eu un caractère officiel ni explicite et, en fait, variait toujours un peu selon les personnes. Bien sûr, les organismes qui soutiennent financièrement un certain nombre de revues les évaluent sur une base régulière pour décider de renouveler ou non leur appui, mais cela demeure une évaluation par les pairs qui reste interne à l’organisme et ne se transforme pas en classement public explicite.

32

La nuance est cruciale car l’officialisation d’un classement a des effets pervers évidents qui viennent perturber de façon importante le fonctionnement normal des revues. Aussi, contrairement à ce que l’on entend parfois, il n’existe pas en Amérique du Nord de classement explicite et officiel des revues savantes. En effet, l’existence du « facteur d’impact » des revues, publié par la firme Thomson Reuters, ne constitue pas à proprement parler un classement officiel. Localement, il peut être utilisé à cette fin, mais il s’agit alors d’un classement indigène utilisé par un comité qui en a décidé ainsi, croyant alors se faciliter la tâche. Il n’a aucun effet global sur la discipline ou même sur le pays.

33

L’approche européenne est tout autre. Lorsque L’AERES ou l’European Science Fondation créent littéralement un classement des revues en sciences humaines, elles officialisent et figent un état de la structure des relations entre revues, qui est toujours dynamique et changeant. Elles génèrent ainsi des effets en retour qui désavantagent les revues plus jeunes et innovantes ou plus spécialisées. Sans compter que la procédure de classement est opaque et arbitraire.

34

La réaction vive et immédiate des revues anglophones d’histoire et de sociologie des sciences à cet exercice bureaucratique, malheureusement appuyé, il faut le dire, par des chercheurs peut-être bien intentionnés mais qui n’ont pas vraiment réfléchi aux conséquences d’une telle démarche, montre bien que cette initiative européenne ne s’inscrit nullement dans une tradition d’évaluation établie, par exemple, en Amérique du Nord où l’on laisse plutôt aux comités d’évaluation le soin de tenir compte par eux-mêmes de la valeur des lieux de publication. De plus, cette approche ne tient nullement compte du fait bien établi que les articles ne constituent dans les sciences sociales et humaines qu’une faible partie de la production savante qui laisse encore une place centrale aux livres, beaucoup plus cités que les articles. Enfin, ces classements ne tiennent pas compte du fait que, dans la pratique, les autres niveaux d’évaluation incorporent déjà implicitement une hiérarchie des revues.

35

Pour conclure ce rapide survol, on peut dire sans trop de risques d’erreur que les chercheurs et les enseignants-chercheurs sont probablement les personnes les plus fréquemment évaluées. Il faudrait d’ailleurs quantifier les ressources matérielles et temporelles consacrées par les chercheurs eux-mêmes à ces nombreux exercices d’évaluation pour constater qu’elles équivalent à plusieurs milliers d’heures de travail perdues pour les activités de recherche… •

36

Yves Gingras

Mise en place d’indicateurs de la production scientifique. L’exemple de l’INRIA

37

Retour d’expérience. La mise en place d’indicateurs de la production scientifique s’impose à tout organisme de recherche public. S’appuyant sur l’exemple de l’Institut national de recherche en informatique et en automatique, Marie-Laure Bretin présente ici le principe de cette démarche : définition d’indicateurs bibliométriques génériques et personnalisés, en liaison avec l’Observatoire des sciences et des techniques et en application de la LOLF. Et d’indicateurs spécifiques à l’organisme, élaborés en interne par l’INRIA.

Les indicateurs LOLF

38

Entrée en application en janvier 2006, la loi organique relative aux lois de finances (LOLF) a introduit dans la gestion publique la notion de performance. Elle décline le budget en trois niveaux : les missions, les programmes et les actions. Dans le secteur de la recherche, la mission « Recherche et enseignement supérieur » se subdivise en douze programmes dont: recherches scientifiques et technologiques pluridisciplinaires (CNRS, INRIA, etc.), recherche spatiale, vie étudiante, recherche industrielle, etc.

39

Chacun de ces programmes dispose d’indicateurs permettant de mesurer les performances des acteurs. L’Observatoire des sciences et des techniques (OST [10][10] www. obs-ost. fr) est chargé de leur calcul pour la recherche et l’enseignement supérieur. Concernant les indicateurs bibliométriques, l’OST a conclu un accord avec Thomson Scientific, considérant que la base Science Citation Index était la plus complète et la mieux structurée des bases bibliographiques pluridisciplinaires du marché. L’Observatoire adapte ensuite ces données à ses propres besoins.

40

• Le repérage des adresses. Afin d’établir, entre autres, les indicateurs LOLF, l’OST fait valider par chaque établissement les lignes d’adresses correspondant aux affiliations des auteurs d’un article. Il appartient à chaque institut de repérer, dans la base de données mise à sa disposition, chacune des adresses sous laquelle un de ses chercheurs s’est affilié. Il est en effet préférable, afin de garantir la qualité des données, que ce repérage soit effectué par une personne connaissant les différentes composantes d’un établissement. De surcroît, les auteurs n’ont pas tous les mêmes pratiques d’écriture de leurs affiliations. Même si la plupart utilisent le sigle habituel, certains préfèrent le développer, d’autres le traduisent en anglais, d’autres encore l’oublient… Il arrive aussi que des lettres soient inversées. Enfin, Thomson Scientific peut, de bonne foi ou involontairement, introduire des erreurs dans les affiliations françaises.

41

Par exemple, pour repérer une publication INRIA de 2007, il fallait rechercher toutes les adresses contenant « INRIA » mais aussi « LORIA » et « IRISA » qui sont les sigles d’unités mixtes dont l’INRIA était partenaire à ce moment-là, ainsi que les développements de ces sigles, leur traduction, etc. Cela avec discernement, car il existe des homonymies dans les noms de laboratoires…

42

• Le biais de la base. Outre celui du bon repérage des adresses, se pose un problème relatif à la représentativité de la base Thomson/OST. Les actes de conférences (proceedings) y sont très peu présents, alors qu’ils sont très importants dans les travaux de l’INRIA. Bien que l’OST considère que ce biais existe pour tous les homologues de l’INRIA, ce dernier s’estime lésé d’une partie de ses publications. Par ailleurs, l’OST (donc la France pour les indicateurs LOLF) n’est pas maître des données. Un changement de politique éditoriale chez Thomson peut remettre en question le mode de production des indicateurs et rendre très difficile le suivi de leur évolution.

43

À titre d’exemple, pour le repérage de 2007, l’INRIA a constaté un déficit d’environ 30 % de ses publications. Après investigations, il s’avère que Thomson avait modifié son corpus par rapport à une revue phare du domaine. En janvier 2007, la revue Lecture Notes in Computer Science (Springer) n’est plus indexée dans le Science Citation Index, mais seulement dans ISI Proceedings. En octobre 2008, ISI Proceedings est intégré au Science Citation Index. Entre temps, l’OST avait réalisé les exports du corpus 2007… Un rattrapage a été réalisé.

44

À partir de ces données, l’OST produit les indicateurs LOLF qui sont rendus anonymes. En effet, ils sont établis par programmes et par disciplines mais sans faire apparaître les noms des acteurs. Ils visent à mesurer l’évolution de la performance du secteur année après année.

45

• Les indicateurs « tableau de bord ». Outre les indicateurs LOLF, l’OST propose d’établir des indicateurs bibliométriques à la demande des acteurs de la recherche. Sur la base de critères définis en commun, ils permettent à un organisme de suivre sa propre évolution sur plusieurs années et d’évaluer son positionnement disciplinaire en France, en Europe et dans le monde. Les calculs sont établis à partir des publications que cet organisme a repérées.

46

Pour l’INRIA, les indicateurs suivants sont proposés : nombre de publications scientifiques de l’institut par discipline ; part des publications INRIA parmi les publications françaises, européennes, mondiales; part des citations à deux ans reçues par des publications INRIA en France, en Europe et dans le monde; part des publications de l’INRIA en co-publication avec des partenaires français, européens, mondiaux, etc.

Reposant sur le même corpus de données que les indicateurs LOLF, ces indicateurs bibliométriques apportent un éclairage ad hoc adapté aux besoins de l’institut et complémentaires des indicateurs internes. Ils permettent de mesurer l’impact et la visibilité des publications de l’INRIA et leur évolution.

Les indicateurs du contrat quadriennal de l’INRIA

47

Le contrat quadriennal, signé avec l’État, engage la stratégie de l’institut sur quatre ans. Une batterie d’indicateurs y est annexée afin de mesurer et d’assurer le suivi des objectifs. Des valeurs à atteindre en fin de contrat sont définies pour chacun de ces indicateurs. Cinq d’entre eux (sur 160) concernent la production scientifique :

  • nombre annuel de publications de référence internationale ;

  • nombre de citations à deux ans des publications de référence internationale ;

  • ratio en pourcentage du nombre de publications déposées sur le serveur HAL par rapport au nombre total des publications INRIA au cours de l’année ;

  • nombre d’articles co-publiés avec des scientifiques européens ;

  • nombre d’articles de vulgarisation parus dans l’année.

Avec quels outils internes sont-ils établis ? La principale source de données interne est le rapport d’activité rédigé par chaque équipe de recherche de l’INRIA et auquel est annexée une bibliographie. Afin de rendre cette bibliographie utilisable pour le calcul d’indicateurs, les publications ont été organisées en catégories compatibles avec celles de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES). Une catégorie « Documents de vulgarisation » a, en outre, été ajoutée. Un référentiel de journaux et un autre de conférences ont été établis. Ils permettent, par l’harmonisation des intitulés, de calculer le nombre annuel de papiers publiés par journal et par conférence. Les chercheurs ont été amenés à se prononcer, dans leur bibliographie, à l’aide de champs spécifiques, sur le caractère international ou non du journal ou de la conférence. Complétées par des classements internationaux considérés comme fiables par la Direction de la recherche, ces données permettent de répondre au premier indicateur du contrat. En 2009, une base de données compilant les bibliographies des rapports d’activités et les données de HAL a été créée. Elle a apporté de la fiabilité aux données et a permis de concevoir des requêtes plus élaborées.

48

Un certain nombre de difficultés subsistent toutefois. Certains indicateurs ne peuvent être calculés en interne (citations). Dans ce cas, le tableau de bord fourni par l’OST pourrait être utilisé. Mais la différence de corpus est telle entre celui utilisé par l’OST et la base interne que ce n‘est finalement pas possible. Le dédoublonnement est également compliqué et difficile à automatiser. Une même publication peut figurer dans la bibliographie de plusieurs équipes si les auteurs ont co-publié. S’ajoute à cela la difficulté de définir le statut de la publication : si elle est à paraître au moment de la rédaction du rapport d’activité, faut-il vérifier sa parution effective pour l’établissement des indicateurs ?

49

Au début des années 2000 se mettait en œuvre le processus LOLF. Concomitamment, le premier classement de Shanghai voyait le jour. Éloignés par leurs objectifs et leurs lieux d’apparition, ces deux événements n’en sont pas moins révélateurs d’une évolution. Qu’il s’agisse d’aider les étudiants chinois à choisir leur université ou de justifier le premier euro dépensé par l’État français, le besoin de mesurer les résultats est dans l’air du temps. Le classement de Shanghai a connu une résonnance considérable en France, notamment du fait du rang auquel la France y était classée. En 2006, la loi de programmation pour la recherche créait, entre autres, l’AERES, renforçant ainsi les missions d’évaluation de l’État sur ce secteur. L’AERES a, notamment, ajouté une dimension régionale aux évaluations. Il s’agit donc bien d’une préoccupation récente mais de plus en plus prégnante pour laquelle, toutefois, outils et procédures ne sont pas encore totalement aboutis. •

Carte d’identité

Placé sous la double tutelle des ministères de la recherche et de l’industrie, l’Institut national de recherche en informatique et en automatique (INRIA) a pour vocation d’entreprendre des recherches fondamentales et appliquées dans les domaines des sciences et technologies de l’information et de la communication (STIC). L’institut assure également un fort transfert de technologie en accordant une grande attention à la formation par la recherche, à la diffusion de l’information scientifique et technique, au développement, à l’expertise et à la participation à des programmes internationaux.

50

Marie-Laure Bretin

Le rôle des documentalistes dans la production d’indicateurs. L’exemple du LAAS-CNRS

51

Retour d’expérience. Quel rôle peuvent jouer les professionnels de l’I&D dans la production d’indicateurs au niveau d’un laboratoire de recherche ? Quelles compétences et dispositions cet exercice exige-t-il d’eux ? Anne Bergez nous expose le cas d’un laboratoire du CNRS.

52

Dès sa création, le Laboratoire d’analyse et d’architecture des systèmes (LAAS) s’est doté d’un centre de documentation comprenant une bibliothèque et dont la vocation, outre la bibliothéconomie, était la gestion de la production scientifique du laboratoire. En collaboration avec les chercheurs, les documentalistes ont élaboré une classification des publications et des règles de gestion : tout document produit par un personnel du laboratoire fait l’objet d’une fiche dûment complétée par l’auteur (auteur, titre, type de publication, date de publication, référence bibliographique complète du support auquel l’article est soumis) ; la fiche de production et le document doivent être visés par le responsable (chef de groupe, chef d’équipe, chef de service) de l’auteur ; le dossier complet est transmis à la documentation qui vérifie les références mentionnées sur la fiche et le transmet à la direction du laboratoire ; le directeur du laboratoire accepte ou refuse la publication.

53

Ces règles de gestion sont toujours appliquées : ainsi depuis 1968, toute la production scientifique du laboratoire a subi cette double validation. Le LAAS recense à ce jour plus de 20.000 documents.

54

Les publications acceptées reviennent à la documentation et sont enregistrées, ce qui permet l’édition d’une liste des publications du LAAS classées par type et par groupe ou équipe de recherche et service. Cette liste a permis de compter les publications et d’établir des statistiques qui sont publiées dans le bilan annuel du laboratoire et ont constitué, dès 1968, les premiers indicateurs du LAAS.

La participation des documentalistes

55

Afin de définir des types de publications et d’élaborer des règles de gestion cohérents, les documentalistes ont dû, dans un premier temps, se former à la recherche bibliographique et bien connaître la construction des bases de données internationales. Puis poursuivre leur formation afin de maîtriser les outils statistiques de ces bases de données nécessaires à la construction d’indicateurs. Le problème de l’affiliation des chercheurs et enseignants-chercheurs s’est alors posé, les documentalistes faisant remarquer que les libellés multiples pour une même affiliation nuisaient à la visibilité du laboratoire dans les bases de données internationales. C’est pourquoi, dès la fin des années 1990, il a été décidé d’un libellé d’affiliation unique pour le laboratoire : LAAS-CNRS.

56

Outre de bonnes notions d’informatique documentaire, il a fallu en acquérir en informatique afin d’élaborer les cahiers des charges pour le développement avec des informaticiens d’une application de gestion des publications. Les cahiers des charges sont régulièrement réactualisés par les documentalistes pour permettre les évolutions de l’application.

57

Depuis les années 1990, le développement d’Internet et de ses outils a permis aux documentalistes de mettre en place de nouvelles activités de veille. Celle-ci permet d’anticiper les nouveaux besoins en matière d’indicateurs.

58

Enfin, il a aussi été nécessaire de se former à des outils bureautiques permettant l’exploitation et l’édition des indicateurs.

Les premiers indicateurs du LAAS-CNRS

59

• Informatisation de la gestion des publications. En 1992, la gestion des publications a été informatisée avec une application interne développée par un chercheur, en collaboration avec la documentaliste, sous 4D (4e dimension). Cette application a permis l’automatisation des statistiques de publication et l’élaboration d’un premier tableau d’indicateurs.

• Évolutions de l’application de gestion des publications. Au cours du temps, les documentalistes ont fait évoluer l’application 4D, ce qui a permis l’élaboration de tableaux d’indicateurs plus détaillés et plus précis. En 2002, l’application 4D a été transférée sous Oracle et a fait l’objet d’un développement Java permettant l’accès via Internet sans restriction [11][11] http:// www2. laas. fr/ laas/ 1-4266-Publications..... Ce développement a permis d’élaborer de nouveaux indicateurs plus fins : d’abord le nombre de documents issus de la collaboration entre les groupes de recherche au cours d’une année (tableau 1), puis le nombre de documents co-signés par plusieurs groupes et par des membres extérieurs au LAAS et le nombre moyen d’auteurs par publication (tableau 2).

Tableau 1 - Publications communes par groupesTableau 1
Tableau 2 - Publications par groupesTableau 2

Le développement des indicateurs

60

• Les demandes du CNRS. En 2003, le département Sciences et technologies de l’information et de la communication (STIC) du CNRS, auquel le LAAS était rattaché, a demandé à ses laboratoires de lui communiquer deux nouveaux indicateurs : le pourcentage de chercheurs non publiants et le nombre de « conférences invitées ». Pour répondre à la première demande, il a fallu développer de nouvelles requêtes dans notre application Oracle.

61

• Les demandes internes

  • Le livre de bord. La direction du laboratoire a souhaité en 2004 éditer chaque année pour le laboratoire un « livre de bord ». Il s’agit d’une synthèse des indicateurs du LAAS concernant non seulement les publications mais également les ressources humaines, l’infrastructure, la valorisation, les contrats. Des indicateurs spécifiques aux publications ont été développés. Ce sont des ratios exprimant, par chercheur publiant, les nombres : d’articles publiés dans des revues internationales, de conférences internationales présentées, de conférences invitées présentées, d’ouvrages ou de contributions à des ouvrages internationaux publiés, de brevets publiés, de rapports de contrat, d’articles publiés dans des revues de vulgarisation. Le livre de bord mentionne également le pourcentage de chercheurs non publiants.

  • Des statistiques sur les « refus » ou « acceptations » des articles. Une nouvelle demande est a été faite à la documentation : éditer le pourcentage d’articles acceptés pour publication dans les revues ou dans les conférences. Notre application actuelle ne permettant pas l’élaboration de ces statistiques, nous avons dû réfléchir à la façon dont nous pourrions les implémenter. il a fallu créer de nouveaux champs, liés à des dates, qui permettront de référencer les articles soumis et, parmi eux, le nombre d’acceptés et de refusés.

• De nouveaux indicateurs. Lors de la création de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) est apparue la distinction entre chercheurs et enseignants-chercheurs. Jusqu’alors, dans l’application Oracle, la distinction entre les catégories de personnel n’était pas faite. L’application de gestion des publications est intégrée dans le système d’information du LAAS qui gère un ensemble de bases de données, notamment celle du personnel avec laquelle elle est interconnectée, ce qui permet de « rapatrier » les auteurs du laboratoire et donc d’en éviter la saisie. De nouveaux champs mentionnant le statut (chercheur, enseignant chercheur, etc.) et l’établissement d’appartenance de l’auteur ont été ajoutés. Ainsi toutes les informations ayant trait à un auteur figurent maintenant dans l’application, ce qui permettra l’élaboration de nouveaux indicateurs, par exemple le nombre de publications des auteurs enseignants-chercheurs d’un établissement particulier.

62

La demande d’indicateurs de la recherche est en évolution constante. Aussi, pour répondre à ces demandes, les documentalistes doivent se former continuellement aux outils informatiques nécessaires à l’élaboration d’indicateurs de plus en plus précis. De plus, ils doivent se tenir informés en permanence des politiques et de l’organisation de la recherche afin de rester une force de proposition. •

Carte d’identité

Le LAAS, unité propre de recherche du CNRS créée en 1968 est associé à 4 établissements d’enseignement supérieur toulousains. Il est organisé en 18 groupes de recherche répartis dans 4 pôles thématiques et comprend 650 personnes, dont 200 chercheurs et enseignants chercheurs, 275 doctorants, 60 post-doctorants et 115 ITA.

63

Anne Bergez

L’élaboration d’indicateurs bibliométriques. L’exemple de l’IFP

64

Retour d’expérience. À l’IFP aussi, la mise en place d’indicateurs bibliométriques a mobilisé les documentalistes pour élaborer, avec les chercheurs, des outils d’évaluation de la recherche. Pascale Mallaret relate ici cette expérience. Elle présente les indicateurs retenus, la méthode adoptée et les résultats obtenus.

65

Établissement public à caractère industriel et commercial (EPIC) depuis 2006, l’IFP a dû engager, comme tout établissement de recherche public, une démarche d’évaluation de sa recherche. Très rapidement, la mise en place d’indicateurs, bibliométriques ou autres, a été une forte préoccupation de l’IFP. Ces nouveaux indicateurs s’ajoutent à ceux demandés par nos autorités de tutelle dans le cadre du contrat d’objectifs (contrat quadriennal) et de la loi organique relative aux lois de finances (LOLF).

Choix des indicateurs

66

À la documentation, calculer des indicateurs bibliométriques nous semblait relativement facile. En effet, nous disposions déjà de deux « éléments fondamentaux » : un processus de publication permettant de référencer, en amont, les publications qui allaient être réalisées ; et une base de données interne recensant l’ensemble des publications ayant au moins un auteur IFP. Seuls les indicateurs restaient à déterminer. Un groupe de travail, composé de membres de la Direction scientifique, de la Mission d’information et de la Direction de la documentation, a été créé pour définir les indicateurs nécessaires au suivi de la recherche.

67

Le rôle de la documentation dans ce groupe de travail a été multiple. Suite à une analyse des différents indicateurs mis en place par les principaux EPIC et EPST et par l’Observatoire des sciences et des techniques (OST), nous avons proposé des indicateurs réalisables en termes de périodicité, de catégorisation de documents, mais également de charge de travail. À titre d’exemple, nous avons très vite abandonné la notion de « publication dans des revues de rang A » pour définir un indicateur plus simple pour nous à déterminer qui est « publication dans des revues indexées dans le Web of Science (WoS) ».

68

Après de multiples discussions, nous sommes arrivés à classer nos publications en onze catégories et à retenir neuf indicateurs bibliométriques (voir le tableau ci-contre), certains étant des subdivisions de l’indicateur générique (partenariat avec un organisme français ou étranger, par exemple). Ces indicateurs, de fréquence variable (cf. tableau), sont à fournir pour tout l’IFP et par direction de recherche. Ce qui rendait certains calculs difficiles : la détermination de l’indice de citation moyen, par exemple.

69

Pour chaque indicateur, une fiche méthodologique, spécifiant entre autres ses modes de calcul et de restitution, ses objectifs, ses biais, etc., a été rédigée. Ces fiches permettent de garantir la répétabilité du calcul des indicateurs.

70

Début 2007, le calcul des premiers indicateurs a été mis en place. Pour que ce calcul soit le plus exact possible, il nous a fallu d’une part récupérer l’exhaustivité des publications, et d’autre part limiter le traitement manuel.

Récupération des données : l’exhaustivité

71

Mettre en place une méthodologie pour récupérer l’exhaustivité de nos publications a été notre premier objectif. En effet, bien que l’IFP ait une procédure de publication « obligatoire », plus de 35 % des publications échappaient à ce processus. Des solutions correctives ont été apportées, de nombreux profils sur bases de données ou chez les éditeurs ont été mis en place.

Alimentation de la base de données interne

72

L’IFP publie en moyenne 700 publications par an, environ un tiers sont des articles parus dans des revues et deux tiers des communications à des congrès ou des posters. Les autres catégories de documents restent très faibles.

73

L’alimentation de la base interne se fait en continu, par trois documentalistes, chacun ayant la responsabilité d’une ou de plusieurs catégories de documents. Tous les mois, je contrôle les données saisies au cours du mois écoulé, des vérifications plus approfondies (notamment la détection d’éventuels doublons) sont faites au moment du calcul des indicateurs trimestriels. Ce travail nous permet de repérer les principales erreurs et d’analyser tous ensemble comment y remédier.

Méthode de calcul

74

Pour limiter les erreurs et répondre rapidement à toutes demandes d’indicateurs, il nous a semblé nécessaire d’adapter notre base interne. En effet, certaines notions nécessaires au calcul des indicateurs manquaient. Il fallait pour les déterminer nous reporter à des listes et croiser manuellement des milliers de données.

75

À titre d’exemple, en 2007, la notion de partenariat français ou étranger était déterminée manuellement. Ce travail prenait plusieurs heures. Il fallait en effet, pour chaque publication, croiser les données d’affiliation du WoS avec nos propres données. Suite à cette première expérience, un champ « Coopération » a été ajouté dans la base interne, qui permet de savoir, par publication, si il y a eu ou non partenariat. L’export de tous les champs sous Excel facilite également calcul et croisement des données.

76

Ces modifications réalisées, le calcul d’un seul indicateur me posait encore problème : l’indice de citation moyen, qui doit être adressé annuellement à chaque direction et concerne l’ensemble des citations des publications des cinq dernières années, indexées dans la base de données WoS. Pour déterminer cet indicateur, il faut faire coïncider les données issues de deux sources différentes : le WoS pour les indices de citation et la base interne pour le nom des directions. Après avoir effectué une fois les calculs à la main, j’ai décidé de chercher une solution pour diminuer aussi bien le risque d’erreur que le temps de traitement.

77

Ayant précédemment travaillé sur les logiciels de gestion de références bibliographiques, l’idée m’est venue d’essayer de les utiliser pour résoudre le problème rencontré. Aidées d’une stagiaire, nous avons cherché les logiciels qui pouvaient récupérer en temps réel les indices de citation et permettaient d’ajouter la notion de direction IFP. Seul EndNoteWeb répondait à ces pré-requis. Des bases de données sont alors créées et continuent à être mises à jour. Grâce à cette méthode, le risque d’erreur lors du calcul est fortement limité ; par contre le gain de temps n’est pas avéré. En effet, si le temps de traitement diminue pour le calcul de cet indicateur (une demi-journée journée actuellement au lieu de quatre jours précédemment), l’alimentation de ces bases nécessite 25 % de temps supplémentaire.

78

Cette nouvelle activité de calcul des indicateurs bibliométriques permet en interne de valoriser le travail des documentalistes puisque, sans leur apport, un tiers des publications ne serait pas comptabilisé et les objectifs fixés pour nos autorités de tutelle seraient difficilement atteints. •

Carte d’identité

L’IFP est un organisme public de recherche et de formation, à l’expertise internationalement reconnue. Sa mission est de développer les technologies et matériaux du futur dans les domaines de l’énergie, du transport et de l’environnement. Il apporte aux acteurs publics et à l’industrie des solutions innovantes pour une transition maîtrisée vers les énergies et matériaux de demain, plus performants, plus économiques, plus propres et durables.

Tableau récapitulatif des indicateurs bibliométriques retenus a l’ifp
79

Pascale Mallaret

Sélectionner des revues pour les chercheurs. L’exemple de l’IGR

80

Retour d’expérience. Sélectionner les périodiques médicaux et scientifiques utiles aux médecins et aux chercheurs est un enjeu majeur pour la bibliothèque médicale de l’Institut de cancérologie Gustave Roussy (IGR). Francine Courtial décrit la méthode utilisée pour élaborer des indicateurs évaluant l’importance des revues, à partir de l’analyse des citations des publications annuelles de l’institut et des statistiques d’utilisation des revues. Cette démarche vise à sélectionner, titre par titre, une collection pertinente de périodiques portant sur les thèmes de la recherche à l’IGR.

Contexte

81

Premier centre européen de cancérologie, l’Institut Gustave Roussy a pour missions de soigner les cancers, de rechercher des thérapies nouvelles et de diffuser les connaissances en cancérologie. L’IGR dispose d’une expertise mondiale en oncologie ; les recherches de ses médecins et chercheurs sont publiées dans les revues internationales et françaises. La bibliothèque médicale élabore une collection de périodiques médicaux et scientifiques, reflétant les thématiques de la recherche et répondant aux besoins des médecins, soignants, chercheurs, étudiants de l’institut.

82

Durant les dernières années, plusieurs évaluations des collections ont été effectuées, utilisant diverses méthodes : enquêtes auprès des lecteurs jusqu’en 1998, analyse des statistiques des photocopies en bibliothèque jusqu’en 2001, et analyse des statistiques d’utilisation des revues électroniques. Ces méthodes évaluent la collection existante, mais non les besoins des utilisateurs. Depuis la transition des revues vers l’électronique, ces critères d’évaluation des périodiques ne sont plus en adéquation avec l’importance des ressources en ligne disponibles, qu’elles soient accessibles en mode ouvert ou payant.

Analyse des citations, des publications et des consultations des revues

83

Les citations bibliographiques des publications institutionnelles indiquent les textes sur lesquels sont fondées les recherches publiées. Elles permettent d’identifier les besoins des médecins et chercheurs concernant les ressources documentaires majeures. Les analyses bibliométriques, réalisées depuis 2003, des citations de l’IGR montrent que, conformément aux lois de la bibliométrie, 80 % des citations bibliographiques sont issues d’un noyau de 20 % environ des revues citées [12][12] F. Courtial, G. Lenoir, « Évaluation d’une collection....

84

Quant à l’analyse des revues sources des publications de l’IGR, elle met en évidence les nouvelles orientations thématiques de la recherche, et aussi les titres utiles pour la diffusion des connaissances et l’enseignement.

85

Par ailleurs, les statistiques des consultations des revues en ligne reflètent l’utilisation effective de la collection actuelle.

86

Le croisement des informations issues de ces trois sources permet d’élaborer un indicateur d’importance de chaque revue.

Deux bases de références bibliographiques

87

Les articles publiés annuellement par les médecins et chercheurs de l’IGR sont recensés à partir de Scopus ou de Web of Science (WoS), bases bibliographiques pluridisciplinaires internationales qui indexent les affiliations de tous les auteurs et co-auteurs des articles publiés. C’est une condition nécessaire pour obtenir un corpus complet des références des publications institutionnelles. Ces bases recensent aussi les citations bibliographiques des articles.

88

Diffusée par Elsevier depuis 2004, Scopus indexe plus de 16.500 revues, propose la plus importante couverture de publications internationales, européennes et françaises notamment. Cette base recense les citations des publications depuis 1996 [13][13] Scopus Facts & Figures, May 2009, http:// info. scopus.....

89

Commercialisée par la société Thomson Reuters, WoS indexe plus de 9.000 revues internationales et nord américaines, principalement en langue anglaise. Cette base s’est imposée en bibliométrie comme première base pluridisciplinaire recensant les citations des articles indexés depuis 1960 [14][14] The Thomson Reuters Journal Selection Process, http://....

90

La couverture des revues indexées n’est pas identique dans les deux bases. Des études comparant, en 2008, le taux de recouvrement de la couverture documentaire de chacune montrent que 7.434 revues sont indexées par les deux bases, et que 6.256 titres de Scopus ne sont pas indexés par WoS alors que 1.467 revues indexées par WoS ne le sont pas par Scopus. Ainsi, 54 % seulement des revues traitées par Scopus se trouvent aussi dans WoS, et 84 % des revues de WoS sont dans Scopus [15][15] Y. Gavel, L. Iselid, « Web of Science and Scopus: a....

Aucune base n’est exhaustive. Il est important de vérifier que la base retenue pour l’analyse prenne bien en compte les revues centrales pour une spécialité.

Un portail d’accès aux ressources documentaires

91

Les collections actuelles de revues sont accessibles en intranet sur l’ensemble du site de l’IGR via le portail d’accès aux ressources A to Z réalisé par Ebsco. Il comprend en 2008 environ 2.000 de revues et livres électroniques, scientifiques et médicaux. Ce portail produit les statistiques d’utilisation des ressources consultées, selon la périodicité choisie, dans un format normalisé.

Méthode

92

Pour obtenir des indicateurs d’évaluation des revues, nous avons mis au point la méthode suivante.

  1. Recensement des références des articles institutionnels, publiés l’année précédente, avec leurs citations, en utilisant les bases Scopus et/ou WoS.

  2. Recueil des données statistiques des revues sources des citations bibliographiques récentes des articles :

    • avec Scopus : sélection en quelques clics ds citations bibliographiques récentes pour obtenir le tableau d’analyse des revues avec leurs données chiffrées. Sélection du tri alphabétique des titres de revues pour collecter les données chiffrées des revues citées (dans la limite de 160 titres par tableau) ; les citations peuvent aussi être exportées dans un tableur par lot de 2.000 notices ;

    • avec WoS : exportation dans un tableur des références bibliographiques des articles avec leurs citations, par lot de 500 références ; tri des citations par revue, sélection des années pertinentes, et comptage à l’aide d’une macro. Une certaine habileté à manipuler les tableurs est nécessaire pour réaliser les tris par document puis par année et les comptages.

  3. Recueil des données statistiques des revues sources des publications institutionnelles.

  4. Recueil des statistiques des consultations annuelles des revues en ligne.

  5. Enregistrement dans un tableur des données chiffrées des citations, des publications et des consultations.

  6. Attribution d’un rang de classement à chaque revue, selon les occurrences décroissantes de chaque type de données.

  7. Attribution à chaque revue d’un indicateur d’importance selon les classements.

  8. Délimitation d’un noyau des revues majeures avec cet indicateur.

  9. Élaboration d’un tableau synthétisant les indicateurs, les informations éditoriales et commerciales et les éventuels commentaires des utilisateurs.

  10. Sélection des revues à souscrire en abonnement, en fonction des ressources budgétaires.

La technique utilisée actuellement est fondée sur le recensement des citations de moins de trois ans, issues des publications annuelles de l’IGR, via Scopus, qui propose une large couverture internationale et européenne et répond bien aux besoins de la recherche en cancérologie. Ses fonctionnalités d’analyse bibliométrique font gagner du temps. Le tableau d’analyse des ressources avec les données chiffrées de chaque revue est réalisé en quelques clics, en temps réel.

Carte d’identité

Premier centre européen de lutte contre le cancer, l’Institut Gustave-Roussy (IGR) réunit sur le même site près de 2.500 hommes et femmes dont les missions sont de soigner les personnes atteintes de cancer, de chercher et de mettre au point des thérapies nouvelles, et de diffuser les connaissances dans les communautés médicales et scientifiques, françaises et internationales.

Résultats

93

Scopus recense un corpus de 602 articles publiés par l’IGR en 2008, dans 250 revues, comprenant 3.000 citations bibliographiques récentes, de moins de trois ans, publiées dans 568 titres de revues. 277 revues sont citées plusieurs fois, avec un maximum de 175 citations pour une revue. Les classements des revues, par ordre décroissant de citations, publications et utilisations, permettent d’attribuer à chaque revue un indicateur d’importance.

Conclusion

94

L’analyse bibliométrique des citations des publications annuelles des médecins et chercheurs permet d’évaluer les revues dont ils ont besoin pour la recherche en cancérologie. Elle permet de classer les revues citées, par ordre décroissant d’importance, et d’établir une collection pertinente. Par ailleurs, les statistiques des consultations des revues auxquelles nous sommes actuellement abonnés pondèrent ces données : elles révèlent l’utilisation de revues peu citées, notamment en langue française, pertinentes pour l’enseignement à l’IGR.

95

Ainsi, la mise en place d’indicateurs d’importance des revues permet de réaliser des choix justifiés, pour élaborer une collection des périodiques pertinents, titre par titre, modulable en fonction des attributions budgétaires. •

96

Francine Courtial

Notes

[1]

Md$ PPA : million de dollars en parité de pouvoir d’achat, une unité qui permet de comparer des dépenses entre pays différents.

[3]

De l’anglais Strengths (forces), Weaknesses (faiblesses), Opportunities (opportunités), Threats (menaces),

[6]

Marie Boas Hall, Henry Oldenburg. Shaping the Royal Society, Oxford University Press, 2002, p. 84.

[7]

Paul G. Hare, « L’exercice d’évaluation de la recherche au Royaume-Uni, son impact sur les établissements, les départements et les personnes », Politiques et gestion de l’enseignement supérieur, 2003, vol. 15, n° 2, p. 47-69.

[8]

Voir le site du RAE : www. rae. ac. uk

[9]

Vincent Larivière, Éric Archambault, Yves Gingras, Étienne Vignolas-Gagné, « The Place of Serials in Refeencing Practices : Comparing natural Sciences and Egineering with Social Sciences and Humanities », Journal of the American Society for Information Science and Technology, June 2006, vol. 57, n° 8, p. 997-1004.

[12]

F. Courtial, G. Lenoir, « Évaluation d’une collection de revues : identification d’un noyau de revues en cancérologie ». Revue électronique suisse de science de l’information, 2006, n° 3, http:// campus. hesge. ch/ ressi/ Numero_3_mars2006/ articles/ PDF/ RESSI_015_FCGL_Evaluation. pdf.

[15]

Y. Gavel, L. Iselid, « Web of Science and Scopus: a journal title overlap study », Online Information Review, 2008, vol. 32, n° 1, p. 8-21.

Résumé

English

Changes in how we relate to end-usersTo open our dossier on research indicators and library policy, we need to shed some light on the context of this question. G. Filliatreau examines the place of French research on the international scene as seen through the ranking systems. She describes the reforms underway in the French system of research and innovation that aims to “adapt to a more open world”. Because research now takes place in an era of rankings, all participants must be accountable for how they use these.

Español

Investigación y documentaciónPara abrir este dosier sobre los indicadores de la investigación y la política documental, hace falta aclarar el contexto en el que se encuentra esta problemática. Ghislaine Filliatreau examina el lugar que ocupa la investigación francesa en el escenario internacional a través de los indicadores de referencia. Presenta la reforma actual de nuestro sistema de investigación e innovación que aspira a “adaptarlas a un mundo más abierto”. De ahora en adelante, la investigación vive en la era de los indicadores, del (buen) uso del que todos los actores se deben sentir responsables.

Deutsch

Forschung und dokumentationZum Einstieg in dieses Dossier über die Indikatoren der Forschung und der Dokumentationspolitik ist es nötig, den Kontext zu beleuchten, in dem diese Problematik steht. G. Filliatreau untersucht den Platz der französischen Forschung auf der internationalen Ebene mit Hilfe von Referenzindikatoren. Sie stellt die derzeitige Reform des Systems der Forschung und Innovation dar, die es einer „offeneren Welt“ anpassen möchte. Die Forschung lebt jetzt im Zeitalter der Indikatoren, von deren (guter) Nutzung alle Akteure Rechenschaft ablegen müssen.

Plan de l'article

  1. Le système français de recherche et d’innovation à l’ère des indicateurs
    1. La place de la France sur la scène internationale
    2. La réforme du système français de recherche et d’innovation
    3. Le « nouveau management public » et l’ère des indicateurs
    4. L’expérience de l’OST
    5. Du (bon) usage des indicateurs
  2. Les systèmes d’évaluation de la recherche
    1. Les publications dans les revues savantes
    2. L’originalité et la qualité des enseignants-chercheurs
    3. La révision des programmes de formation et des activités des départements disciplinaires
    4. L’évaluation des universités
    5. L’évaluation des revues savantes
  3. Mise en place d’indicateurs de la production scientifique. L’exemple de l’INRIA
    1. Les indicateurs LOLF
    2. Les indicateurs du contrat quadriennal de l’INRIA
  4. Le rôle des documentalistes dans la production d’indicateurs. L’exemple du LAAS-CNRS
    1. La participation des documentalistes
    2. Les premiers indicateurs du LAAS-CNRS
    3. Le développement des indicateurs
  5. L’élaboration d’indicateurs bibliométriques. L’exemple de l’IFP
    1. Choix des indicateurs
    2. Récupération des données : l’exhaustivité
    3. Alimentation de la base de données interne
    4. Méthode de calcul
  6. Sélectionner des revues pour les chercheurs. L’exemple de l’IGR
    1. Contexte
    2. Analyse des citations, des publications et des consultations des revues
    3. Deux bases de références bibliographiques
    4. Un portail d’accès aux ressources documentaires
    5. Méthode
    6. Résultats
    7. Conclusion

Pour citer cet article

Filliatreau Ghislaine, Gingras Yves, Bretin Marie-Laure, Bergez Anne, Mallaret Pascale, Courtial Francine, « Recherche et documentation », Documentaliste-Sciences de l'Information, 4/2009 (Vol. 46), p. 30-43.

URL : http://www.cairn.info/revue-documentaliste-sciences-de-l-information-2009-4-page-30.htm
DOI : 10.3917/docsi.464.0030


Article précédent Pages 30 - 43 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback