Accueil Revues Revue Numéro Article

Documentaliste-Sciences de l'Information

2009/4 (Vol. 46)

  • Pages : 80
  • DOI : 10.3917/docsi.464.0044
  • Éditeur : A.D.B.S.

ALERTES EMAIL - REVUE Documentaliste-Sciences de l'Information

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Article précédent Pages 44 - 59 Article suivant

Tendances actuelles en bibliométrie : panorama des ressources, évolution, perception

1

Panorama. De quelles bases de données et de quels outils d’exploitation disposons-nous pour analyser la production des chercheurs et bâtir des indicateurs pertinents ? Manuel Durand-Barthez analyse les principales ressources bibliographiques et logicielles actuellement utilisées en bibliométrie pour évaluer la recherche – des plus connues comme Web of Science, Journal Citation Reports, Scopus, Scholar Google ou Harzing PoP aux plus récentes ou confidentielles comme Citebase, Citeseer, Sigaps, Scimago ou Eigenfactor.

Bibliométrie et bibliographie

2

Les bases de données bibliographiques classiques conçues à la fin des années soixante (exemples : Pascal, Inspec, Medline etc.) ne sont dotées que depuis peu d’une indication relative au nombre de citations générées par un article, assorti des hyperliens appropriés. Cette indication ne correspond pas à leur vocation initiale et principale : il s’agit de plates-formes « neutres », non inféodées à un éditeur commercial (comme l’est par exemple ScienceDirect), couvrant une multitude de sources et pour la plupart structurées (index, arborescences, etc.) en vue de permettre une interrogation fine sur des noms communs, essentiellement des noms de sujets.

3

À l’extrême opposé, le Web of Science (WoS) de l’Institute for Scientific Information (ISI) apparaîtra inapproprié à l’interrogation raisonnée par sujets et sera plutôt axé sur la recherche par noms propres (auteurs, laboratoires, adresses, etc.). L’usage « détourné » du WoS (conçu comme une base bibliométrique et un outil statistique d’évaluation) à des fins de recherches par sujets en vue de constituer une bibliographie est fréquent mais, compte tenu de l’absence de langage contrôlé, pas franchement recommandable.

4

Scholar Google se présente comme un outil hybride (bibliographie plus citations) dont nous développerons en détail quelques caractéristiques.

Nous le verrons dans l’échantillonnage panoramique des outils, l’importance prise peu à peu par le phénomène de la citation introduit néanmoins des nuances dans cette dichotomie bibliographie/bibliométrie. De même que le WoS bibliométrique peut être « récupéré » à travers un usage bibliographique, la bibliographie Medline le sera par des systèmes spécifiques d’évaluation des centres hospitaliers comme Sigaps. De même Scopus (d’Elsevier), par le biais du Citation Tracker et de Scimago, permet d’évoluer de la base purement bibliographique à l’usage bibliométrique. Les contraintes de l’évaluation, qui pèsent à la fois sur les modes de production et d’exploitation de la littérature, imprègnent notablement et durablement les outils de recherche bibliographique ainsi que leur usage.

Modalités de calcul

5

Du panorama des méthodes exploitées en bibliométrie, il ressort généralement que l’algorithme utilisé peut être :

  • simple, en n’utilisant de façon brute que l’environnement immédiat d’un article, d’une revue, de la bibliographie d’un auteur ou d’un corpus de catégorie de sujet (WoS, Journal Citation Reports [JCR], facteur H, etc.). Simplicité qui accroît la vitesse de calcul et d’exploitation, facilitant la tâche des instances administratives ;

  • complexe en utilisant :

  1. le principe de la marche aléatoire (random walk associé au weighted PageRank, algorithme de Larry Page pondéré, apparenté à celui qu’utilise Google pour le classement des sites) afin d’aller le plus loin possible au-delà de l’environnement immédiat d’un article ou d’une revue (Eigenfactor, réseaux de co-citations, etc.),

  2. l’analyse en parallèle des processus de déchargement précédant les citations (Citebase, Citeseer, etc.).

Ces algorithmes s’appliquent à :

  • une zone géographique ou une entité,

  • une catégorie de sujet,

  • une publication en série,

  • un article issu de cette publication,

  • un (co-)auteur de cet article.

Ils donnent corps à des logiciels associés à des bases ou des réservoirs :

  • fermés avec mises à jour périodiques : WoS, Scopus, Medline. S’ensuit une analyse rigoureuse parce que circonscrite à un corpus d’items défini ;

  • ouverts de type OAI. Le moissonnage est étendu mais les modalités d’analyse n’offrent pas les mêmes critères de rigueur qu’en milieu fermé.

On peut ainsi définir des associations entre logiciels et réservoirs : ESI / WoS, Harzing POP / Scholar Google, Sigaps / Medline, Eigenfactor / JCR, Scimago / Scopus, Citebase / OAI, Citeseer / OAI. Toutefois un logiciel peut aussi être relié à une base sans en être indissociable, comme GRAAL (Gestion de la recherche, application concernant les activités des laboratoires) [1][1] www. amue. fr/ recherche/ logiciels/ graal, outil de gestion locale d’une institution, d’une part, et HAL (Hyper articles en ligne) [2][2] http:// hal. archives-ouvertes. fr, réservoir national, d’autre part.

Principaux réservoirs de données et logiciels associés

Essential Science Indicators et Web of Science

6

Le Web of Science a été créé par l’Institute for Scientific Information (ISI, Philadelphie), sur une initiative d’Eugene Garfield amorcée dès 1961. Cette base a été reprise par le groupe Thomson-Reuters. Le WoS comprend deux éléments.

7

La première composante concerne les articles (citations) et les auteurs (facteur H). Elle est subdivisée en trois bases à vocation disciplinaire :

  • le Science Citation Index (SCI) : dévolu au corpus STM (titres en sciences, technologie, médecine). Dans la mesure où l’article de périodique est le support de publication le plus fréquent, pour ne pas dire normatif, en sciences exactes et appliquées, le SCI est pleinement exploité par les instances administratives pour évaluer les équipes de recherche ;

  • le Social Science Citation Index (SSCI) : en sciences sociales, le rôle des articles de périodiques n’a pas valeur de quasi-monopole comme en STM. La monographie prend, surtout en France, une part plus importante et n’est pas prise en compte par le SSCI. On y perd donc en finesse dans l’analyse globale ;

  • le Arts & Humanities Citation Index (AHCI) : en sciences humaines, particulièrement en France, la monographie joue un rôle prépondérant. L’AHCI est mieux adapté aux pratiques anglo-saxonnes plus promptes à évoluer dans le domaine de la publication périodique.

La seconde composante du WoS est relative aux supports de ces publications, à savoir les titres de périodiques ou de colloques, avec leurs facteurs d’impact : c’est le Journal Citation Reports (JCR) qui existe depuis 1975.

8

Le facteur d’impact représente, pour une année donnée (celle de l’édition du JCR consultée), à partir du corpus de titres analysés par le JCR (soit environ 6.650 en STM, par exemple), le rapport entre le nombre de citations des articles d’un journal par les revues du corpus et le nombre d’articles publiés par ce journal, sur une période de référence de deux ans (l’année de l’édition du JCR consultée et celle qui la précède).

À noter que l’Observatoire des sciences et des techniques (OST) élabore ses indicateurs [3][3] www. obs-ost. fr/ fr/ comprendre-les-indicateurs/ presentation-detaillee.... en puisant des données du WoS. Il répartit les publications en neuf grandes disciplines académiques qui sont elles-mêmes issues des 107 subject categories du Journal Citation Reports. Le calcul effectué par l’OST en aval [4][4] OST Observatoire des sciences et des techniques, Mémento... est soit un calcul de présence, chaque entité étant comptée dans les zones d’adresses, y compris de façon répétitive dans le cadre des unités mixtes de recherche (UMR) ; soit un calcul fractionnaire, chaque entité étant comptée au seul prorata de sa contribution effective.

Web of science

Producteur : Institute for Scientific Information (ISI, Philadelphie)

Adresse : http:// isiknowledge. com

Mode d’accès : sur abonnement

Description : bibliographie depuis 1900 (environ 45 millions de références, dont 25 millions antérieures à 1996, visibilité en fonction de l’étendue chronologique et financière de l’abonnement), liens vers les citations, analyse statistique sur les auteurs (dont facteur H) et leurs articles.

Contenu : comprend trois bases :

  • Science Citation Index (SCI) : 6.650 titres en sciences, technologie et médecine

  • Social Science Citation Index (SSCI) : 2.000 titres en sciences sociales

  • Arts & Humanities Citation Index (AHCI) : 1.150 titres en sciences humaines

Journal citation reports (JCR)

Producteur : Institute for Scientific Information (ISI, Philadelphie)

Adresse : http:// isiknowledge. com

Mode d’accès : sur abonnement

Description : http:// science. thomsonreuters. com/ ? m/ pdfs/ mgr/ jcr_qrc_fr. pdf. Plaqué sur le Web of Science. Analyse depuis 1972 les facteurs d’impact des revues agréées par l’ISI. L’abonnement donne accès aux quatre dernières années.

Contenu : comprend deux sections disciplinaires :

  • 6.598 titres en sciences exactes et appliquées (2008)

  • 1.980 titres en sciences sociales (2008)

Eigenfactor

Producteur : Carl Bergstrom, département de biologie de l’Université de Washington

Adresse : http:// eigenfactor. org

Mode d’accès : gratuit

Description : plaqué sur le Journal Citation Report.s. Analyse depuis 1995 les facteurs d’impact des revues agréées par l’ISI, suivant la méthode du weighted PageRank (PageRank pondéré, traçabilité des sources citantes) exécuté sur cinq ans. Accès à l’ensemble de la couverture chronologique, sciences exactes et appliquées et sciences sociales.

9

Un certain nombre de critères sont susceptibles d’infléchir notablement la justesse des résultats bruts et non modulés du WoS :

  • le calcul sur deux ans : il n’est pas forcément le plus adapté à toutes les spécialités. Certaines peuvent mieux supporter cinq ans de délai ; notamment parce que la nature des articles publiés possède un caractère plus pérenne et plus fondamental, appréciable (et donc « citable ») sur une plus longue durée ;

  • la plus ou moins grande périodicité des revues : 2 ou 52 numéros par an ?

  • le nombre d’articles par numéro ;

  • le changement de titre (et d’ISSN) en cours d’année ;

  • le nombre de textes de type review ;

  • la langue, l’alphabet ;

  • l’importance des autocitations : encore faut-il ici faire le départ entre les autocitations d’« excellence » (on s’« auto-cite » parce qu’objectivement on se distingue dans le domaine au niveau international) et les autocitations de complaisance.

Les modalités de calcul révèlent aussi certaines failles [5][5] Voir aussi : « Errors in citation statistics », Nature,... :

  • le résultat brut issu du JCR se limite au comptage global des citations d’une revue au premier degré ;

  • on ignore la notoriété des revues citantes, ou la proportion de reviews (donc de publications ne rendant pas compte d’innovations scientifiques, n’étant pas issues directement de travaux) incluses dans le référent ;

  • on se trouve dans le contexte d’un calcul en « première couronne », excluant la traçabilité des revues citantes ;

  • l’impact relève plus du quantitatif que du qualitatif, de la popularité que du prestige, au sens du Journal Status de l’équipe de Bollen à Los Alamos [6][6] Johan Bollen, Marko A. Rodriguez, Herbert Van de Sompel,....

Au WoS est associé un logiciel permettant à une institution d’évaluer sa production : ESI-Essential Science Indicators. ESI est fondé sur trois éléments de base (baselines) :

  • les taux moyens de citation (average citation rates). Ils sont calculés dans chaque discipline et pour chaque année de la période de dix ans sur laquelle repose ESI. Ils sont fondés sur une accumulation des citations à partir de la date de publication jusqu’à l’année courante ;

  • les seuils de citation (percentiles) auxquels ou au-dessus desquels des ensembles donnés d’articles d’une certaine discipline doivent se trouver ;

  • le nombre total d’articles et de citations dans les 22 disciplines constitutives de la base Highly Cited de l’ISI qui recense les chercheurs les plus cités dans le WoS (field rankings).

L’ESI est localement utilisé par certaines institutions. Produit « clé en main » ou « propriétaire », spécifique du WoS, il effectue sur le corpus d’une entité des calculs qui facilitent en partie l’évaluation de celle-ci, mais il incite fréquemment les opérateurs à effectuer une révision ou un contrôle de routine sur les chiffres obtenus. Autant par sécurité que par nécessité.

Harzing POP et Scholar Google

10

Le 17 octobre 2006, la néerlandaise Anne-Wil Harzing, enseignante en management international, actuellement en poste à Melbourne (Australie), lance la version 1.0 de son logiciel Harzing PoP (Publish or Perish). Celui-ci s’applique à la base Scholar Google. À partir d’un item de référence (« Journal » ou « Auteur »), il calcule les paramètres classiques dont le facteur H [7][7] Le « facteur H » a été conçu par le physicien Jorge... avec en plus le facteur G [8][8] Le « facteur G » est calculé comme le plus grand nombre... et de nombreux facteurs de pondération du Htenant compte du nombre d’auteurs et de l’ancienneté de l’article. Défaut rédhibitoire : le manque de fiabilité généré par des requêtes automatisées sur Scholar Google avec une syntaxe et une comptabilité de citations souvent approximatives. En dépit de cette observation objectivement restrictive, Harzing PoP est recommandé par la plupart des instances comme étant pratiquement le seul outil d’évaluation adéquat en sciences humaines.

11

Scholar Google a été lancé en novembre 2004. Il porte à la fois sur des éditeurs commerciaux et sur l’OAI. Sa couverture est inconnue et mouvante. Il affiche les scores de citations avec un certain désordre. Il est dépourvu de modules d’analyse sophistiqués de type ISI. Sa syntaxe d’interrogation est libre et hasardeuse pour un utilisateur peu soucieux des aléas suscités par les séquences de caractères, notamment dans l’utilisation des initiales de prénoms. À noter que, avant les développements de Scopus et l’insertion des communications de colloques spécialisés en informatique dans le WoS en 2008, les informaticiens ont vanté les mérites de Scholar Google [9][9] Que mesurent les indicateurs bibliométriques ? Document... comme source privilégiant l’évaluation de leur domaine. L’INRIA avait d’ailleurs incité l’INIST à souscrire une convention pour un lien vers cette base.

Scholar Google

Producteur : Google

Adresse : http:// scholar. google. fr

Mode d’accès : gratuit

Description : réservoir bibliographique lancé par Google en novembre 2004. Articles revus par des comités de lecture, thèses, livres, résumés analytiques, etc. Porte à la fois sur des éditeurs commerciaux et sur l’OAI. Couverture inconnue et mouvante. Liens vers les citations. Dépourvu de modules d’analyse sophistiqués. Pluridisciplinaire.

Harzing PoP (Publish or Perish)

Productrice : Anne-Wil Harzing, Université de Melbourne

Adresse : www. harzing. com/ resources. htm#/ pop. htm

Mode d’accès : gratuit

Description : plaqué sur Scholar Google. Lancé en octobre 2006. À partir d’un item de référence (« Journal » ou « Auteur »), calcule les paramètres classiques dont le facteur H avec en plus le facteur G et de nombreux facteurs de pondération du H tenant compte du nombre d’auteurs et de l’ancienneté de l’article. Outre les sciences exactes et appliquées et les sciences sociales, bonne couverture en sciences humaines.

Sigaps et Medline

12

Sigaps (Système d’interrogation, de gestion et d’analyse des publications scientifiques) [10][10] www. sigaps. fr a été finalisé au centre hospitalier régional universitaire de Lille en 2003 pour l’évaluation des publications émanant des chercheurs travaillant en CHU. Fin 2007, l’application couvrait : 29 CHU, 20 CLCC (centres de lutte contre le cancer), 13 établissements FEHAP (Fédération des établissements hospitaliers et d’aide à la personne), 16 CHG (centres hospitaliers généraux). C’est un enjeu pour ces établissements car Sigaps constitue un des indicateurs essentiels intervenant dans la part modulable de l’enveloppe MERRI (Mission enseignement, recherche, référence et innovation) attribuée par le ministère de la Santé.

13

Il existe trois niveaux d’utilisation de Sigaps : le niveau institutionnel (le CHU), le niveau « responsable de structure » et le niveau clinicien / chercheur.

14

L’évaluation des articles s’effectue selon une échelle à six niveaux fondée sur l’impact factor (IF). Mais l’IF varie fortement d’une catégorie de sujet à une autre ; d’où une classification statistique, par discipline, en cinq catégories (A à E) correspondant aux percentiles de l’IF. Les revues non recensées par l’ISI (actes de congrès, par exemple) sont affectées à la catégorie NC.

15

Le système agit sur deux plans : individuel (le chercheur) et collectif (le réseau des CHU).

16

Au plan individuel, les auteurs font l’objet d’un classement au sein de chacune des cinq catégories en fonction de leurs publications. La comptabilisation de celles-ci est cumulée d’année en année afin de visualiser leur évolution en temps et en nombre. Les collaborations avec différents laboratoires extérieurs à l’équipe considérée sont recensées. Le taux de textes rédigés en langue anglaise est pris en compte. Le système répertorie les termes MESH (Medical Subject Headings ; indexation de la base Medline) qualifiant les publications afin de mieux cartographier les axes de recherche.

Au plan collectif du réseau, à l’interface des CHU participants, le serveur central détermine les pôles d’excellence et calcule des indicateurs d’activité préconisés au niveau national. [11][11] Voir la note 6.

Eigenfactor et Journal Citation Reports [12][12] http:// info. scopus. com/ etc/ citationtracker

17

Carl Bergstrom, chercheur au département de biologie de l’Université de Washington, développe le principe mathématique du « facteur propre » (eigenfactor) sur le corpus du Journal Citation Reports. Ce facteur ne va pas caractériser une revue en fonction du nombre brut de citations généré par un article sur une période donnée (par exemple deux ans) quelle que soit la « qualité » des revues citantes issues du corpus global du JCR. C’est là le principe classique du facteur d’impact.

18

L’Eigenfactor, au contraire, va suivre le protocole de marche aléatoire défini plus haut afin de déterminer la traçabilité des citations. La revue est citée par une revue qui, elle-même, est citée par d’autres, lesquelles le sont aussi, jusqu’à déterminer un taux de « réputation » significatif. Autrement dit, à l’inverse du principe classique énoncé dans le paragraphe précédent, on ne se contente pas d’une « première couronne » autour de la revue analysée, on va au-delà pour qualifier une chaîne de revues se citant mutuellement ; cette chaîne pourra mettre en évidence ce que l’on nomme en bibliométrie anglo-saxonne le « prestige », par opposition à la « popularité ». Ce second concept se rapporte à des revues que met seul en avant un très grand nombre de citations au premier degré (ou en « première couronne ») sans considérer le réseau (en chaîne et en nœuds) que peut générer une revue analysée, à l’instar des chaînes et nœuds exploités par Google sur le web.

19

L’Eigenfactor ajoute à l’analyse d’une revue un autre critère très important de spécificité : la discipline qu’elle vise, et donc les usages propres à cette discipline en matière de rythme de publication et de citations. Autant de disciplines, autant d’usages ; ce dont le principe classique de l’impact factor ne tient pas compte

20

Begstrom applique son système au fichier du Journal Citation Reports de l’ISI, sur une durée de cinq ans.

21

Ce système facilite grandement la cartographie des axes de recherche d’autant plus que les sciences sociales y sont considérées au même niveau que les sciences exactes et appliquées.

Scimago et Scopus

22

Les universités espagnoles de Grenade, d’Extremadure, Carlos III de Madrid et d’Alcalá de Henares ont mis au point un indice d’évaluation des revues fondé sur le principe de l’Eigenfactor. : le Scimago Journal Rank (SJR). À l’instar du modèle conçu par Bergstrom, plaqué sur le JCR, le SJR s’applique quant à lui à la base de données bibliographique Scopus d’Elsevier.

23

Scopus revendique 15.000 titres de type peer reviewed, constituant de ce fait un réservoir deux fois plus large que le JCR qui sert de souche à l’Eigenfactor. Scopus est doté d’un module spécifique à la base : le Citation Tracker, qui agit sur les articles et leurs auteurs à la manière du Web of Science.

24

Dans la configuration du SJR du projet Scimago, ce sont les revues elles-mêmes qui sont concernées, tout comme dans le JCR de l’ISI et l’Eigenfactor que Bergstrom lui applique. Pour le SJR, il est également fait usage du weighted PageRank, marche aléatoire avec réexécution itérative de cet algorithme, en vue de rendre visible la traçabilité des revues et de mettre en évidence des réseaux. Ceux-ci apparaissent, via le SJR, dans une cartographie par pays, absente du système de Bergstrom.

25

À l’inverse de l’Eigenfactor appliqué sur cinq ans au JCR, le SJR de Scimago ne prend en compte que trois années successives sur Scopus. On pourra le regretter, et estimer que quatre ans auraient constitué un compromis acceptable.

Scopus

Producteur : Elsevier

Adresse : www. elsevier. com/ wps/ find/ electronicproductdescription. cws_home/ 704746/ description#description

Mode d’accès : sur abonnement

Description : bibliographie en sciences exactes et appliquées et sciences sociales. Environ 37 millions de références (dont 18 millions antérieures à 1996), liens vers les citations, analyse statistique sur les auteurs (dont facteur H) et leurs articles.

Contenu :

  • 15.000 titres de revues validées par des pairs, publiées par plus de 4.000 éditeurs

  • plus de 1.000 revues en accès libre

  • plus de 500 comptes-rendus de congrès

  • les entrepôts OAI accessibles sur le Net en général

  • des centaines de millions de pages web scientifiques

  • des dizaines de millions de brevets provenant de cinq offices

Scimago

Producteurs : universités espagnoles de Grenade, Extrémadure, Carlos III (Madrid) et Alcalá de Henares

Adresse : www. scimagojr. com/ index. php

Mode d’accès : gratuit

Description : plaqué sur Scopus (revendique 15.000 titres de type peer reviewed). Analyse depuis 1996 les facteurs d’impact des revues agréées par Scopus suivant la méthode du weighted PageRank (PageRank pondéré, traçabilité des sources citantes) exécuté sur trois ans. Accès à l’ensemble de la couverture chronologique, sciences exactes et appliquées, sciences sociales.

Citebase et OAI

26

Citebase existe depuis 1999 et fonctionne à partir du miroir britannique d’ArXiv (à l’exclusion des 17 autres miroirs) et depuis 2005 sur ECS EPrints et Soton E-Prints. Citebase est diffusé par l’Université de Southampton au Royaume-Uni, tête de pont des Archives ouvertes, gérée par les pionniers de ce protocole. Citebase reprend les références de la base ArXiv, spécialisée dans les domaines de la physique, des mathématiques, des sciences cognitives et de la biologie quantitative.

27

Cette base établit un rapport entre le nombre de fois où un article lisible sur le web est « ouvert » et le nombre de fois où il est cité. Elle analyse le temps de latence situé entre la date d’« ouverture » et la date de « citation ». De ce fait, elle suit le cycle des « avatars » d’un article et de la gerbe d’articles qu’il a pu susciter, en reliant les trois facteurs du nombre d’ouvertures, du nombre de citations et du temps intermédiaire de latence.

28

En outre, elle tient compte du nombre factice de déchargements dus à des « alertes » ou « profils » qui suscitent une ouverture quasi automatique du texte dans les premières 24 ou 48 heures de présence en ligne. Les références bibliographiques déclinées en fin d’articles sont dotées, le cas échéant, d’un lien vers Scholar Google. Son exécution peut échouer, mais éventuellement aboutir si l’on poursuit sur le Google standard. De plus, Citebase gère des listes de co-citations.

29

Cet outil reste expérimental, très utile en appoint de recherche, mais inexploitable sur un plan strictement administratif. Ce n’est d’ailleurs pas son objectif.

Citebase

Producteurs : Stevan Harnad et Tim Brody, Université de Southampton

Adresse : www. citebase. org

Mode d’accès : gratuit

Description : plaqué sur ArXiv (miroir britannique : http:// uk. arxiv. org) depuis 1999, et depuis 2005 sur ECS Eprints (Electronic and Computer Science Eprints, conçu et hébergé par l’Université de Southampton, http:// eprints. ecs. soton. ac. uk/ cgi/ search/ simple) et Soton E-Prints (entrepôt institutionnel propre à la même université, http:// eprints. soton. ac. uk/ perl/ search). Liens vers les citations et les cocitations, analyse statistique et graphique sur les articles, quelques liens sur Scholar Google. Concerne les sciences exactes et appliquées.

Citeseer et OAI

30

Mise au point en 1997 par le NEC Research Institute et diffusée par l’Université de Pennsylvanie (Penn State’s School of Information Sciences and Technology), la base Citeseer est spécialisée en informatique et ses domaines connexes (environ 800.000 références). Elle est construite suivant la même architecture que Citebase. La base initiale Citeseer proprement dite est toujours visible mais caduque. Citeseerx (addition du x final) constitue la version en vigueur. Elle utilise le logiciel SeerSuite, disponible sur SourceForge sous licence Apache. Elle permet de visualiser le contexte dans lequel sont rédigées les citations, dans les « articles citants » eux-mêmes. •

Citeseer[x]

Producteur : Penn State’s School of Information Sciences and Technology, Pennsylvania

Adresse : http:// citeseerx. ist. psu. edu

Mode d’accès : gratuit

Description : modèle identique à Citebase. Concerne l’informatique et les domaines connexes (environ 800.000 références).

31

Manuel Durand-Barthez

JournalBase : un recensement des revues nationales et internationales en SHS

32

Outil. JournalBase a été créé pour étudier les contenus des bases de données (Web of Science et Scopus) et des listes de référence (ERIH et AERES) qui recensent les revues scientifiques en sciences humaines et sociales (SHS). Michèle Dassa et Christine Kosmopoulos présentent ici cette expérience et ses perspectives[*][*] Les auteures remercient Sonia Christon et Gilles Liévin....

33

En 1964, Eugene Garfield, fondateur de l’Institut for Scientific Information (ISI), créait la célèbre base de citations Science Citation Index (SCI). Alors que le SCI donne à peu près satisfaction aux spécialistes des sciences dures, les Art and Humanities Citation Index (AHCI) et Social Sciences Citation Index (SSCI), également créés par ISI et désormais propriété de Thomson Reuters, s’avèrent beaucoup moins fiables pour traiter les publications en sciences humaines et sociales (SHS). Afin de combler ces lacunes, d’autres bases ou listes de référence de revues pour les SHS ont fait leur apparition ces dernières années, notamment Scopus (Elsevier), les listes ERIH et celles de l’AERES. Afin d’étudier la représentativité des revues dans ces différentes bases, nous nous sommes lancées en 2008, avec le soutien du TGE Adonis, dans la création de JournalBase dont l’objectif est de recenser et de comparer les listes de revues indexées dans ces outils bibliométriques.

La question bibliométrique en SHS

34

Par bibliométrie, on entend « l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication[13][13] A. Pritchard, « Statistical bibliography or bibliometrics »,... ». Appliquée au domaine des sciences, elle permet de mesurer la qualité du travail des chercheurs et le rayonnement des revues dans lesquelles ils publient, en s’appuyant sur des indicateurs chiffrés produits à partir des bases de données de citations. La pression des décideurs a donné lieu depuis 2004 à la mise au point de toute une série d’indicateurs qui, à côté de l’évaluation par les pairs, contribuent pour certaines disciplines, comme la médecine, à la prise de décision lors de l’évaluation scientifique.

35

La question de l’application de ce modèle pour évaluer la production en SHS se pose de façon récurrente depuis plusieurs années et cela dans l’ensemble de la communauté internationale. Au CNRS, une tentative d’application a eu lieu lors du rendu des rapports quadriennaux pour la période 2006-2009, où il était demandé à chaque chercheur et enseignant-chercheur de l’unité mixte de recherche (UMR) concernée d’entrer un certain nombre d’indicateurs à partir des bases de données du Web of Science (WoS) ou, le cas échéant, de Publish or Perish (PoP). Force est de constater que les deux bases de citations du WoS propres aux sciences humaines et sociales – SSCI et AHCI – offrent une couverture très incomplète des revues dans ces disciplines ; ce déficit est particulièrement évident pour les revues non anglophones. Toutefois le recours, suggéré par le CNRS, à l’outil bibliométrique PoP qui recense à partir de Google Scholar une plus grande diversité de publications, présente des inconvénients majeurs [14][14] Lire à ce sujet le témoignage de Christine Kosmopoulos,....

Le projet JournalBase

36

Une première tentative en 2007, sur huit disciplines [15][15] Cette expérience a réuni Véronique Ginouvès (anthropologie),..., a fait apparaître de nombreuses difficultés pour obtenir une liste exhaustive des revues. Afin d’apporter des données concrètes et d’éclairer les débats en cours sur l’évaluation bibliométrique en SHS, il nous a semblé indispensable de faire un recensement le plus exhaustif possible du contenu des outils bibliométriques existants pour ces disciplines. Aussi, fin 2007, nous avons répondu à un appel à projets du TGE Adonis [16][16] « Évaluation des principaux outils bibliométriques.... Notre projet a été retenu et a reçu un financement pour 2008 et 2009. Son objectif est de faire une comparaison systématique des bases de données et listes d’autorité de revues nationales et internationales qui sont apparues pour les SHS (Web of Science, Scopus, ERIH, AERES) afin d’évaluer la représentativité de ces sources pour les revues selon les disciplines.

Les résultats sont destinés à la communauté scientifique internationale en SHS, mais également aux organismes scientifiques européens et internationaux (comme l’ESF [17][17] L’European Science Foundation (ESF) est une association..., l’OST [18][18] Observatoire des sciences et techniques. Voir pages..., l’OST du Canada), aux experts en IST, aux producteurs de l’information scientifique de manière très large (éditeurs commerciaux, éditeurs de revues en accès libre) et aux instances d’évaluation nationales : Comité national du CNRS (CN), Conseil national des universités (CNU), Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES), Agence nationale de la recherche (ANR).

Pour en savoir plus sur JournalBase

Michèle Dassa et Christine Kosmopoulos. « JournalBase – Une étude comparative internationale des bases de données des revues scientifiques en sciences humaines et sociales (SHS) ». Cybergeo : European Journal of Geography [en ligne], Dossiers, Les revues en sciences humaines et sociales. Mis en ligne le 25 juin 2009. www. cybergeo. eu/ index22492. html

Périmètre de l’étude

37

Notre étude porte sur deux des trois bases de citations que comprend le WoS : les SSCI (2.013 revues) et AHCI (1.168 revues) qui représentent environ 3.000 titres sur un total d’environ 11.000 revues pour l’ensemble des trois index. Ces deux bases comportent des titres communs.

38

Très récemment, en 2004, une seconde base de citations, Scopus, a été développée par le groupe d’édition Elsevier pour concurrencer Thomson Scientific. Le nombre de revues affiché sur le site de Scopus, recensées en sciences sociales, est d’environ 6.200 titres sur plus de 22.000 déclarés par l’éditeur.

39

Dans les deux cas, l’accès à ces bases de données privées est payant et se négocie (au prix fort) au niveau de la direction des organismes de recherche et des bibliothèques universitaires. Il est donc important, de ce point de vue aussi, d’en connaître la couverture exacte.

40

En réaction à l’hégémonie du WoS et devant l’absence de représentativité des revues en SHS non anglophones, la Fondation européenne de la science (ESF), en collaboration avec le consortium HERA [19][19] Humanities in European Research Area (HERA) est un..., s’est lancée de son côté dans le recensement des revues européennes en SHS et a publié en 2007, puis en 2008, des listes de revues (European Reference Index for the Humanities, ERIH) pour les sciences humaines comprenant environ 5.000 titres. Une autre liste pour les sciences sociales est en cours de réalisation.

41

Du côté national, en juillet 2008 c’est au tour de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) de publier des listes de revues SHS, environ 6.000.

42

Les listes ERIH et celles de l’AERES ne s’accompagnent pas pour l’instant d’outils bibliométriques.

43

Ce sont donc ces cinq sources que nous nous sommes proposé d’évaluer et de comparer. Nous n’avons pas intégré les données issues de Google Scholar (GS) et de PoP, car ces outils nécessitent une méthodologie d’étude spécifique. La recherche et les résultats publiés s’appuient sur les données fournies en 2008 par ces différentes sources.

État des lieux

44

Une fois l’ensemble des documents réunis (WOS/AHCI, WOS/SSCI, Scopus/Social Sciences, ERIH, AERES), nous avons été amenées à faire un état des lieux sur les données à traiter. Outre les nombreuses erreurs de saisie recensées, notre principal constat a été celui d’une forte hétérogénéité des différentes sources tant en termes de présentation (les formats des fichiers étaient en Excel, en Pdf, en Html) que dans la nature des informations recensées dans chacune des bases (selon le cas ISSN, pays, éditeur, etc.). Aucun consensus non plus pour les mots clés utilisés pour l’indexation.

45

Dans le WoS, tous les mots clés sont réunis dans le même champ, l’indexation est multivaluée ; les revues sont indexées avec 96 mots clés différents dans la base AHCI et 190 dans le SSCI ; chaque revue peut être indexée par 7 mots clés au maximum. Dans Scopus, par contre, chaque mot clé est dans un champ différent et il peut y avoir jusqu’à 14 niveaux d’indexation. Cette base comporte 5 top level, dont l’un, Social Sciences, comporte 14 niveaux d’indexation différents et 199 mots clés ; il faut savoir que, dans cette base, les sciences humaines sont une sous-catégorie de Social Sciences. Pour ERIH et l’AERES, il n’y pas de mots clés, il s’agit de listes regroupées par thématiques.

Méthodologie

46

Devant les difficultés à traiter ces données de manière comparative, nous avons été amenées à développer une méthodologie adaptée. La première étape de réalisation de l’étude est passée par l’adoption d’une nomenclature disciplinaire commune. Il a fallu choisir… Pour les SHS, il existe au bas mot une vingtaine de listes disciplinaires (SSCI, AHCI, Scopus, ERIH et AERES, mais aussi celles du CNU, du Comité national du CNRS, des archives ouvertes HAL, de l’INIST, de l’ESF, etc.).

47

Après une étude critique, nous avons finalement opté pour la classification européenne de l’ESF car celle-ci présente l’avantage de dépasser le niveau national tout en étant assez proche des spécialisations françaises. Nous avons traduit en français et adapté cette classification de l’ESF pour obtenir 27 catégories [voir le tableau ci-contre].

Nous avons ensuite créé une table de correspondance et réparti dans les 27 catégories ci-dessus les 514 mots clés recensés dans nos cinq sources.

Difficultés rencontrées

48

Le choix d’une classification pose de nombreux problèmes. En effet, selon les pays et les sources étudiées, les classifications par discipline ne recouvrent pas les mêmes notions ni les mêmes périmètres. La classification en 27 catégories dans JournalBase est donc à prendre avant tout comme un instrument méthodologique sans lequel l’étude n’aurait pas été possible.

49

La difficulté épistémologique se double des choix techniques faits par les documentalistes ou éditeurs de ces bases. À titre d’exemple, l’archéologie est répertoriée de manière distincte dans les classifications WoS, Scopus et ERIH mais est fusionnée avec l’histoire pour la liste AERES. L’histoire ne recouvre donc pas tout à fait le même périmètre dans les quatre outils.

50

Certaines incohérences également dans le classement des disciplines de Scopus ont rendu notre travail très difficile et ne nous permettent pas de garantir un recensement exhaustif de cette base. De plus, on peut observer dans les résultats de JournalBase des confusions dans l’indexation des revues que nous n’avons volontairement pas rectifiées [20][20] Nous avons rencontré des représentants d’Elsevier à....

51

Par ailleurs, les mises à jour des outils ne sont pas toujours mentionnées. C’est le cas notamment de l’AERES à laquelle nous avons demandé, sans succès, d’afficher les dates de mise à jour sur ses pages web. On retrouve toujours la mention du 28/07/2008 (date de la première mise en ligne) alors que nous avons constaté des changements effectués bien après cette date.

Résultats

52

Le 25 juin 2009, nous avons publié un premier état arrêté fin 2008 de JournalBase dans la revue électronique en libre accès Cybergeo. Ce fichier est en Pdf et téléchargeable sur le site. Il comprend plus de 21.000 entrées et près de 10.000 titres de revues différents. Les revues sont présentées avec leur source et leurs thématiques. Les doublons ont été supprimés.

53

Pour l’instant, le classement des revues dans le Pdf de JournalBase n’est pas par ordre alphabétique. En effet, il est le résultat de tableaux croisés qui ne peuvent pas être triés simplement ; la mise en ordre sera réalisée ultérieurement. Les différentes orthographes ou différentes casses affichées sont l’exacte reproduction de ce qui a été recueilli dans la source d’origine.

Les 27 categories de la classification de JournalBase

Conclusion

54

Il est ainsi difficile de tirer, à ce stade, une conclusion sur l’aspect représentatif des bases pour les revues en SHS. On obtient des résultats différents selon les disciplines. On peut toutefois observer que l’argument commercial parfois entendu selon lequel la base Scopus serait plus adaptée que le WoS pour évaluer les travaux des chercheurs en SHS ne s’est pas encore vérifié. La couverture la plus large en termes de nombre de revues, et notamment européennes, est sans aucun doute celle d’ERIH, mais elle ne concerne que les humanities.

55

Notre volonté est désormais d’avancer dans la mise à jour pour 2009 de JournalBase et dans la réalisation d’une plate-forme collaborative, en version bilingue anglais/français, qui comprendra l’accès dynamique à la base de données, afin de permettre une veille internationale sur ces informations. L’objectif est également de créer un espace de débat qui s’appuie sur des informations et une bibliographie validées par la communauté scientifique, afin que les décideurs, les scientifiques, les experts de l’information scientifique disposent d’informations à jour et que, par l’échange d’expériences et de bonnes pratiques d’utilisation, ils puissent contribuer à faire avancer la réflexion sur ces questions. •

56

Michèle Dassa et Christine Kosmopoulos

La recherche d’experts à l’aide du WoS

57

Retour d’expérience. Comment identifier les experts d’un sujet très pointu ? Catherine Gontharet décrit et illustre la démarche qu’elle a mise au point à l’aide du Web of Science.

58

Des outils end-user, une nécessité. Dans l’industrie, les chercheurs ont de plus en plus besoin d’utiliser des technologies ou techniques pour lesquelles ils ne possèdent pas eux-mêmes d’expertise. Avec l’aide des professionnels de l’information, ils vont identifier les experts dans les domaines concernés.

59

Les serveurs comme Dialog ou STN permettent d’interroger un grand nombre de banques de données bibliographiques (articles et brevets) afin de réaliser cette recherche. Toutefois, l’analyse des résultats est complexe et nécessite une formation spécifique. Les chercheurs ont besoin d’outils qui leur permettent d’identifier rapidement et simplement les centres d’expertise dans leur domaine d’étude.

60

En tant que documentaliste dans un département de chimie analytique, je reçois souvent des demandes d’identification d’experts de techniques d’analyse. Cette démarche permet d’une part de mettre en place des profils de surveillance afin de suivre les avancées d’une méthode d’analyse dans le temps, et d’autre part d’aider dans le choix de partenaires éventuels. Comme, dans notre domaine, peu de demandes de brevets sont déposées, la recherche via l’outil end-user Web of Science [21][21] www. thomsonreuters. com/ products_services/ science/... (WoS) dans la banque de données Science Citation Index Expanded semble appropriée.

Définir une démarche

61

J’ai ainsi traité une recherche d’experts avec le WoS en utilisant une démarche simple et rapide que je pourrai diffuser aux chercheurs. L’expert est principalement identifié par son investissement et l’influence de ses travaux dans le domaine d’intérêt. Pour cette évaluation, j’ai déterminé le nombre de ses publications et leur impact révélé par le h-index [22][22] S. Alonso et al. Journal of Informetrics, 3 (2009)... (index de Hirsh). Le nombre de collaborations et d’instituts qui le citent viennent conforter ces résultats.

62

Après avoir construit un corpus de données bibliographiques à partir d’une requête réalisée avec le WoS, en éliminant les documents type « review » ou « editorial » qui sont moins représentatifs des publications des experts (voir l’exemple ci-contre relatif à la DESI), j’ai procédé comme suit.

  • Analyse par année, pour visualiser la dynamique des publications ; par auteur, pour identifier les auteurs qui ont le plus publié ; par pays et instituts pour associer aux principaux auteurs leurs affiliations.

  • Rapport de citation pour comparer les noms des auteurs des articles les plus cités avec ceux précédemment obtenus.

  • Affinage du corpus sur les auteurs identifiés pour comparer leur impact via l’indicateur h-index.

  • Combinaison de ces résultats pour identifier un ou plusieurs experts.

  • Complément par une analyse des publications de chaque expert pour vérifier que le domaine d’étude est toujours un de ses axes de recherche ; identifier ses collaborations ; visualiser le rapport de citations sur ses publications, identifier les articles à fort impact, mesurer la couverture des articles citant ; quantifier le nombre de documents par rapport à l’ensemble des publications de l’auteur présentes dans la banque de données, pour évaluer son investissement dans ce domaine d’étude.

Commentaires

63

Malgré les quelques problèmes rencontrés au niveau de la détermination des affiliations des auteurs ou des mots clés ajoutés, l’outil WoS a permis d’identifier rapidement les experts en matière de DESI. Cette technique d’analyse, introduite en 2004, évolue et s’étend à de nombreux domaines. À la lecture de quelques références bibliographiques, on peut relever des termes associés à cette technique (Sonic DESI, extractive DESI, reactive DESI, etc.), des domaines d’application (chimie, pharmacie, biologie, chimie légale, analyse environnementale, alimentaire, etc.), ou des composés analysés (médicaments, protéines, peptides, végétaux, bactéries, parfums, explosifs, etc.).

Mais il est difficile d’identifier ces informations avec le WoS. Il n’y a pas d’extraction ni d’analyse statistique sur les termes descriptifs présents dans le titre, le résumé ou les mots clés. Une évolution de l’outil dans ce sens permettrait d’affiner la recherche et de trouver plus simplement les experts dans les nouvelles thématiques révélées.

Exemple d’application

Présentation de la démarche exposée ci-dessus, appliquée ici à la recherche d’experts en technique de désorption par ionisation electrospray (DESI) associée à la spectrométrie de masse. Cette méthode permet l’analyse directe des composés présents sur une surface.

Requête dans le champ Topic (titre, résumé, mots clés auteur, mots clés indexeur banque de données) :

TS=?(((desi OR sdesi) AND "mass spec*") OR "desorption electrospray ionization" OR "desorption electrospray ionisation" OR dapci OR sdapci OR "desorption atmospheric pressure chemical ionization" OR "desorption atmospheric pressure chemical ionisation") NOT TS=("laser desor?ption" OR "thermal desorption" OR "plasma desorption" OR "gas chromatog*")

Refined by: Document Type= ( ARTICLE OR LETTER OR PROCE?EDINGS PAPER OR MEETING ABSTRACT )

Databases=Science Citation Index Expanded (SCI-EXPANDED)--1999-present

Résultat : 188 références de documents publiés de 2005 à 2009, avec une forte progression annuelle.

Analyse des auteurs ayant le plus publié (au moins 10 publications) : après visualisation des adresses indiquées dans les références, les 7 principaux auteurs sont reliés à leurs affiliations : Cooks, RG et Talaty, N - USA ; Fernandez, GJ et Nyadong, L - USA ; Van Berkel, GJ et Kertesz, V - USA ; Chen, HW - Peoples R China. Remarque : Chen, HW est affilié pour 11 articles aux instituts chinois, et pour 4 articles à l’Université Purdue comme collaborateur de Cooks RG.

Rapport de citation : l’analyse des 10 références du corpus les plus citées révèle des auteurs qui n’avaient pas été identifiés précédemment : Scrivens, JH - England ; Creaser CS - England ; Hopfgartner G - Switzerland.

Rapport de citation pour le corpus limité à chaque auteur identifié et comparaison du h-index (déterminés sans éliminer les autocitations) :

Rapport de citation et comparaison du h-index

La combinaison de l’ensemble de ces résultats désigne Cooks, RG comme expert international dans le domaine de la DESI. Cette étude peut être limitée à une zone géographique, ce qui fait apparaître Scrivens, JH comme l’expert au niveau européen.

Informations complémentaires sur les publications de Cooks, RG : 48 publications dans le corpus, dont 23 présentent des collaborations avec des universités ou sociétés situées aux États-Unis, au Brésil, en Finlande, Italie, Espagne et Suède.

Au total, il y a dans le WoS 121 documents qui ont pour auteur Cooks, RG et qui ont été publiés sur la même période de temps que celle du corpus. Les 48 publications sur le sujet d’étude représentent donc 40 % de l’ensemble de ses articles. Ce rapport est constant et compris entre 42 % et 47 % depuis 2006.

Le rapport de citation édité à partir de l’ensemble des publications de Cooks, RG présentes dans le WoS (depuis 1999) est intéressant, car les deux articles les plus cités parmi les 272 documents concernent la DESI :

  • SCIENCE 306 (2004) 471-473. Cité 306 fois, par plus de 200 laboratoires répartis dans 26 pays. C’est un article à très fort impact, dans lequel Cooks, RG introduit la technique de désorption par ionisation electrospray ;

  • JOURNAL OF MASS SPECTROMETRY 40 (2005) 1261-1275. Cité 137 fois.

    Problème : ces deux articles n’apparaissent pas dans le corpus initial de 188 références. En effet, comme le terme « laser desorption » a été ajouté dans les mots clés par l’indexeur de la banque de données, ces articles ne répondent pas à la requête. Ce terme est indiqué dans l’introduction de l’article mais il n’est pas représentatif du sujet traité. •

Conclusion

64

Cet exemple montre que le WoS est un outil particulièrement adapté pour identifier rapidement les experts dans une thématique bien définie. Pour combler les limites du WoS, le professionnel de l’information peut utiliser un logiciel de data mining et text mining (STN Anavist [23][23] www. stn-international. de/ stn_anavist. html, Intellixir [24][24] www. intellixir. com, etc.) qui permettra de catégoriser les résultats dans le cas d’une recherche sur une thématique très globale, de révéler les axes émergents, de cartographier les réseaux d’acteurs impliqués dans la thématique étudiée. •

Catherine Gontharet

Trois outils pour la veille sur les brevets

65

Outils. Plusieurs logiciels sont disponibles sur le marché pour exploiter les bases de données de brevets. Thierry Dreyfus présente ici le test comparatif mené au sein de son service de veille sur trois de ces logiciels – Tropes, Wordmapper et Intellixir – dont il précise les qualités et les limites.

66

Fin 2004, compte tenu de l’augmentation très importante des besoins en information, Bostik décide de créer une cellule de veille. L’information s’adresse à plus de quatre cents managers. La multiplicité des métiers et des sources nous a amenés à nous intéresser à des outils informatiques logiciels et à des bases de données.

67

Les documentations scientifiques et brevets sont très volumineuses, respectivement plus de cinq cents articles par an et environ quatre cents brevets par mois. Les recherches sur certains thèmes peuvent aboutir à des corpus de plusieurs centaines de brevets et/ou articles. Il devient alors très difficile de les analyser, c’est pourquoi nous avons essayé depuis 2008 de trouver des outils de text mining pour nous aider dans cette tâche [25][25] Ce travail a été réalisé par deux stagiaires, Hélène....

68

La veille brevet est réalisée sur Questel Fampat [26][26] www. questel. com. En plus d’un moteur booléen très performant, Fampat est une base de familles de brevets qui permet d’obtenir une seule réponse par priorité de brevet. Tous les textes anglais sont analysés par le moteur sémantique Lingway qui extrait trois champs interrogeables : objectif, avantages et inconvénients, revendications principales. Ceci diminue très fortement le bruit sur des recherches par mots clés.

69

Nous avons testé trois logiciels sélectionnés sur les critères de coût, de maniabilité et de paramétrage. Ce test a porté sur des portefeuilles de plus de 150 brevets obtenus à partir de Fampat pour lesquels nous avons extrait, outre les données de référence, le titre, l’abstract et les champs objectifs, avantages et inconvénients.

Tropes

70

Le logiciel Topes [27][27] www. acetic. fr utilise des techniques d’analyse sémantique. Il sépare donc les différents genres grammaticaux, définit les actés et actants. Il possède un dictionnaire qui permet un regroupement automatique des mots équivalents. De plus, ce dictionnaire regroupe ceux-ci en trois niveaux de référence (exemple : carpe N1, poisson N2, animal N3). Tropes permet de créer son propre « scénario » : celui-ci est le dictionnaire hiérarchisé métier du corpus analysé, comprenant autant de branches et sous-branches que nécessaire. L’utilisation de ce logiciel est aisée et on peut analyser le corpus par rapport à l’ensemble du scénario ou sur une sélection de (sous-)branches.

71

Nous avons cependant rencontré un problème relatif à notre métier. Un mot ou expression ne peut apparaître qu’une fois dans le scénario. Par exemple, les polyuréthanes sont une famille importante d’adhésifs. Mais ce sont aussi des supports sur lesquels on réalise des collages. On ne peut donc pas analyser simultanément les deux branches « types de colles » et « supports ». De plus, lorsque Tropes trouvera la classe d’équivalence « polyurethane », on ne pourra pas savoir s’il s’agit de colle ou de support.

Pour chaque classe, Tropes peut afficher les textes les contenant. Comme outils d’analyse, le logiciel réalise des statistiques par (sous-)branche et présente un graphique en aires dans lequel chaque classe d’équivalent est représentée par un cercle de surface proportionnelle à son occurrence. La distance entre les cercles et le cercle de la classe étudiée (au centre du graphe) est reliée à la co-occurrence entre elles. On obtient donc des analyses qualitatives de relation entre classes. Par contre, il n’est pas possible de regrouper les différents brevets selon leur appartenance à un domaine de recherche.

Carte d’identité

Filiale du groupe Total, Bostik est aujourd’hui, avec un chiffre d’affaires supérieur à 1,4 milliard d’euros, l’un des leaders mondiaux des colles et de mastics. Cette entreprise est implantée dans 46 pays sur les cinq continents, avec environ 4.900 employés répartis sur 55 sites. Elle est présente sur pratiquement tous les marchés utilisant des colles et adhésifs, ainsi que dans tous les types de colles et adhésifs. L’innovation continue est une priorité pour Bostik.

Wordmapper

72

Outil d’analyse statistique, Wordmapper [28][28] www. grimmersoft. com calcule les occurrences et co-occurrences des mots dans les textes du corpus. Un algorithme classe alors des clusters de mots (agrégats homogènes de mots identifiant un thème) ayant les plus fortes co-occurrences.

73

Une préparation du corpus est nécessaire. En effet, il faut éliminer de l’analyse tous les mots sans signification (par exemple, « invention » dans un brevet et ceux qui ont un sens trop vague comme « adhesive » dans une recherche dans ce domaine, pour éliminer les occurrences anormales dans un sens statistique.

74

Dans le métier des adhésifs, on utilise un grand nombre de mots composés, comme « moisture cure » ou « hot melt pressure sensitive adhesive », qui ont un sens très précis. Wordmapper propose un dictionnaire de mots composés, mais souvent la coupure est mauvaise (« melt pressure sensitive »). De plus, on ne peut pas introduire ses propres mots composés dans le dictionnaire.

75

Nous avons dû modifier le texte du corpus, par exemple en mettant des acronymes ou en fusionnant les mots, mais c’est un pis-aller qui ne permet pas de reprendre plus tard une analyse en ajoutant les documents nouveaux.

76

L’analyse statistique réalisée par WordMapper est très performante et le paramétrage de celle-ci est complet. On obtient la liste des clusters, la liste des mots clés. Pour un de ceux-ci, elle indique le cluster qui le contient, la liste des clusters et des mots significativement associés avec la valeur de la probabilité. On peut afficher les textes contenant le mot clé surligné. Le logiciel présente les clusters selon deux axes, centralité (force d’association d’un cluster avec les autres) et densité (force de l’association dans un cluster). Tous les graphes sont interactifs, mais pas très faciles d’utilisation.

77

L’identification du thème des clusters est souvent difficile dans notre métier. Un mot (équivalent) ne peut se trouver que dans un seul cluster. Les polyuréthanes (PU) peuvent être des colles réactives ou non, liquides ou thermofusibles, solvantées, en dispersion aqueuse. WordMapper d’une part ne permet pas de dissocier ces différents types et, d’autre part, il peut mélanger des brevets thermofusibles PU avec d’autres types chimiques.

Intellixir

78

Outre le corpus textuel, Intellixir extrait de Fampat les noms des auteurs, les affiliations, les codes de la Classification internationale des brevets (CIB) et de la classification européenne ECLA, et les descripteurs (texte correspondant à chaque code). Il est possible de corriger les dictionnaires des corpus et les erreurs de noms d’auteurs et de regrouper les filiales des affiliations sur un seul nom.

79

Ce logiciel calcule seulement le nombre de brevets qui contiennent un équivalent et non l’occurrence de celui-ci dans un brevet. Ceci va entraîner un bruit.

80

Intellixir présente une panoplie très large d’outils d’analyse (nuages de tags, courbes, barres, réseaux, clusters, etc.) dont les représentations sont toutes interactives et permettent de revenir avec quelques clics à des sous-domaines et aux brevets correspondants. On peut créer des champs personnalisés dont les valeurs peuvent être du texte, un code, un descripteur, un auteur, une affiliation. On peut faire des analyses sur un champ ou en croisant deux champs. Ceci permet de voir les interactions de deux ou plusieurs valeurs.

81

Avec ce logiciel, nous avons pu facilement réaliser des classifications des portefeuilles analysés selon les axes qui nous intéressaient et identifier des axes de recherche que nous n’aurions probablement pas vus manuellement.

Conclusion

82

Nous avons testé trois logiciels qui recourent à des techniques d’analyse différentes. Pour tous, la préparation du corpus avant analyse est primordiale. Les problèmes rencontrés, pour nos métiers, avec Tropes et WordMapper, n’ont pas permis d’exploiter pleinement les possibilités de ces logiciels dont les techniques analytiques nous paraissent pourtant intéressantes. Intellixir, encore perfectible, permet de définir des axes d’analyse performants. Bien que sa technique analytique soit plus simple que celle de WordMapper (pas de test statistique des occurrences), cet outil permet de réaliser des analyses croisées sur plusieurs axes, et pas seulement sur le corpus textuel. L’utilisation de ce logiciel est aisée grâce à l’interactivité des outils graphiques. Il faut aussi souligner que la société Intellixir, à l’écoute de ses clients, montre une dynamique importante et qu’elle apporte fréquemment des améliorations au logiciel. •

Thierry Dreyfus

Les liens entre Google Scholar et HAL

83

Retour d’expérience. Peut-on utiliser Google Scholar pour construire des indicateurs d’évaluation de la recherche ? Martine Chazelas nous rend compte d’une expérience menée en sciences humaines pour tester la manière dont les documents déposés dans l’archive ouverte HAL (Hyper articles en ligne) apparaissent dans cette base de données.

84

Google Scholar (GS) est l’une des trois bases de données actuellement utilisées en bibliométrie. Contrairement aux deux autres (WoS et Scopus), c’est une base sur laquelle nous disposons de peu d’informations (étendue, sources moissonnées, validité des informations, etc.). Pourtant nos évaluateurs, l’AERES et le CNRS, ont décidé depuis 2008 de la prescrire comme source possible de calcul d’indicateurs pour l’évaluation de la recherche, en particulier dans le champ des sciences humaines, peu indexé par le WoS ou Scopus. La multidisciplinarité, la multiplicité des sources (en particulier les archives ouvertes) et des types de documents recensés (articles, thèses, ouvrages, rapports, chapitres d’ouvrages, etc.), la popularité du moteur de recherche dont GS est issu ont suffi à parer cette base de toutes les qualités nécessaires au calcul d’indicateurs.

85

Nous avons voulu tester la manière dont Google Scholar moissonne l’archive HAL (hhttp:// hal. archives-ouvertes.fr) pour pour avoir une raison de plus d’inciter les chercheurs de notre laboratoire à déposer leur publications dans cette archive ouverte. Notre unité mixte de recherche travaille sur les ambiances architecturales et urbaines. Ses publications sont principalement des chapitres d’ouvrages ou des articles dans des revues importantes pour notre champ de recherche mais non indexées par le WoS ou Scopus. Pour apparaître dans GS, déposer dans HAL serait alors une des voies pertinentes. Nous avons donc recherché via Google Scholar les publications de nos chercheurs qui étaient déposées dans HAL en utilisant les méthodes d’investigation préconisées par l’outil PoP (développé par Ann Will Harzing) : la recherche par « P. Nom ».

Quelques-uns de nos constats

86
  • Pour une même recherche faite à des moments différents, GS peut afficher 150 000 comme 20 000 résultats et aucune explication ne peut justifier cet écart de résultats.

  • Il est difficile de retrouver l’ensemble des publications d’un auteur portant un nom trop commun sans utiliser des opérateurs booléens : GS n’affiche que les mille premières références et on ne connaît toujours pas l’algorithme de classement des résultats, l’opérateur booléen « OU » a un fonctionnement aléatoire, enfin la recherche par affiliation n’est pas possible.

  • Les résultats obtenus nous conduisent à penser que GS n’utilise pas (ou plus, ou pas assez) les métadonnées déjà constituées par les archives ouvertes mais les reconstitue directement à partir du texte intégral. Pour un document en format image, un logiciel OCR est manifestement utilisé ; selon la qualité de ce document, le résultat est plus ou moins correct. S’il n’a pas une mise en page adéquate (mais quelle est-elle ?) pour permettre la séparation des différents champs (titre, sous-titres, auteurs, etc.), les noms d’auteurs et/ou le titres peuvent être erronés (par exemple si le nom des auteurs se trouve en fin d’article).

  • Google Scholar s’intéresse en priorité aux documents en texte intégral. La plupart des notices bibliographiques déposées dans HAL sans texte intégral ne sont donc pas moissonnées.

  • Google Scholar ne reconstitue pas en une seule notice les différentes versions attachées à la notice HAL d’un même document. Ce qui semble confirmer que GS crée ses propres métadonnées et ne récupère pas celles de HAL.

Conclusions

87

Ces recherches menées sur l’archive HAL mettent en évidence que Google Scholar est toujours en phase bêta, comme indiqué à l’écran. Est-il alors pertinent d’utiliser un outil en évolution constante pour mener une évaluation ?

88

Dans la mesure où GS semble s’être engagé dans la récupération automatique de toutes les métadonnées à partir des textes intégraux, faut-il plutôt adapter la présentation des documents pour que les publications de nos chercheurs deviennent identifiables par ces automates ? Ou bien devons-nous engager des négociations avec Google Scholar pour que les métadonnées préconisées et mises en œuvre par l’OAI soient prises en compte par ce moteur ? Voilà un débat qui anime déjà notre communauté. •

89

Martine Chazelas

L’utilisation de Publish or Perish dans l’évaluation des chercheurs en SHS

90

Retour d’expérience. Publish or Perish (PoP) est beaucoup plus riche que le Web of Science en références en sciences humaines et sociales. Cet outil bibliométrique, qui puise ses données dans Google Scholar, est-il pour autant un meilleur outil d’évaluation de la recherche dans ce domaine ? Christine Kosmopoulos nous livre les conclusions des tests qu’elle a effectués.

91

En 2008, lors de la rédaction du rapport quadriennal de notre unité de recherche, les membres du laboratoire ont été invités individuellement à remplir un fichier Excel comprenant plusieurs feuillets dont deux destinés à recenser les indicateurs de citations, l’un à partir du Web of Science (WoS), l’autre à partir de Publish or Perish (PoP). En effet, pour la plupart des revues en sciences humaines et sociales (SHS), et plus encore si elles ne sont pas anglophones, le Web of Science n’est pas adapté.

92

Nous avons accepté de nous soumettre à cet exercice en nous appuyant sur les indicateurs fournis par PoP. Toutefois devant le nombre important de lacunes, de contradictions et résultats non pertinents, nous avons préféré ne pas transmettre ce feuillet à nos instances d’évaluation. Nous avons argumenté ce choix par un certain nombre de remarques que je présente ici.

93

Développé par une universitaire exerçant actuellement en Australie, Ann Harzing, Publish or Perish est un outil bibliométrique en libre accès qui a sans conteste l’avantage d’afficher beaucoup plus de résultats pour les SHS que le WoS. Ce logiciel, parfois aussi nommé Harzing PoP, puise ses données dans Google Scholar (GS), ce qui permet de prendre en compte une grande variété de publications. Toutefois, bien que plus abondantes, les ressources utilisées pour les analyses statistiques dans PoP présentent des inconvénients majeurs et l’examen attentif des résultats réserve bien des surprises.

Une opacité des sources et des résultats aléatoires

94

Tout d’abord, contrairement aux bases de données privées (WoS, Scopus), les sources de l’information traitée par Google Scholar (GS) ne sont nulle part clairement définies, conférant à l’ensemble de la procédure et à ses résultats une réelle opacité.

95

Au vu de ce qui s’affiche, on peut identifier certaines sources comme le portail des revues en SHS Revues.org ou le portail des archives ouvertes (HAL et HALSHS) du Centre pour la communication scientifique directe (CCSD) du CNRS. Mais, en regardant de plus près, on constate qu’à l’intérieur d’un périmètre supposé défini (par exemple Revues.org ou HALSHS) les résultats ne sont pas exhaustifs. Nous avons pris comme exemple la revue électronique européenne de géographie Cybergeo qui se trouve sur le portail de Revues.org : bon nombre d’articles n’apparaissent pas, contrairement à des éditoriaux sans grand intérêt scientifique.

96

On constate également que tout ce qui est déposé dans les archives ouvertes (HALSHS) n’est pas pris en compte. Nombre d’articles et de chapitres d’ouvrages déposés sur le portail des archives ouvertes sont absents de ces analyses. Et cela même quand les résultats affichés sont inférieurs à 999 (nombre maximal de références possibles à importer depuis Google Scholar dans Harzing PoP)

Or, afin de produire des statistiques fiables de citations, PoP doit impérativement prendre en compte toutes les publications, même non citées. Rien ne permet de comprendre ces omissions, ni la mise à jour du logiciel (des articles de 2007 de Cybergeo peuvent ressortir, alors que des articles de 2006 ne figurent pas), ni la question de l’interopérabilité (tous les articles de cette revue répondent aux mêmes exigences d’échanges des métadonnées), mais les résultats s’en trouvent de fait faussés.

Des lacunes notables dans les résultats

97

Bien que Google Scholar, et par conséquent PoP, recensent plus d’ouvrages que les bases de données du WoS, il est très difficile de savoir pourquoi un ouvrage est pris en compte dans l’analyse statistique de PoP alors que d’autres contributions majeures ne le sont pas. À titre d’exemple, nous avons pris un ouvrage publié chez Armand Colin en 2007 et qui a reçu deux prix (prix Ptolémée du FIG 2007 et prix Jean Sainteny 2008 de l’Académie des sciences morales et politiques). Cet ouvrage n’apparaît pas dans les résultats de l’auteur. Alors qu’y figure un autre ouvrage du même auteur paru chez le même éditeur et datant de 2006, mais de moindre importance.

Les doublons qui pénalisent l’auteur dans le calcul du h-index.

98

La présence de doublons fausse le calcul du h-index. En effet, si une publication qui a reçu cinq citations est comptée pour deux avec trois et deux citations, l’auteur est pénalisé.

99

Ainsi une même référence, mais qui provient de deux bases différentes, peut produire deux résultats distincts, avec pour final selon le cas un h-index de quatre (si les résultats sont distincts) ou de cinq (si le doublon est traité automatiquement pour ne générer qu’un seul résultat).

La question de la validité scientifique des citations

100

L’outil Publish or Perish ne permet pas d’éliminer les auto-citations qui ne devraient pas être prises en compte dans le calcul des index. Par ailleurs, la pertinence des citations n’est pas toujours évidente. En effet, certains membres ont obtenu des résultats issus de simples textes déposés sur HAL provenant de communications internes faites lors des réunions d’équipe sans aucune validation scientifique.

La mise à jour de PoP ne se fait pas en temps réel

101

Si on compare pour une même requête les résultats dans PoP et Google Scholar, on obtient toujours des résultats différents. À titre d’exemple, on a comparé les résultats pour deux articles d’un même auteur :

  • « Multiscalar Analysis and map generalisation of discrete social phenomena: Statistical problems and… » de C Grasland, H Mathian, JM Vincent - 2000 - IOS Press. Cet article est cité une fois ;

  • « Identification of a geographic area characterized by extreme longevity in the Sardinia island: the… » de M Poulain, GM Pes, C Grasland, C Carru, L Ferrucci… - Experimental Gerontology, 2004 – Elsevier. Cet article est cité vingt fois.

Le premier, qui en fait a été publié dans Statistical Journal (dont l’information a été mal saisie dans la source), est un article fondamental, représentant l’aboutissement de plusieurs années de recherche collective. PoP ne le trouve cité qu’une seule fois et en fait une publication mineure pour le score de C. Grasland. En revanche l’article d’Experimental Gerontology, qui décrit une simple application, est cité vingt fois. Une vérification effectuée directement dans Google Scholar montre que l’article du Statistical Journal y est en fait cité douze fois. Erreur de la source d’origine ? Retard dans la mise à jour de PoP ?

L’impossibilité d’obtenir une information sur certains noms

102

Certains noms courants posent problème. Prenons le cas de L. Mandel (j’ai modifié à dessein le nom). Il y a un nombre très élevé d’homonymes. Le nombre est si important que même pour une période donnée 2004-2008, Harzing ne peut pas afficher tous les résultats puisqu’ils excèdent les 999. Dans ces résultats, beaucoup de LW Mandel, GL Mandel, etc. On peut utiliser le champ exclusion, mais il est très limité. Ces difficultés tiennent aussi bien aux fonctionnalités de filtre restreintes du logiciel Harzing qu’à la qualité des sources.

La question de la diffusion internationale

103

Plusieurs chercheurs ont constaté qu’une partie de leurs publications en langue étrangère et notamment dans les pays d’Europe centrale (Hongrie, par exemple) ne ressortent pas dans PoP, alors que précisément cette variété est une richesse et qu’il est demandé à la communauté scientifique française de publier à l’étranger !

Conclusion

104

S’il est vrai que, pour la plupart des disciplines en SHS, l’on obtient des résultats plus représentatifs dans PoP que dans le WoS le caractère aléatoire des productions affichées et l’impossibilité d’exercer un contrôle sur la source de la citation ne permettent pas, actuellement, de donner une crédibilité scientifique aux résultats.

105

Autant ces statistiques peuvent donner des indications d’ordre de grandeur sur une revue, ou situer qualitativement le champ scientifique d’un chercheur que l’on ne connaît pas, autant on voit bien tous les défauts du système quand on essaie d’en faire usage pour la quantification de la production des individus.

106

Une révision importante et une systématisation des données de Google Scholar semblent nécessaires pour que cette base devienne un outil statistique fiable pour les citations en SHS. Et, dans tous les cas, cet exercice de quantification doit toujours être accompagné d’une évaluation plus approfondie, plus « qualitative », de l’activité des chercheurs, fondée notamment sur les rapports complets de leurs activités. •

107

Christine Kosmopoulos

Notes

[4]

OST Observatoire des sciences et des techniques, Mémento à l’usage des opérateurs. Indicateurs de production scientifique mesurés par l’OST pour les opérateurs du programme 150 « Formations supérieures et recherche universitaire ». Vagues 2008. Mai 2008. www. obs-ost. fr/ fileadmin/ medias/ tx_ostdocuments/ Memento_operateursP150Vagues2008_OST. pdf

[5]

Voir aussi : « Errors in citation statistics », Nature, 2002, vol. 415, n° 6868.

P. Lawrence, « The politics of publication », Nature, 2003, vol. 422, n° 6929.

D. Colquhoun, « Challenging the tyranny of impact factors », Nature, 2003, vol. 423, n° 6939.

[6]

Johan Bollen, Marko A. Rodriguez, Herbert Van de Sompel, « Journal Status », Scientometrics, 69 (3), Dec. 2006, rev. 1 fev. 2008 : http:// arxiv. org/ pdf/ cs/ 0601030

[7]

Le « facteur H » a été conçu par le physicien Jorge Hirsch. Dans la relation entre un nombre total de publications et leurs citations, il fait glisser un curseur jusqu’à l’obtention d’une coïncidence approximative entre un nombre équivalent de publications et de citations. Un chercheur a un facteur H de 75 si, sur un total de x publications dont il est (co-)auteur, il en existe au moins 75 ayant été citées au moins 75 fois. Les instances administratives tiennent rigoureusement compte du facteur H. Voir : J. E. Hirsch, « An index to quantify an individual’s scientific research », Proceedings of the National Academy of Sciences of the United States of America [PNAS], 2005, vol. 102, n° 46, p. 16569–16572, http:// arxiv. org/ abs/ physics/ 0508025

[8]

Le « facteur G » est calculé comme le plus grand nombre G tel que les G publications les plus citées ont reçu au moins G citations au carré. Il est censé remédier au « gel » des publications captées au-dessus de l’indice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes d’entre elles. Voir : L. Egghe, « Theory and practise of the g-index », Scientometrics, 2006, vol. 69, n° 1, www. gwu. edu/ gwchem/ pdf/ Egghe_Scientometrics%2006_g-index. pdf

[9]

Que mesurent les indicateurs bibliométriques ? Document d’analyse de la commission d’évaluation de l’INRIA, www. inria. fr/ inria/ organigramme/ documents/ ce_indicateurs. pdf. Cf. notamment le tableau p. 27 et la fin du dossier.

[11]

Voir la note 6.

[*]

Les auteures remercient Sonia Christon et Gilles Liévin pour leur collaboration.

[13]

A. Pritchard, « Statistical bibliography or bibliometrics », 1969, vol. 25, n° 4, p. 348-349

[14]

Lire à ce sujet le témoignage de Christine Kosmopoulos, « À propos de l’utilisation de Publish or Perish (PoP) dans l’évaluation des chercheurs en SHS », pages 58-59.

[15]

Cette expérience a réuni Véronique Ginouvès (anthropologie), Blandine Nouvel (archéologie), Mireille Gely et Martine Chazelas (architecture, urbanisme, société), Odile Contat et Emmanuelle Dedenon (économie), Annette Schläfer (études germaniques), Christine Kosmopoulos (géographie), Jean-Christophe Peyssard (histoire), Catherine Faveaud (Religion), Caroline Abela (citations) et avec la participation du réseau ISORE.

[16]

« Évaluation des principaux outils bibliométriques et des ressources en sciences humaines et sociales dans un environnement collaboratif. » Adonis est un très grand équipement (TGE) du CNRS, ouvert sur les communautés universitaires, dont la mission est l’accès unifié aux données et documents numériques des SHS. www. tge-adonis. fr.

[17]

L’European Science Foundation (ESF) est une association non gouvernementale, fondée en 1974, qui comprend 80 organisations membres dédiées à la recherche scientifique dans 30 pays européens.

[18]

Observatoire des sciences et techniques. Voir pages 33 et 64.

[19]

Humanities in European Research Area (HERA) est un consortium d’agences de financement de la recherche en sciences humaines.

[20]

Nous avons rencontré des représentants d’Elsevier à l’été 2008, lors du salon e-expo, et les avons informés des nombreuses incohérences relevées dans l’indexation de Scopus. En juin 2009, un nouveau fichier Excel a été mis en ligne par Elsevier qui a fait disparaître la plupart des mots clés des fichiers précédents que nous avons traités. Mais, sur ce plan, le fichier actuel est encore loin d’être satisfaisant, un gros travail d’indexation reste à faire.

[22]

S. Alonso et al. Journal of Informetrics, 3 (2009) 273-289. Voir aussi page 47.

[25]

Ce travail a été réalisé par deux stagiaires, Hélène Wang en 2008 (VS2I Lille1), Hélène Prod’homme (ESCOM) en 2009.

Résumé

English

Tools and methodsWhich databases and tools are available to analyze the output of researchers and to build relevant indicators? M. Durand-Barthez analyzes the principal bibliographic and software resources currently used in bibliometrics to evaluate research.

Español

¿Herramientas y métodos¿De qué bases de datos y de qué herramientas de explotación disponemos para analizar la producción de los investigadores y elaborar los indicadores pertinentes? M. Durand-Barthez analiza los principales recursos bibliográficos y programas utilizados actualmente en bibliométrica para la evaluación en la investigación.

Deutsch

Tools und MethodenWelche Datenbanken und Auswertungstools stehen uns zur Verfügung, um die Produktion der Forscher zu analysieren und aussagekräftige Indikatoren zu erstellen? M. Durand-Barthez analysiert die wichtigsten bibliographischen Ressourcen und bibliometrische Software zur Evaluierung der Recherche.

Plan de l'article

  1. Tendances actuelles en bibliométrie : panorama des ressources, évolution, perception
    1. Bibliométrie et bibliographie
    2. Modalités de calcul
    3. Principaux réservoirs de données et logiciels associés
      1. Essential Science Indicators et Web of Science
      2. Harzing POP et Scholar Google
      3. Sigaps et Medline
      4. Eigenfactor et Journal Citation Reports
      5. Scimago et Scopus
      6. Citebase et OAI
      7. Citeseer et OAI
  2. JournalBase : un recensement des revues nationales et internationales en SHS
    1. La question bibliométrique en SHS
    2. Le projet JournalBase
    3. Périmètre de l’étude
    4. État des lieux
    5. Méthodologie
    6. Difficultés rencontrées
    7. Résultats
    8. Conclusion
  3. La recherche d’experts à l’aide du WoS
    1. Définir une démarche
    2. Commentaires
    3. Conclusion
  4. Trois outils pour la veille sur les brevets
    1. Tropes
    2. Wordmapper
    3. Intellixir
    4. Conclusion
  5. Les liens entre Google Scholar et HAL
    1. Quelques-uns de nos constats
    2. Conclusions
  6. L’utilisation de Publish or Perish dans l’évaluation des chercheurs en SHS
    1. Une opacité des sources et des résultats aléatoires
    2. Des lacunes notables dans les résultats
    3. Les doublons qui pénalisent l’auteur dans le calcul du h-index.
    4. La question de la validité scientifique des citations
    5. La mise à jour de PoP ne se fait pas en temps réel
    6. L’impossibilité d’obtenir une information sur certains noms
    7. La question de la diffusion internationale
    8. Conclusion

Pour citer cet article

Durand-Barthez Manuel, Dassa Michèle, Kosmopoulos Christine, Gontharet Catherine, Dreyfus Thierry, Chazelas Martine, « Outils et méthodes », Documentaliste-Sciences de l'Information 4/2009 (Vol. 46) , p. 44-59
URL : www.cairn.info/revue-documentaliste-sciences-de-l-information-2009-4-page-44.htm.
DOI : 10.3917/docsi.464.0044.


Article précédent Pages 44 - 59 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback