Accueil Revues Revue Numéro Article

Documentaliste-Sciences de l'Information

2010/1 (Vol. 47)

  • Pages : 80
  • DOI : 10.3917/docsi.471.0004
  • Éditeur : A.D.B.S.

ALERTES EMAIL - REVUE Documentaliste-Sciences de l'Information

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Article précédent Pages 4 - 12 Article suivant
1

Pour préserver l’état de santé des personnels militaires projetés, le Service de santé des armées (SSA) a confié à l’Unité de veille sanitaire (UVS) de l’Institut de médecine tropicale du service de santé des armées (IMTSSA) une mission de veille sanitaire de défense définie en 2004 comme la collecte, l’analyse et la diffusion à ceux qui en ont besoin d’informations sanitaires polymorphes, provenant de populations extérieures à celle de l’organisme de veille (donc extérieurs à la défense), afin d’identifier et de prévenir les risques sanitaires potentiels pour la population, sous la responsabilité du veilleur dans le domaine de la défense [9] [15].

2

Pour remplir cette mission, elle a développé trois bases documentaires servant de socle de documentation scientifique. La première base capitalise des documents bruts sur les agents du risque biologique, naturel et provoqué, et les toxiques chimiques industriels ou militaires [27]. La deuxième, dénommée REDUVES pour « Recherches Et Développements de l’Unité de VEille Sanitaire », met à disposition des documents de synthèse sur les recherches et les développements en cours sur les agents biologiques et chimiques militarisables [19] [25] [26] [27]. La dernière base, dénommée BEDOUIN pour « Base Epidémiologique de Données sur l’OUtre-mer et l’Intertropical », fournit des renseignements sanitaires sur les différents théâtres d’opérations actuels ou possibles des forces [19] [26] [27].

3

La masse de documents collectés pour alimenter ces bases est très importante. Les informations les plus pertinentes sont souvent diluées dans un bruit documentaire. Il est donc indispensable d’évaluer ce flux de documents pour retrouver et extraire les plus originaux, facteurs d’avancées scientifiques et technologiques [24]. Ce traitement intellectuel, fondé sur des critères objectifs et quantifiables, est mené en suivant une grille d’analyse du document en sept étapes : détermination du type de document, traduction, contrôle du thème, résumé, analyse de l’originalité, application pour la défense et analyse de la validité scientifique [figure 1], que nous développerons dans cet article.

Figure 1 - Processus d’analyse des documentsFigure 1

1 - Méthode

1 - Détermination du type de document

4

Les documents collectés sont d’abord classés en fonction de leur type, c’est-à-dire selon le support, le niveau, la diffusion et la forme [1] [8]. Dans la veille sanitaire de défense, les documents récoltés ont tous un support numérique, sont tous d’un certain niveau scientifique, et sont disponibles sur Internet. Mais leur forme diffère en fonction de la structuration du contenu. Ils peuvent prendre trois formes : ouvrages, notamment monographies scientifiques de synthèse, thèses et articles scientifiques qui représentent la majorité des documents collectés. Par exemple, sur 1 310 documents collectés à partir d’une recherche dans les bases Pascal® et Francis® avec l’équation (variole OR smallpox), 97 % ont la forme d’un article de revue, 2,5 % d’un ouvrage et 0,5 % d’une thèse.

5

L’article de recherche est un document publié dans une revue scientifique, rédigé par un ou plusieurs chercheurs, qui présente les résultats d’études fondamentales ou appliquées et dont le plan est dit IMRED pour « Introduction, Matériel et méthodes, Résultats Et Discussion » [1] [5] [8]. Les articles contiennent également un résumé, une bibliographie et, pour certains, des mots clés. Ils sont validés par un comité d’experts (comité de lecture), composé de spécialistes du domaine, qui se prononce sur la nouveauté des résultats et l’intérêt de l’hypothèse, et sollicite des corrections. L’article accepté est transmis au comité de rédaction de la revue qui organise la réalisation et la diffusion de la revue par l’éditeur.

6

La thèse de doctorat est un mémoire présentant un travail de 3 à 5 ans de recherches, réalisé par un étudiant-chercheur, sous la direction d’un directeur de thèse, évalué par des rapporteurs indépendants et soutenu devant un jury d’enseignants-chercheurs, experts du domaine [1] [8]. Elle comprend une introduction, plusieurs chapitres, une conclusion, une bibliographie et un résumé. Les différents chapitres établissent le fond théorique de l’étude, décrivent les techniques expérimentales utilisées et rapportent les résultats. Les thèses d’exercice (médecins, pharmaciens, etc.) sont également analysées par la veille sanitaire de défense. Ces mémoires, moins longs, sont préparés en un an, dans le cadre de l’obtention de diplôme d’État.

7

Le livre est une publication non périodique éditée par une maison d’édition, à un moment donné, dans un pays donné et possédant un ISBN (International standard book number), numéro international normalisé à 13 chiffres depuis 2007 (10 jusqu’en 2006) qui l’identifie de manière univoque [1] [8]. Les livres analysés par la veille sanitaire de défense ont un support numérique (e-book). Ils permettent de naviguer, de faire des recherches, d’annoter ou de mettre le texte en relief. Ils peuvent circuler de façon autonome, être stockés et lus sur un support informatique. Outre une table des matières donnant un aperçu de l’ensemble des questions abordées, le livre possède entre 5 et 15 chapitres répondant à une question. Il contient une introduction, un index, une bibliographie, une conclusion et un résumé.

Les livres analysés sont pour la plupart des monographies scientifiques de synthèse, c’est-à-dire des ouvrages comportant l’équivalent d’un seul volume ou d’un nombre limité de volumes, présentant un traitement synthétique ou un état de l’art d’un domaine ou d’un sujet scientifique. Mis en forme, validés et commercialisés par un éditeur, ils peuvent être revus et corrigés, et donc faire l’objet de plusieurs éditions successives.

2 - Traduction

8

La plupart des documents collectés dans le processus sont en langue étrangère. Par exemple, une recherche menée le 4 février 2010 dans les bases Pascal® et Francis® avec l’équation (variole OR smallpox) a collecté 80,5 % de documents en anglais, 16 % en français, 1,5 % en espagnol, 1,4 % en allemand et 0,6 % en russe.

9

Avant d’envisager les étapes suivantes, la traduction du document est nécessaire. Dans cette optique, un logiciel de traduction automatique (Systran Professional®) est utilisé. Ce robot intègre en plus un dictionnaire médical français/anglais et anglais/français de plus de 2 000 mots. Cependant, comme tous les outils de traduction automatique, il ne donne que le sens global du texte et ne permet pas une traduction parfaite.

3 - Contrôle du thème

10

L’analyse se poursuit par le contrôle du thème du document, dans le but d’écarter ceux qui ne correspondent pas aux priorités et sujets définis par la veille de défense. Par exemple, le veilleur est vigilant quand un document traite de recherche et de développement sur les agents biologiques et chimiques militarisables (charbon humain, etc.). Il est attentif face à un document traitant de l’émergence d’un événement sanitaire inhabituel dans un territoire jusqu’alors indemne de cet événement ou de sa réémergence inexpliquée (par exemple : émergence de fièvre hémorragique à virus Marburg en Angola en 2005). Pour l’aider dans ce travail, la liste de l’OTAN des agents biologiques est un outil utile [21]. Ce contrôle se fait par la lecture du titre, du résumé du document et éventuellement des mots clés.

4 - Résumé

11

Dans le cas où le document n’a pas de résumé, si le résumé n’est pas significatif ou est trop court, le veilleur appuie son analyse en utilisant un logiciel de résumé automatique du texte intégral. Dans le cadre de la veille sanitaire de défense, le choix s’est porté sur le logiciel Copernic Summarizer® qui réduit la taille du document de 50 à 95 % et fournit un résumé de 100 à 1 000 mots. Fondé sur des algorithmes basés sur des calculs statistiques et des données linguistiques, ce logiciel permet en outre d’identifier les concepts d’un texte et en extrait les mots clés et les phrases les plus marquantes. Cet outil est notamment utilisé dans l’extraction des concepts de certains ouvrages de plus de 100 pages qui n’ont pas de résumé.

5 - Analyse de l’originalité

12

La phase suivante analyse la nouveauté, le caractère original ou la plus-value scientifique apportée par le document considéré. Elle consiste en une lecture du titre du document et de son résumé. Dans le cas des articles, la partie Résultats et Discussion est également examinée. Une lecture approfondie compare le contenu à ceux de documents antérieurs et connus pour les thèmes correspondants. Un document est considéré comme nouveau si son contenu décrit un phénomène inconnu jusqu’alors ou apporte une connaissance inédite ou originale sur un phénomène connu, ou fait le point sur un sujet connu. Par exemple, la publication, dans une revue internationale à comité de lecture, de l’élaboration d’un test de diagnostic d’une maladie infectieuse, plus rapide et sensible que les méthodes de routine, sera considéré comme un nouveau document. D’où l’importance pour le veilleur documentaire de constituer une base de documents bruts solide et exhaustive sur les thèmes d’intérêt des armées, capitalisant rigoureusement les connaissances sur ces thèmes.

6 - Applications pour la défense

13

Un document d’intérêt, au contenu novateur, sans application pour la défense car trop fondamental, sera rejeté. Par exemple, un document qui élucide une partie de la structure du virus Ebola, bien que novateur, ne sera pas pris en compte car ses applications potentielles pour la défense sont à très long terme. Par contre, un document relatant l’efficacité et l’innocuité sur l’homme d’un nouveau vaccin contenant une partie de ce virus sera conservé, car ses applications sont possibles à court terme. Ce type de document est d’autant plus intéressant qu’à l’heure actuelle aucun vaccin n’est efficace contre la maladie d’Ebola dont la létalité est de l’ordre de 50 à 90 %, dans des zones géographiques où des forces françaises sont déployées.

7 - Analyse de la validité scientifique

14

L’étape la plus importante est l’analyse de la valeur scientifique du document [11] [12] [28] [29]. Celle-ci est fondée sur une grille de lecture objective et quantifiable, fonction du type de document.

Ouvrages

15

La grille de lecture porte principalement sur la rigueur du contenu, notamment la clarté de la synthèse et l’objectivité de l’auteur [tableau 1].

Tableau 1 - Grille d’analyse de la rigueur du contenu des ouvragesTableau 1
16

En premier lieu, le titre de l’ouvrage est examiné, notamment sa clarté et son attractivité. Le résumé doit décrire avec précision le(s) problème(s) abordé(s), la méthode, les résultats et les conclusions du livre. L’analyse de l’introduction examine si l’objectif de l’ouvrage est clairement exposé. Le veilleur vérifie également si les données ou affirmations avancées dans les chapitres sont argumentées. En effet, il est essentiel de connaître leur origine (littérature, articles, enquêtes spécifiques, expérience ou avis personnel). Dans cette optique, une étude de la bibliographie est effectuée [15]. Si l’auteur controverse les résultats de certains travaux, l’analyse doit en vérifier les éléments d’explication. Les conclusions doivent s’appuyer sur des données fiables et documentées et être argumentées et soutenues. Dans tous les cas, il doit être possible de distinguer les conclusions de l’auteur de celles qui sont basées sur des arguments scientifiques provenant de la synthèse d’études. Enfin, il faut déterminer si la conclusion permet de répondre aux questions et objectifs posés dans l’introduction.

17

À l’issue de cet examen, le veilleur attribue au document une cote de 1 à 4, estimation de sa valeur scientifique, fonction de la rigueur du contenu [26]. Les livres cotés « 1 » remplissent l’ensemble des critères de la grille. Ils sont scientifiquement très rigoureux, aussi bien sur le fond que sur la forme. Les ouvrages notés « 2 » ont un contenu rigoureux, mais certains critères secondaires ne sont pas remplis, notamment en terme d’attractivité ; par contre leur contenu est scientifiquement irréprochable. Les ouvrages cotés « 3 » ont un niveau de rigueur jugé moyen tant pour la clarté de la rédaction que pour celle de l’argumentation ou des résultats. Très rarement, sont retrouvées des monographies cotées « 4 ». Elles sont scientifiquement peu rigoureuses et respectent peu de critères de la grille. Les données sont souvent peu fiables et les conclusions avancées présentent généralement des lacunes. Elles ne sont pas diffusées.

Thèses

18

La thèse reprend dans son contenu plusieurs types d’étude de niveaux différents. Certaines thèses reprennent dans leurs chapitres des articles de revues dont le doctorant est l’auteur principal ou bien sont des états de l’art sur un sujet. L’analyse porte principalement sur le fond, notamment la méthode, les objectifs et hypothèses de travail [tableau 2].

Tableau 2 - Grille d’analyse de la rigueur du contenu des thèsesTableau 2
19

Le résumé est examiné du point de vue de son caractère précis et descriptif. Il doit décrire avec concision le problème abordé, la méthode qui a permis de le résoudre, les résultats obtenus et leurs conclusions. L’introduction est étudiée sur sa logique et sa simplicité. Cette partie doit décrire le sujet et son importance. Elle doit expliquer le problème et son rapport avec les grands thèmes de la discipline. Elle doit faire le point de la littérature sur son origine, sa connaissance, les autres méthodes ayant tenté de le résoudre. Les parties Matériel et méthodes développées dans les différents chapitres doivent permettre à un chercheur qui suit la description de reproduire exactement ce qui a été fait. La rigueur de la démarche est examinée, comme les détails expérimentaux nécessaires à l’interprétation des résultats, à l’identification des études menées et à leur durée.

20

Les conditions d’obtention de chaque série de résultats doivent être décrites, ainsi que chaque paramètre tenu constant. Les erreurs de mesure doivent être montrées. Les tests statistiques doivent être appropriés aux comparaisons et aux analyses effectuées. Les représentations graphiques doivent être analysées. Les intervalles de confiance sur chaque donnée doivent être présentés, à moins que les erreurs soient très petites. Les théories développées doivent permettre de comprendre les bases du problème et l’éventuelle solution apportée, et être en rapport avec le travail effectué. Les équations doivent être discutées et expliquées. L’objectivité, la précision et l’exactitude doivent être discutées, notamment leur signification et leur contribution à la connaissance humaine. Leur accord avec les théories courantes doit être étudié. Les conclusions, souvent sous forme de liste de points, doivent être claires et tenter d’apporter une réponse aux questions posées ou ouvrir vers d’autres questions. La bibliographie doit être respectueuse des normes, soutenir les résultats et faits scientifiques avancés et être exacte [15].

21

À l’issue de la lecture, le fond théorique de l’étude, les techniques expérimentales qui ont permis de résoudre le problème ou ses étapes doivent être connus. La nouvelle théorie ou la solution apportée aux problèmes, ainsi que les perspectives ouvertes doivent être facilement déterminées.

En fonction de leur niveau de rigueur, les thèses sont cotées de 1 à 4, comme les livres.

Articles de revues

22

La grille d’analyse des articles tient compte de la rigueur de la rédaction, notamment de l’exposé de la méthode, des objectifs et hypothèses de travail. Elle s’interroge aussi sur la notoriété de la revue de publication, ainsi que sur le type d’étude menée et son niveau de preuve [13] [17] [23].

Analyse de la notoriété de la revue

23

La notoriété de la revue dans laquelle l’article est publié est évaluée car elle est souvent représentative de la qualité des résultats [10]. Un article publié dans une revue réputée présage souvent de sa qualité scientifique et de l’exigence de son comité de lecture.

24

Pour cette évaluation, la veille sanitaire s’appuie sur un indicateur statistique, mis au point par l’ISI (Information Science Institute) et publié dans le Journal of citation report : le facteur d’impact [14]. Ce facteur est le rapport, pour une année donnée, entre le nombre de citations sur une période de deux ans des articles publiés par le périodique et le nombre d’articles publiés par la revue. Une revue qui a un facteur d’impact élevé est très citée dans la bibliographie des articles des autres revues. Elle est donc très utilisée par les chercheurs et a une notoriété élevée. Un classement de la notoriété des revues, fonction du facteur d’impact, est ainsi établi.

25

Les revues dont le facteur d’impact est élevé (supérieur à 3,0) sont considérées comme les plus prestigieuses et classées au premier rang. Ce sont des revues internationales, de fait exclusivement en anglais, et très exigeantes. Elles publient des articles de recherche novateurs (fréquemment utilisés et cités). Leur couverture d’un champ disciplinaire est large et actualisée. Le plan de recherche et la méthode de leurs publications sont très rigoureux. Leur processus d’évaluation, de révision et de publication est difficile et long (environ deux ans). Deux rapporteurs au minimum analysent chaque manuscrit déposé et le taux de rejet est élevé (environ 80 %).

26

Les revues dont le facteur d’impact est compris entre 0,3 et 3,0 sont dites de deuxième rang. Ce sont des revues internationales ou nationales exigeantes. Les processus d’évaluation et de publication sont plus rapides, les taux de rejet moins élevés. Elles sont plus ouvertes aux revues de synthèse, aux recherches exploratoires. Leur reconnaissance peut varier selon la politique scientifique du moment.

27

Les revues de dernier rang ont un facteur d’impact inférieur à 0,3. Ce moindre niveau de citation peut s’expliquer de différentes façons. Soit elles sont moins exigeantes par rapport à la rigueur méthodologique, aux critères et processus de sélection et au nombre de rapporteurs (un rapporteur peut suffire). Soit elles sont moins accessibles au plan international ou jouissent d’une moindre reconnaissance de la communauté académique. Il s’agit parfois, aussi, de revues ayant une ligne éditoriale didactique pour lesquels les articles fondamentaux sont souvent absents. Soit ce sont des revues destinées à des thématiques très précises, à des secteurs d’activité ou des zones géographiques limitées, donc vouées à une communauté scientifique plus restreinte.

Rigueur du contenu

28

L’examen du contenu porte sur les qualités intrinsèques des différents chapitres de l’article. Plusieurs critères sont évalués [tableau 3].

Tableau 3 - Grille d’analyse de la rigueur du contenu des articlesTableau 3
29

La clarté, la concision et l’attractivité du titre de l’article sont examinées en premier lieu. Le résumé doit être court, précis et informatif. Il doit synthétiser la méthode de travail et les résultats. La rigueur de l’introduction est étudiée, notamment son caractère informatif et descriptif. L’introduction doit permettre la compréhension du travail et du contexte de l’étude. La réponse à deux questions doit être donnée : pourquoi le travail est-il entrepris et quel est son objectif ? La concision de la partie Matériel et méthodes est un critère de qualité d’un article. Ce chapitre doit être assez précis pour permettre la reproduction de l’expérience ou la vérification du travail. Il ne doit pas comporter de résultats mais doit décrire les détails expérimentaux nécessaires à leurs interprétations et à l’identification des biais, de la taille de l’échantillon, de l’étude menée, de sa durée et de son lieu. L’objectivité, la précision et l’exactitude des parties Résultats et Discussion sont importantes. Les résultats doivent être donnés avec précision et comparés par l’auteur à ceux d’autres publications, les différences expliquées et l’originalité du travail analysée. Les réponses à deux questions doivent être données : le but du travail a-t-il été atteint et les résultats sont-ils cohérents ?

30

La bibliographie doit respecter les normes de Vancouver [15], être exacte, étayer les résultats et être référencée dans le texte. Tout article dont les résultats sont à l’évidence incohérents est rejeté.

Type d’étude

31

La lecture de la partie Matériel et méthodes permet de déterminer le type d’étude menée pour en quantifier le niveau de preuve, indicateur de qualité reconnu par la communauté scientifique [7]. En veille sanitaire de défense, on a défini sept types d’étude [20] :

  • un essai clinique comparatif est une étude où les sujets sont répartis de manière aléatoire en groupes recevant le ou les traitements ou un placebo. Par exemple, l’article intitulé « A DNA vaccine for Ebola virus is safe and immunogenic in a phase I clinical trial » publié dans Clinical and Vaccine Immunology de novembre 2006 est un essai comparatif d’un vaccin contre la maladie d’Ebola analysé et sélectionné par la veille de défense [18] ;

  • une revue systématique est une critique de la littérature, qui évalue et synthétise toutes les études pertinentes et parfois contradictoires sur un sujet ;

  • la méta-analyse rassemble les données d’études comparables et les réanalyse au moyen d’outils statistiques pour donner une réponse quantitative à une question que chaque étude séparément ne pourrait donner ;

  • une étude de cohorte est une étude comparative où les sujets sont sélectionnés en fonction d’une ou de plusieurs caractéristiques et suivis dans le temps afin de mesurer les effets de ces caractéristiques. Dans ce cadre, la veille sanitaire de défense a, par exemple, examiné l’étude de cohorte intitulée « Ebola outbreak killed 5000 gorillas » publiée dans le revue Science de décembre 2006. Dans cette étude, les auteurs ont suivi au Congo et au Gabon, de 1995 à 2005, 243 gorilles. Ils ont mis en évidence la disparition de 93 % des individus étudiés liée au virus Ebola [6] ;

  • une étude cas-témoin est une étude rétrospective dans laquelle un groupe de sujets antérieurement exposés à un facteur de risque est comparé à un groupe de sujets non exposés à ce facteur. Nous avons ainsi analysé l’étude cas-témoin publiée dans American Journal of Tropical Medicine and Hygiene de décembre 2004 intitulée « Assessing water-related risk factors for Buruli ulcer: a case-control study in Ghana ». L’étude avait mis en évidence que la nage en rivières ou l’activité dans un environnement aquatique était un facteur de risque de la maladie [2] ;

  • une série de cas est une description de patients comparables, mais sans comparaison avec un groupe témoin ou un autre groupe. Par exemple, l’article, publié dans Cutis de juillet 2003, intitulé « Skin reaction following immunization with smallpox vaccine: a personal perspective » décrit le cas d’une réaction allergique après vaccination par la vaccin contre la variole. Cette publication attire notamment l’attention des praticiens sur le choix du site d’inoculation [30] ;

  • les études descriptives présentent les caractéristiques d’une maladie particulière. Une étude transversale décrit la fréquence d’une maladie, de ses facteurs de risque ou de ses autres caractéristiques, dans une population donnée, à un moment déterminé. Ce type d’étude est utile pour déterminer la prévalence d’une maladie à un moment déterminé et pour évaluer un nouveau test diagnostique.

Niveau de preuve

32

Le degré de qualité de l’étude peut être évalué par son niveau de preuve scientifique reposant sur des scores reconnus [3] [7]. Quatre niveaux de preuve sont retenus par la veille sanitaire de défense pour hiérarchiser la qualité de l’information publiée :

  • les études de niveau 1 ont une preuve scientifique établie. Ce sont les essais cliniques comparatifs randomisés et de forte puissance statistique et les méta-analyses d’essais cliniques comparatifs randomisés ;

  • les études de niveau 2 ont une présomption scientifique. Ce sont les essais comparatifs randomisés de faible taille, les études comparatives non randomisées bien menées et les études de cohorte ;

  • les études de niveau 3 sont des études cas-témoin à niveau de preuve plus bas que celles de niveau 2 ;

  • les études de niveau 4 ont le niveau de preuve le plus faible. Ce sont les études comparatives comportant des biais importants, les séries de cas et les études épidémiologiques descriptives transversales.

Cotation

33

À l’issue de l’analyse, le veilleur attribue au document une cote, estimation de sa valeur scientifique et fonction de la rigueur du contenu, du rang de la revue de publication et du niveau de preuve [tableau 4].

Tableau 4 - Grille de cotation des articlesTableau 4
34

Les articles cotés « 1 » sont donc des articles très rigoureux répondant à l’ensemble des critères de qualité évalués. Ils sont publiés dans des revues prestigieuses ou exigeantes avec un niveau de preuve scientifique établi ou avec forte présomption scientifique. Par exemple, l’article « Ebola outbreak killed 5000 gorillas » a été coté « 1 ». En effet, c’est une étude de cohorte, donc de niveau 2, avec une forte présomption scientifique. Il a été publié dans la prestigieuse revue Science, dont le facteur d’impact est de 30,9. De plus, c’est un article très rigoureux répondant à l’ensemble des critères de qualité de la grille.

35

Les articles cotés « 2 » sont publiés dans des revues prestigieuses ou exigeantes mais ont un niveau de preuve modéré. La grande majorité des critères de qualité sont également remplis, notamment sur le fond. Dans ce cadre, l’étude cas-témoin intitulée « Assessing water-related risk factors for Buruli ulcer: a case-control study in Ghana » a été cotée « 2 ». Son niveau de preuve est de 3. Elle est publiée dans American Journal of Tropical Medicine and Hygiene, une revue de deuxième rang, dont le facteur d’impact est de 2,48, et son fond scientifique est rigoureux.

36

Les articles moins rigoureux, publiés dans des revues exigeantes mais à niveau de preuve faible, sont cotés « 3 », de même que les articles à présomption scientifique publiés dans des revues de dernier rang. Ainsi la série de cas intitulée « Skin reaction following immunization with smallpox vaccine: a personal perspective » a été cotée « 3 ». Son niveau de preuve est de 4. Elle est publiée dans Cutis, une revue de deuxième rang, dont le facteur d’impact est de 0,92.

37

Les articles montrant le moins de rigueur scientifique, dont le niveau de preuve est modéré, faible ou de l’ordre de la présomption scientifique et publiés dans des revues de dernier rang sont cotés « 4 ».

38

Les articles publiés dans des revues prestigieuses mais avec un niveau de preuve faible ou bien des articles, à preuve scientifique établie, mais publiés dans des revues de dernier rang sont rarement retrouvés.

2 - Résultats

39

L’application de la grille a été conceptualisée sous forme d’un logigramme [figure 2], servant de document de référence pour l’analyse. Ainsi, du 1er mars au 31 juillet 2007, 11 990 documents ont été récoltés par notre processus. La première étape a dénombré 11 630 articles (97 %), 300 livres (2,5 %) et 60 thèses (0,5 %)., dont 1 979 documents écrits en français (18 %), 9 592 en anglais (80 %) et 419 (2 %) en une autre langue (principalement espagnol, portugais, italien, allemand et russe). Ces derniers ont été traduits par le logiciel Systran Professional®).

Figure 2 - Logigramme d’application de la grille d’analyse des documentsFigure 2
40

L’analyse du thème a montré que 11 790 documents ne correspondaient pas aux thématiques définies par l’OTAN dans son recueil sur les agents biologiques, soit 98,3 %.

41

Ces documents portaient principalement sur la chirurgie, la cancérologie, la neurologie, l’endocrinologie, l’ophtalmologie, la pédiatrie et la gynécologie obstétrique, thèmes n’intéressant pas notre processus. Trois ouvrages avaient des résumés peu significatifs (1,5 %). Ils ont été résumés dans leur intégralité par le logiciel Copernic Summarizer®. Finalement, sur les 200 documents restants, 72 ont été jugés originaux et correspondant aux applications de défense (36 %). En suivant la dernière étape de la grille, 46 ont été cotés « 1 », soit 64 % jugés d’un très haut niveau. Dix-sept ont été notés « 2 » (23,5 %) et 9 ont été cotés « 3 » (12,5 %). Aucun document coté « 4 » n’a été retrouvé.

3 - Discussion

42

L’application de cette grille présente deux avantages. Face au flux de documents auquel il doit faire face, elle permet de guider le veilleur dans son analyse, en lui donnant des critères définis et quantifiables. Elle permet également d’augmenter l’objectivité de son jugement.

43

Cependant, elle présente trois inconvénients. Des publications répondant à l’ensemble des critères évalués peuvent être diffusées, puis éventuellement controversées ultérieurement ou apparaître comme des fraudes scientifiques [4] [22]. Cette grille évalue les qualités scientifiques et de rigueur d’un document mais ne permet pas de quantifier son degré de « vérité scientifique ». De plus, même si la grille diminue la subjectivité de jugement du veilleur, elle ne l’annule pas. En effet, son interprétation d’humain, son degré d’expertise et son expérience personnelle prennent une part importante dans l’évaluation des critères, et donc dans la sélection et la diffusion des documents. Enfin, les sources utilisées n’étant pas exhaustives, un certain nombre de documents potentiellement dignes d’intérêt ne sont pas analysés ni donc diffusés.

4 - Conclusion

44

Pour remplir la mission de veille sanitaire de défense, une grille d’évaluation des documents à sept étapes, fondée sur des critères objectifs et quantifiables, a été créée. Son application permet, à partir d’une grande quantité de documents, de qualité variable, de guider le veilleur dans sa lecture et de ne sélectionner que ceux qui sont pertinents. Cependant, même si elle augmente son niveau d’objectivité, cette grille laisse une part importante à son interprétation d’humain. Il serait intéressant de pondérer cette part de subjectivité, notamment dans les étapes d’analyse d’originalité et d’applications de défense, qui laissent à l’expertise humaine une part importante. Une liste définie de critères quantifiant la nouveauté et les applications potentielles pourrait être élaborée et intégrée à la grille. Enfin, il serait intéressant de tester la pertinence de cette grille à d’autres thématiques de santé. •

45

SEPTEMBRE 2009


Références

  • 1 –  ACCART J.-P., RÉTHY M.-P. Le Métier de documentaliste. 3e éd. Paris : Électre-Éd. du Cercle de la librairie, 2008
  • 2 –  AIGA H., AMANO T., CAIRNCROSS S., ADOMAKO J., NANAS O.K., COLEMAN S. « Assessing water-related risk factors for Buruli ulcer: a case-control study in Ghana ». Am J Trop Med Hyg, 2004, 71(4): 387-92
  • 3 –  AGENCE NATIONALE D’ACCREDITATION ET D’EVALUATION EN SANTE. Guide d’analyse de la littérature et gradation des recommandations. Paris: ANAES, 2000
  • 4 –  BEAUVAIS F. L’Âme des Molécules - Une histoire de la mémoire de l’eau. Paris : Mille-Mondes/Lulu.com, 2007
  • 5 –  BEN ROMDHANE M., LAINE-CRUZEL S. « Prise en compte de la structure des articles en sciences agronomiques pour la navigation dans un corpus scientifique électronique ». Journées SFSIC-ENSSIB : Une nouvelle donne pour les revues scientifiques, Villeurbanne, France, 1997
  • 6 –  BERMEJO M., RODRIGUEZ-TEIJEIRO J.D., ILLERA G., BARROSO A., VILA C., WALSH P.D. « Ebola outbreak killed 5000 gorillas ». Science, 2006, 314 (5805): 1522-3
  • 7 –  BOISSEL J.-P. « L’évaluation thérapeutique et le niveau de preuve ». Rev Prat, 2004, 54 (2): 199-206
  • 8 –  BOULOGNE A. Vocabulaire de la documentation. Paris : ADBS, 2004
  • 9 –  BOUTIN J.-P., RIBIERE O., VAN CUYCK H., MALOSSE D. « Pour une veille sanitaire de défense ». Med Armees, 2004, 32 (4): 366-72
  • 10 –  CALLAHAM M.L., TERCIER J. « The Relationship of previous training and experience of journal peer reviewers to subsequent review quality ». PLoS Med, 2007, 4 (1): 32-40
  • 11 –  CHAUMIER J. Travail et méthodes du documentaliste : pour une exploitation méthodique et optimale de l’information. 6e éd. Issy-les-Moulineaux : ESF éditeur, 2000
  • 12 –  CHAUMIER J, DEJEAN M. « L’indexation documentaire : de l’analyse conceptuelle humaine à l’analyse automatique morpho-syntaxique ». Documentaliste – Sciences de l’information, 1990, 27(6): 275-9
  • 13 –  COTE L., TURGEON J. « Comment lire de façon critique les articles de recherche qualitative en médecine ». Pedagog Med, 2002, 3: 81-90
  • 14 –  HECHT F., HECHT B.K., SANDBERG A.A. « The Journal "Impact Factor": a misnamed, misleading, misused measure ». Cancer Genet Cytogenet, 1998, 104: 77-81
  • 15 –  HUPIN C., TANTI M., FERCHICHI S., MIGLIANI R., BOUTIN J.-P. « Veille sanitaire de défense : objectifs, définition et mise en place au sein du Service de santé des armées ». Journées de veille sanitaire, Paris, France; 2005
  • 16 –  INTERNATIONAL COMMITTEE OF MEDICAL JOURNAL EDITORS. « Uniform requirements for manuscripts submitted to biomedical journals ». Fifth edition. N Engl J Med, 1997, 336: 309-16
  • 17 –  MALINOVSKY J.-M., PAIN L., JUVIN P., LANGERON O., RIOU B., MARTIN C. « Aide à la lecture d’une étude scientifique : Comité des référentiels cliniques de la Société française d’anesthésie et de réanimation ». Ann Fr Anesth Reanim, 2000, 19 (3): 209-16
  • 18 –  MARTIN J.E., SULLIVAN N.J., ENAMA M.E., GORDON I.J., ROEDERER M., KOUP R.A., et al. « A DNA vaccine for Ebola virus is safe and immunogenic in a phase I clinical trial ». Clin Vaccine Immunol, 2006, 13 (11): 1267-77
  • 19 –  MIGLIANI R., HUPIN C., TANTI M., MERLIN M., BOUTIN J.-P. « Bédouin et Réduves : deux outils de veille sanitaire au profit des forces armées françaises ». 32° Congrès mondial de médecine militaire; Hammamet, Tunisie; 2007
  • 20 –  MOTULSKY H.-J. Biostatistique, une approche intuitive. Paris : De Boeck Université; 2002
  • 21 –  NORTH ATLANTIC TREATY ORGANISATION. NATO Handbook on the medical aspects of NBC defensive operations AMedP-6(B). USA : NATO; 1996
  • 22 –  RAMUNNI G. « La fraude scientifique ». Rev Hist CNRS, 2003, 9
  • 23 –  SALMI L.-R. « Lecture critique d’un article médical : à la recherche des innovations réellement utiles ». Encyclopédie Médico-Chirurgicale - Traité de Médecine Akos. Paris : Elsevier; 2004
  • 24 –  SIMONNOT B. « Évaluer l’information ». Documentaliste – Sciences de l’information, 2007, 44 (3): 210-216
  • 25 –  TANTI M., HUPIN C., BOUTIN J.-P. « Réduves, bulletin Réduves : présentation et évaluation ». 2e forum de la recherche du Service de santé des armées ; Porquerolles, France, 2007
  • 26 –  TANTI M., HUPIN C., HASSANLY P., BOUTIN J.-P. « Processus de veille documentaire scientifique au profit de la veille sanitaire de défense ». Humanisme et entreprise, 2007, 285 (54): 65-86
  • 27 –  TANTI M., HUPIN C., BOUTIN J.-P. « Le système d’information documentaire de la veille sanitaire de défense française ». Séminaire international SIIE 2008, Hammamet, Tunisie, 2008
  • 28 –  TEXIER G., MEYNARD J.-B., MICHEL R., MIGLIANI R., BOUTIN J.-P. « Faut-il tenter de publier une étude qui ne conclut rien ? ». Presse Med, 2007, 36 (3): 541-50
  • 29 –  TIETSE S. « Construction de la valeur d’usage des sources d’information stratégique en médecine : application dans le domaine hospitalo-universitaire ». Séminaire VSST 2004, Toulouse, France; 2004
  • 30 –  URKIN J. « Skin reaction following immunization with smallpox vaccine: a personal perspective ». Cutis, 2003, 72 (1): 43-6

Résumé

Français

Un service de veille scientifique est amené à collecter une masse importante de documents de qualité variable. Pour identifier les plus pertinents d’entre eux, l’Unité de veille sanitaire de l’Institut de médecine tropicale du service de santé des armées (IMTSSA) a élaboré une grille d’analyse en sept étapes. En tenant compte de la rigueur du contenu et, dans le cas d’un article, du facteur d’impact de la revue de publication et du niveau de preuve de l’étude, cette grille permet d’estimer la valeur scientifique d’un document. Marc Tanti, en collaboration avec Christian Hupin, Jean-Paul Boutin et Parina Hassanaly, présente dans cet article la grille qu’ils ont conçue, fondée sur des critères définis et quantifiables ; puis expose et discute les résultats qu’ils ont obtenus dans le domaine de la veille sanitaire de défense. Un modèle qui pourra être transposé avec profit dans d’autres secteurs de recherche.

English

A template for evaluating scientific documents in health surveillanceA service dedicated to scientific monitoring will collect a large amount of information of variable quality. To identify the most relevant, the health surveillance department of the French Army Health Service’s Tropical Medicine Institute developed a seven-step methodology. The scientific value of a document can be assessed by applying high standards to content and taking into account (for articles) the impact of the journal and the quality of evidence presented The authors describe their template, based on defined, quantifiables criteria, and discuss the results obtained in the field of defense health surveillance Other research fields could benefit from adopting their model.

Español

Un modelo de parrilla de análisis de los documentos científicos: aplicación al cuidado sanitarioUn servicio de vigilancia científica lleva a recopilar una gran cantidad de documentos de calidad variable. Para identificar los más pertinentes, la Unidad de cuidado sanitario del Instituto de Medicina Tropical del Servicio de Sanidad de la Armada (IMTSSA) ha elaborado una parrilla de análisis de siete etapas. Teniendo en cuenta el rigor del contenido y, en el caso de artículos, el factor de impacto de la revisión de publicación y del nivel de previsión del estudio, esta parrilla permite estimar el valor científico de un documento. Los autores presentan en este artículo la parrilla que han ideado, fundada en unos criterios definidos y cuantificables y, a continuación, exponen y discuten los resultados obtenidos en el campo de la vigilancia sanitaria y de defensa. Se trata de un modelo que se podrá trasladar con éxito a otros sectores de la investigación.

Deutsch

Ein Modell eines Analyseschemas wissenschaftlicher Dokumente: Anwendung in der GesundheitsbeobachtungEin Dienst der wissenschaftlichen Beobachtung hat die Aufgabe, eine bedeutende Menge an Dokumenten von variabler Qualität zu sammeln. Um die wichtigsten unter ihnen zu identifizieren, hat das Institut der Tropenmedizin der Gesundheitsdienste der Armee (IMTSSA) ein Analyseschema in sieben Schritten erarbeitet. Dieses Schema schätzt die wissenschaftliche Relevanz eines Dokumentes ein, indem sie die Genauigkeit des Inhaltes und, im Falle eines Aufsatzes, den Einfluss der veröffentlichenden Zeitschrift und das Beweisniveau der Studie berücksichtigt. In diesem Beitrag stellen die Autoren das Schema vor, das sie basierend auf definierten und quantifizierbaren Kriterien entwickelt haben. Anschließend benennen und diskutieren sie die Ergebnisse, die sie im Bereich der Beobachtung der Verteidigungsgesundheit erreicht haben. Dieses Modell könnte mit Gewinn auf andere Forschungssektoren übertragen werden.

Plan de l'article

  1. 1 - Méthode
    1. 1 - Détermination du type de document
    2. 2 - Traduction
    3. 3 - Contrôle du thème
    4. 4 - Résumé
    5. 5 - Analyse de l’originalité
    6. 6 - Applications pour la défense
    7. 7 - Analyse de la validité scientifique
      1. Ouvrages
      2. Thèses
      3. Articles de revues
        1. Analyse de la notoriété de la revue
        2. Rigueur du contenu
        3. Type d’étude
        4. Niveau de preuve
        5. Cotation
  2. 2 - Résultats
  3. 3 - Discussion
  4. 4 - Conclusion

Pour citer cet article

Tanti Marc, Hupin Christian, Boutin Jean-Paul, Hassanaly Parina, « Un modèle de grille d'analyse des documents scientifiques : application à la veille sanitaire de défense », Documentaliste-Sciences de l'Information, 1/2010 (Vol. 47), p. 4-12.

URL : http://www.cairn.info/revue-documentaliste-sciences-de-l-information-2010-1-page-4.htm
DOI : 10.3917/docsi.471.0004


Article précédent Pages 4 - 12 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback