Accueil Revues Revue Numéro Article

Comptabilité - Contrôle - Audit

2012/1 (Tome 18)


ALERTES EMAIL - REVUE Comptabilité - Contrôle - Audit

Votre alerte a bien été prise en compte.

Vous recevrez un email à chaque nouvelle parution d'un numéro de cette revue.

Fermer

Pages 3 - 8 Article suivant
1

Dans un précédent éditorial (CCA, tome 15, volume 2, décembre 2009), nous avions évoqué les évaluateurs en insistant sur le fait qu’ils constituaient une ressource rare pour la revue. Nous allons maintenant revenir sur le rôle des évaluateurs en approfondissant certains points peu évoqués en 2009 : Comment les choisit-on ? Combien en nomme-t-on ? Comment les « gère »-t-on ? Qu’est-ce qu’un « bon » rapport d’évaluation ? Qu’est-ce qu’un « mauvais » rapport d’évaluation ?

2

Le lecteur aura sans doute remarqué la présence de nombreux guillemets dans nos questions, tant la matière peut être délicate, subjective, pour ne pas dire subtile.

Comment choisit-on un évaluateur ?

3

Nous utilisons le système de soumission Bepress depuis la fin de l’année 2008. Ce système contient une liste de tous les évaluateurs potentiels (liste que nous avons fournie au début de l’utilisation du système et que nous mettons à jour régulièrement) avec les centres d’intérêt de ces évaluateurs.

4

Les critères de choix des évaluateurs sont très simples : compétence sur le thème traité par l’article et disponibilité. Lorsque nous recevons un article, nous avons la possibilité de faire apparaître l’intégralité de la liste des évaluateurs, de faire une recherche par nom (si nous avons un évaluateur précis en tête) ou par mots clés (par exemple « audit » ou « IFRS »). Ensuite, nous regardons si l’évaluateur pressenti évalue déjà d’autres articles. Nous sommes en effet plusieurs rédacteurs à gérer les articles et pouvons avoir recours aux mêmes évaluateurs. Or, nous nous sommes fixé pour règle de ne jamais solliciter un évaluateur pour plus d’un article à la fois (sauf cas de resoumission d’un article, auquel cas nous devons envoyer la version révisée aux évaluateurs du tour précédent).

5

Si, pour la plupart des articles, le premier évaluateur sollicité accepte, il n’est pas rare de devoir contacter un deuxième évaluateur en cas de refus du premier. Ainsi, pour certains articles, très rares, heureusement, nous avons été amenés à contacter jusqu’à cinq évaluateurs.

6

Nous attachons beaucoup d’importance à l’éthique et souhaitons éviter tout conflit d’intérêt. Aussi, avons-nous pour pratique de ne jamais nommer un évaluateur faisant partie de la même institution que l’auteur (ou l’un des coauteurs). Nous évitons également les évaluateurs étant des coauteurs des auteurs de l’article soumis. (Cependant, cette information peut parfois nous échapper). Il arrive ainsi que certains évaluateurs déclinent d’eux-mêmes notre invitation à évaluer en nous signalant ce conflit d’intérêt potentiel et nous leur en savons gré.

7

Nous avons évoqué dans un éditorial précédent (CCA, tome 16, volume 1, avril 2010) les rejets des articles qui, selon nous, sortent du champ de CCA. La difficulté (voire l’impossibilité) de trouver un évaluateur acceptant d’évaluer l’article peut constituer un élément montrant que l’article n’est pas dans le champ de la revue.

Combien nomme-t-on d’évaluateurs ?

8

Le système Bepress permet de nommer autant d’évaluateurs par article que l’on veut. D’un commun accord entre rédacteurs et conformément à la pratique majoritaire des revues françaises et internationales, nous désignons deux évaluateurs par article.

9

Cependant, dans des cas particuliers, nous avons été amenés à nommer un troisième évaluateur. Si par exemple, l’article utilise une méthode statistique très pointue que les évaluateurs de CCA, même très compétents en statistiques, ne pratiquent pas, nous pouvons demander l’aide d’un troisième évaluateur en lui demandant de se concentrer sur tel ou tel aspect de l’article.

Comment « gère »-t-on un évaluateur ?

10

La « gestion » des évaluateurs comporte deux aspects principaux : les délais de remise des rapports et la réaction des évaluateurs en cas de non-respect de leur suggestion.

Le respect des délais de remise du rapport d’évaluation

11

Une fois que les deux évaluateurs contactés ont accepté, nous entrons dans une phase d’attente des rapports. Cette phase varie selon les revues, comme le montre le tableau 1 ci-dessous. Nous devons insister sur le caractère non exhaustif et non figé du tableau 1.

Tableau 1 - Délais « officiels » communiqués aux évaluateurs pour rendre leur rapportTableau 1
12

Afin de respecter les délais, les plateformes électroniques de soumission (comme Bepress, pour CCA, mais aussi « Editorial Manager », ou « Scholar One Manuscripts » [anciennement « Manuscript Central »]) ont pour pratique d’envoyer des courriels de « relance préventive », quelques jours avant la date limite de reddition du rapport. Lorsque la date limite est dépassée, la plateforme passe à des courriels de véritable relance pour cause de retard.

13

Ce système, gentiment baptisé par certains évaluateurs de CCA la « machine à baffes », nous semble être d’une efficacité toute relative. En effet, d’après notre expérience, autant les « relances préventives » semblent efficaces (beaucoup de rapports nous sont envoyés autour de la date limite), autant les relances pour cause de retard génèrent rarement un effet. Plusieurs évaluateurs retardataires semblent visiblement insensibles à ces courriels de rappel.

14

Face à un retard significatif (plus d’une semaine), nous avons plusieurs possibilités. Dans certains cas, l’évaluateur nous contacte pour nous faire part d’une difficulté temporaire en nous demandant de décaler légèrement la date limite. Nous répondons bien sûr toujours positivement à ce type de requête et reculons la date limite dans le système Bepress (seule façon d’arrêter la « machine à baffes »).

15

Pour les évaluateurs ne nous contactant pas, c’est nous qui le faisons en essayant de savoir si l’évaluateur rencontre une difficulté temporaire ou plus importante. Dans le second cas, s’il s’avère que l’évaluateur est dans l’impossibilité d’établir son rapport (problème de disponibilité ou de santé), nous avons alors deux solutions :

16

1. Prendre une décision sur la base d’un seul rapport. Cette solution n’est pas idéale. Nous l’avons mise en œuvre récemment pour un article qui était en phase quasi finale d’acceptation. L’évaluateur défaillant avait proposé une acceptation avec révisions mineures au tour précédent et l’autre évaluateur venait de proposer la même décision. Cet article était en bonne voie et la solution d’un seul rapport pouvait donc être envisagée. En revanche, pour un article au début du cycle (1er ou 2e tour), qu’il soit « problématique » ou pas, le recours à un seul évaluateur ne nous semble pas possible, d’où une seconde solution.

17

2. Demander une évaluation en urgence (huit jours) à un troisième évaluateur. C’est possible et nous l’avons fait dans le passé. Mais cette solution sous-entend que nous contactions un évaluateur dont nous savons qu’il acceptera, sachant que nous ne devons pas abuser de la bonne volonté des évaluateurs. C’est pourquoi, elle doit rester exceptionnelle.

Le non-respect de la recommandation de l’évaluateur

18

Rappelons que le système Bepress nous offre le choix entre quatre décisions :

  • acceptation (pure et simple) ;

  • acceptation avec révisions mineures ;

  • révisions majeures (que nous appelons « révision/ resoumission ») ;

  • rejet.

Lorsque l’avis des évaluateurs est concordant, la décision éditoriale est relativement facile à prendre (même si le rédacteur se réserve toujours le droit de prendre une décision autre que celle recommandée par les évaluateurs) [1][1] Nous avons pris récemment une décision de rejet d’un.... En revanche, dès qu’il y a un désaccord entre les évaluateurs, le rédacteur doit trancher. Nous pouvons prendre le cas du premier tour pour illustrer notre propos. Si le « grand écart » entre évaluateurs est rare (l’un propose le rejet et l’autre l’acceptation avec révisions mineures), le « petit écart » est beaucoup plus fréquent : l’un propose la resoumission avec révisions majeures tandis que l’autre recommande le rejet [2][2] Sur la base de statistiques partielles (37 décisions.... Dans ce cas, le rédacteur va forcément mécontenter quelqu’un : l’auteur, en cas de rejet, l’évaluateur qui a proposé le rejet, en cas de révision/resoumission. En effet, dans ce cas, l’évaluateur peut se sentir déjugé. Cette situation de « petit écart », fréquente nous l’avons vu, peut s’expliquer par la difficulté à appréhender, dès à présent, la probabilité que le papier forme une contribution acceptable en bout de processus.

19

Sans être de grands psychologues, nous essayons dans nos lettres éditoriales de ménager l’évaluateur dont nous ne respectons pas l’avis en expliquant à l’auteur (et indirectement à l’évaluateur) pourquoi nous n’avons pas suivi son opinion. Par exemple, un évaluateur peut suggérer le rejet alors que nous estimons que tous les changements qu’il propose peuvent être effectués, certes avec beaucoup de travail. Tout est une question d’estimation de la capacité de l’auteur à améliorer son article en suivant les recommandations des évaluateurs. Le « jugement professionnel » du rédacteur (on peut parler ainsi !) résulte alors d’un questionnement assez simple : les révisions majeures demandées par l’évaluateur sont-elles « implémentables » ; le fait de les implémenter modifiera-t-il radicalement (dans sa substance) la proposition d’article ?

20

Mais si nous penchons pour le rejet, alors l’évaluateur qui a proposé la révision/resoumission peut également se sentir en difficulté et penser qu’il est passé à côté de quelque chose d’important. Là encore, nous essayons dans la lettre éditoriale d’expliquer que cet évaluateur s’est peut-être attaché à certains aspects de l’article, ce qui explique sa position.

21

Mais que faire au deuxième voire au troisième tour lorsqu’un évaluateur propose l’acceptation et l’autre le rejet ? Si le rédacteur décide de poursuivre le processus, l’évaluateur qui a proposé le rejet (à chaque tour !) n’a souvent plus envie de travailler sur le papier. Dans ce cas, nous admettons qu’il est possible de continuer le processus avec un seul évaluateur, le rédacteur endossant le rôle du second évaluateur et surtout assumant sa décision favorable à l’auteur.

22

Pour finir, il n’est pas surprenant de savoir que certaines revues demandent explicitement à leurs évaluateurs de ne pas préconiser une décision précise. Les rédacteurs se réservent alors le droit de prendre leur décision sur la base du contenu des rapports eux-mêmes, et non pas de la recommandation d’un évaluateur.

Qu’est-ce qu’un « bon » rapport d’évaluation ?

23

Si la plupart des revues que nous connaissons ne donnent pas de consignes explicites et précises à leurs évaluateurs, deux d’entre elles préfèrent donner une ligne directrice aux évaluateurs.

24

Par exemple, une revue demande aux évaluateurs de rédiger les conclusions de façon « non agressive ». Elle ajoute que « le travail du rapporteur doit être fait de façon critique, mais dans une perspective positive d’amélioration de l’article, même si, in fine, l’avis est très défavorable. Les avis adressés aux auteurs doivent être rédigés de façon suffisamment circonstanciée pour leur être communicable sans une remise en forme préalable. En cas de rejet définitif de l’article, il est souhaitable que le rapporteur suggère à l’auteur un autre support possible de publication ».

25

Une autre revue demande aux évaluateurs de porter une attention particulière aux deux points suivants : (1) Est-ce que l’article apporte une contribution à la littérature ? (2) Est-ce que le thème de l’article est en phase avec la ligne éditoriale de la revue ? Mais cette revue ajoute que l’évaluateur doit se sentir libre d’effectuer des commentaires sur tout autre aspect de l’article.

26

Pour en venir à CCA, nous ne donnons aucune consigne aux évaluateurs (même si nous approuvons entièrement les consignes données par les deux revues précitées). Dans ce contexte, les évaluateurs ont une liberté totale pour rédiger leur rapport. Aussi, la question « qu’est-ce qu’un “bon” rapport d’évaluation ? » est-elle très délicate. En réfléchissant, il nous semble qu’un « bon » rapport d’évaluation est un rapport :

  • utile au rédacteur pour sa prise de décision

  • utile à l’auteur pour améliorer son article, que la décision finale soit favorable ou défavorable. En effet, il est important de noter que si l’article fait l’objet d’une décision de rejet, il est du devoir de la revue d’aider son auteur à l’améliorer pour le soumettre à une autre revue.

Comment alors être « utile » à tout le monde ? Nous allons présenter ci-dessous quelques exemples de plans de rapports que nous estimons avoir été utiles. Ces plans ne constituent en aucune manière des schémas types devant être impérativement suivis.

Exemple 1 (recommandation : rejet)

27
  • Présentation

  • Commentaires sur le fond

    • Introduction

    • Revue de la littérature

    • Contexte de l’étude

    • Développement des hypothèses

    • Méthodologie

    • Analyse et discussion des résultats

  • Commentaire sur la forme

Exemple 2 (recommandation : révision/resoumission)

28
  • Objectif de l’article

  • Remarques générales (intérêt de la recherche)

  • Hypothèses

  • Méthodologie (modèle logistique, modèle de panel)

  • Variables

  • Résultats et interprétation

  • Remarques mineures de forme

  • Références

Exemple 3 (recommandation : rejet)

29
  • Objectifs

  • Absence de contribution

  • Problèmes de mise en œuvre

Exemple 4 (recommandation : révision/resoumission)

30
  • Présentation et intérêt de l’article

  • Contribution

  • Le cadre conceptuel

  • Méthodologie

  • Rédaction : causalité vs. association

Exemple 5 (recommandation : acceptation avec révisions mineures)

31
  • Présentation de l’article

  • Rédaction

  • Piste pour enrichir les résultats

  • Synthèse

Exemple 6 (recommandation : rejet)

32
  • Problématique

  • Points de forme

  • Fond : général

  • Qualité de la méthodologie

  • Résultats

  • Avis

Exemple 7 (recommandation : révision/resoumission)

33
  • Présentation de l’article et synthèse de l’avis de l’évaluateur

  • Introduction

  • Partie 1 : cadre théorique

  • Partie 2 : méthodologie de la recherche

  • Partie 3 : Étude de cas

  • Dénouement – conclusion

  • Conclusion

Quelle que soit la démarche adoptée par l’évaluateur dans la construction de son argumentaire, un élément nous semble particulièrement important : le rapport « utile » est un rapport structuré. Il est même souhaitable que cette structure, sans être forcément très détaillée, puisse mettre en avant une hiérarchie des arguments ou suggestions. Dans cette optique, une revue comme Auditing : A Journal of Practice and Theory suggère par exemple à ses évaluateurs d’organiser leur rapport en trois temps : (1) un bref résumé des objectifs et conclusions du papier, (2) une discussion des forces et faiblesses jugées majeures, et (3) des commentaires plus spécifiques. Une telle organisation nous paraît pertinente car elle per-met de fixer rapidement l’attention du rédacteur sur les apports et problèmes majeurs du papier.

Qu’est-ce qu’un « mauvais » rapport d’évaluation ?

34

Nous devons terminer par la question qui fâche : recevons-nous de « mauvais » rapports d’évaluation ? En toute honnêteté, c’est très rare et nous pouvons même dire de plus en plus rare. Nous avons eu la chance de bénéficier en 2011 du concours de 84 évaluateurs (dont les noms figurent à la fin de ce numéro) et qui nous envoient des rapports de grande qualité.

35

Mais tout le monde est perfectible et nous nous devons d’évoquer les caractéristiques d’un rapport qui ne serait pas utile au rédacteur et à l’auteur.

36

• Texte agressif. Même si certains articles soumis laissent vraiment à désirer, notamment au plan de la forme, et consomment le temps de l’évaluateur de manière inutile, il est fondamental de garder son calme et de rester courtois.

37

• Arguments non étayés. Chaque fois que l’évaluateur émet une critique, il doit, dans la mesure du possible, justifier sa position, en particulier par des références lorsqu’il en existe.

38

• Écrire un autre article. Parfois, l’évaluateur peut être tenté de suggérer d’écrire l’article tel qu’il l’aurait écrit lui-même. Ceci n’est pas possible. Il faut évaluer l’article dans l’esprit de l’auteur. Bien sûr, ceci n’empêche pas de critiquer l’article et de proposer des pistes de réécriture, voire de réorienter l’article.

Quelques mots de conclusion ?

39

Le travail d’évaluation d’un article est important pour les auteurs, qui y trouvent souvent des indications intéressantes pour faire progresser leur réflexion. Dès lors que ce travail est bien fait (et nous sommes souvent ravis du soin mis par les évaluateurs à rédiger leurs commentaires), il représente une charge substantielle de travail pour laquelle les évaluateurs doivent avoir toute notre considération. Ils participent à un travail d’amélioration collective au plus grand bénéfice de notre communauté.

Notes

[1]

Nous avons pris récemment une décision de rejet d’un article alors que les deux évaluateurs proposaient la resoumission avec révisions majeures. En fait, les remarques concordantes des évaluateurs mettaient en lumière des défauts fondamentaux dans l’article.

[2]

Sur la base de statistiques partielles (37 décisions éditoriales de premier tour), nous avons les éléments suivants : 21 concordances des évaluateurs, 10 « petits écarts » Rejet/Révision-resoumission, 4 écarts « moyens » Acceptation avec révisions mineures/ Révision-resoumission, 2 « grands écarts » Acceptation avec révisions mineures/Rejet.

Plan de l'article

  1. Comment choisit-on un évaluateur ?
  2. Combien nomme-t-on d’évaluateurs ?
  3. Comment « gère »-t-on un évaluateur ?
    1. Le respect des délais de remise du rapport d’évaluation
    2. Le non-respect de la recommandation de l’évaluateur
  4. Qu’est-ce qu’un « bon » rapport d’évaluation ?
  5. Exemple 1 (recommandation : rejet)
  6. Exemple 2 (recommandation : révision/resoumission)
  7. Exemple 3 (recommandation : rejet)
  8. Exemple 4 (recommandation : révision/resoumission)
  9. Exemple 5 (recommandation : acceptation avec révisions mineures)
  10. Exemple 6 (recommandation : rejet)
  11. Exemple 7 (recommandation : révision/resoumission)
  12. Qu’est-ce qu’un « mauvais » rapport d’évaluation ?
  13. Quelques mots de conclusion ?

Pour citer cet article

Berland Nicolas,   Stolowy Hervé,  Piot Charles, « Éditorial. De l'importance des évaluateurs pour CCA », Comptabilité - Contrôle - Audit, 1/2012 (Tome 18), p. 3-8.

URL : http://www.cairn.info/revue-comptabilite-controle-audit-2012-1-page-3.htm
DOI : 10.3917/cca.181.0003


Pages 3 - 8 Article suivant
© 2010-2014 Cairn.info
back to top
Feedback