Published on 29 octobre 2020 |

[Covid-19, sciences en société] Pairs et impairs des publications

Par Thomas Guillemaud (Inrae Isa) et Denis Bourguet (Inrae CBGP)

Dans la saga de l’hydroxychloroquine (HC), il est un épisode particulièrement marquant : le 4 juin 2020, la très célèbre revue The Lancet retirait de ses colonnes une étude suggérant que l’HC augmentait la mortalité chez les patients touchés par le Covid-19. Si nombre de scientifiques voient dans ce retrait d’article le gage que l’on sait débusquer les papiers douteux, le système des publications gagnerait quand même à retourner à ses études afin de garantir une indépendance, notamment à l’égard des intérêts privés. Bref, plus de transparence, pour regagner la confiance.

Pourquoi les scientifiques publient-ils leurs résultats dans des revues ? Simplement pour les rendre disponibles à tous,les archiver pour le futur et créditer les auteur.e.s pour leur découverte. À cette occasion, les résultats sont passés au crible d’une évaluation par les pairs. En effet, toute revue scientifique sérieuse dispose d’un bureau éditorial constitué d’un.eéditeur.rice en chef épaulé.e de plusieurs associé.e.schargé.e.s d’organiser l’évaluation des articles qui leur sont soumis. Cette évaluation se fait sur la base d’une relecture menée souvent par des collègues et/ou spécialistes du sujet. Charge ensuite auxéditeur.rice.sde prendre une décision éditoriale (rejet, demande de modifications ou acceptation de l’article).

En sciences expérimentales, par exemple en biologie, les évaluations se concentrent en général sur le contexte scientifique, la pertinence de la question posée, la méthodologie employée, la qualité apparente des résultats, la cohérence des interprétations et l’importance des résultats en lien avec l’état de l’art. Reste que, les expérimentations étant le plus souvent longues et chères, les évaluateur.rice.s ne sont pas en mesure de les reproduire et doivent donc faire confiance aux auteur.e.s. Une différence importante avec les disciplines théoriques, comme les mathématiques, pour lesquelles l’exactitude des démonstrations, et donc des résultats décrits dans les articles, peuvent être vérifiés.

C’est cette confiance qui est au centre de récentes polémiques au sujet de publications scientifiques liées au Sars-Cov-2. Les données de l’article de Mehra et al. (2020), publié par The Lancet puis rétracté par les auteurs, ont-elles vraiment été acquises comme l’article le prétend ?

Mais ce n’est pas tout. L’évaluation par les pairs souffre également de la façon très sous-optimale dont elle est organisée par les bureaux éditoriaux. La plupart du temps, les données issues des expérimentations, n’étant pas exigées par les revues, ne sont donc pas fournies par les auteur.e.s. Avec cette conséquence : impossible d’accéder au détail des méthodes de traitement des données et de leur analyse statistique. Ajoutez à cela que, le plus souvent, les revues ne demandent pas aux évaluateur.rice.s de réanalyser les données – de toute façon, il est souvent matériellement impossible de les réanalyser puisqu’elles ne sont pas disponibles ! Autre hic, les pairs sont peu ou mal guidés dans leur évaluation par les revues : quoi évaluer ? quels critères utiliser ? comment évaluer ? De plus, les bureaux éditoriaux se défaussent souvent de leur responsabilité en demandant aux pairs chargés de la relecture de proposer des décisions éditoriales et d’endosser ainsi, en partie, le rôle d’éditeur.rice.s. Enfin, les évaluations ne sont en général pas publiées par les revues.

En conséquence, les évaluations d’articles sont souvent insatisfaisantes et, lorsqu’elles ne sont pas publiées, elles constituent de véritables boîtes noires. Les lecteurs.rices savent qu’il y a eu évaluation mais ne savent pas comment, avec quel niveau d’exigence, pour répondre à quels critères et sur quels points précisément. Aucune assurance donc que l’évaluation ait été réalisée de manière rigoureuse et éthique (absence de conflit d’intérêts, compétence des différents protagonistes, réalité d’un travail approfondi, prise en compte des remarques deschargés de l’édition et de la relecture par les auteur.e.s).

Afin d’améliorer cette situation, nous proposons que les revues scientifiques exigent la publication des données brutes et de tous les scripts, codes, paramètres des logiciels d’analyses qui permettent auxrelecteur.rice.s (et aux lecteur.rice.s) de reproduire transformations et traitements statistiques ; qu’elles demandent aux relecteur.rice.sde réanalyser les données quand c’est possible ; qu’elles clarifient leurs critères d’évaluation ; et qu’elles publient les rapports de relecture par les pairs, les décisions des éditeurs.rices et les réponses des auteur.e.s.

De cette façon, chacun.e pourra se faire une idée de la qualité des évaluations. Et renouer avec la confiance.

Pour aller plus loin, lire aussi : “Le numérique passé en revues”

Lire l’ensemble du dossier [Covid-19, sciences en société]