L'épidémie a-t-elle ébranlé la confiance dans la science ?

Nous en parlons avec Martina Knoop, physicienne, directrice de la Mission pour les Initiatives Transverses et Interdisciplinaires du CNRS, et chercheuse CNRS en physique quantique expérimentale dans un laboratoire universitaire à Marseille

Que s’est-il passé? Comment une revue aussi prestigieuse a-t-elle pris un tel risque de publier des résultats aussi controversés et se de dédire ensuite?

D’abord, il faut se remettre dans le contexte, qui est celui d’une épidémie très meurtrière. Dans les services de réanimation, les médecins sont impatients de connaître des traitements qui pourraient aider à la survie des patients. Et il y a une compétition très vive entre les équipes de chercheurs, et donc une tendance à vouloir faire vite, parfois trop vite.

Dans cette étude, le système de contrôle des travaux scientifiques n’a pas fonctionné. Il y a eu des défaillances à tous les niveaux.

D’abord, les données sur lesquelles ce travail repose —qui se sont révélées par la suite défaillantes— n’avaient pas été communiquées à l’ensemble des chercheurs. Ceux-ci ont signé les yeux fermés avant de reconnaitre, sous la pression médiatique, qu’ils avaient fait confiance à des données hospitalières fournies par un de leurs collègues, sans chercher à en savoir plus. Pour une publication scientifique, tous les auteurs sont responsables du contenu. Avec le tollé provoqué par cette publication, ils ont donc demandé le retrait de cet article. Il est incroyable que des chercheurs signent ainsi un travail qui repose sur des données dont ils ne semblent jamais avoir questionné la fiabilité.

Ensuite, les experts scientifiques chargés par le Lancet de vérifier la qualités de ce travail ne se sont pas non plus posés la question de la fiabilité des données. Il semble qu’ils ont donné leur aval un peu vite à cette publication. 

Enfin, l’éditeur de la revue, qui a le dernier mot, a décidé de publier en suivant cet avis favorable, sans lui-même se poser de questions. On peut donc dire que le système de publication scientifique a été défaillant à tous les niveaux, ce qui montre qu’aucune revue, même la plus prestigieuse, n’est à l’abri d’une erreur.

Ce type de raté est-il fréquent dans l’édition scientifique?

Il se publie plus de 1,5 million de travaux scientifiques chaque année dans le monde, et environ cinquante mille cosignées par un auteur affilié au CNRS. Les rétractions sont parfois très médiatisées, mais elles représentent qu’une proportion infime dans cet océan de publications. Très peu passent à travers les mailles du filet. Pour le grand public, une rétraction est bien sûr plus spectaculaire que mille articles publiées sans faille.

Comment fonctionne ce « filet », ce dispositif destiné à s’assurer la qualité des travaux publiés dans les revues scientifiques?

Les publications s’appuient le plus souvent sur ce que l’on appelle le processus de révision par les pairs, le peer-review. Les auteurs d’un travail rédigent une première version de leur article, dans laquelle ils décrivent leurs résultats et leurs conclusions. Puis, il soumettent leur manuscrit à l’éditeur d’une revue. Celui-ci, s’il pense que le sujet et les résultats peuvent intéresser son lectorat, communique alors l’article à des scientifiques experts du domaine. Ils sont souvent deux, et parfois trois ou quatre. Ces pairs connaissent le nom et l’affiliation des auteurs. En revanche, ces derniers n’ont généralement pas connaissance de l’identité des pairs sollicités par le journal. Les pairs étudient l’article et ses conclusions et émettent un avis qui est transmis à l’éditeur. Cet avis consultatif peut être un refus, une acceptation, ou une acceptation sous condition de réviser le contenu de l’article. C’est ensuite l’éditeur qui prend la décision finale.

Cette revue par les pairs est-elle une garantie que les travaux sont dignes d’être publiés?

En général, oui, à condition que ce travail de révision soit approfondi, ce qui prend du temps. Bien sûr, il peut exister un biais chez les experts sollicités, pour des raisons de compétition ou de compréhension. Mais la plupart des scientifiques sont très attachés à ce peer-review, dont ils reconnaissent qu’il est le plus efficace, même s’il reste perfectible.

Pourrait-on, par exemple, instaurer une relecture à l’aveugle, pour éviter que les experts aient connaissance du nom des auteurs de l’article qu’ils révisent?

Cela dépend de la taille des communautés scientifiques. Dans mon domaine, la physique des ions et des molécules, la communauté est très petite. Si on me demande de réviser un article dans mon domaine, je saurai au bout de quelques lignes de quelle équipe, de quel groupe de scientifiques il s’agit. Cette révision en aveugle serait donc un peu illusoire. A l’opposé, certaines revues pratiquent une forme d’ouverture, en demandant aux réviseurs de signer leur avis. Mais cela peut aussi créer un biais: un jeune chercheur hésitera à faire une critique cinglante d’un travail publié par un groupe reconnu, de peur que cela nuise à sa carrière. Il n’y a pas de système parfait mais on pourrait imaginer que les avis soient publiés —sans signature—, car ils apportent une vraie valeur ajoutée au travail qui est publié. Mais n’oublions pas, in fine, que l’avis des réviseurs est consultatif: c’est l’éditeur qui décide de publier ou pas.

Ces derniers mois, les rétractations de travaux ont-elles été fréquentes?

C’est difficile à dire. C’est sans doute l’impression que l’on a. Mais il faut relativiser. Car la communauté biomédicale est l’une des communautés scientifiques les plus importantes au monde, bien plus large —par exemple— que celle des physiciens. Elle génère donc un nombre considérable de travaux chaque année. Bien sûr, il existe dans tous les domaines une forte pression à publier, notamment parce que les politiques d’évaluations des chercheurs et des laboratoires privilégient de plus en plus le nombre de publications, le prestige des revues dans lesquelles elles sont diffusées et le nombre de citations par des travaux tiers, sans forcément se soucier de qualité. Un très mauvais travail, peut par exemple être largement cité parce que de nombreuses équipes ont tenté de reproduire ces résultats et montré qu’ils sont erronés! 

En physique d’abord, puis en économie et en mathématiques, et désormais en biologie et médecine, de nombreux chercheurs ont recours à ce qu’on appelle la pré-publication. De quoi s’agit-il? Est-ce de nature à améliorer le fonctionnement de l’édition scientifique?

Cette idée de pré-publication ouverte, via internet, est en effet apparu en physique dès 1991, avec la création du site ArXiv.org. L’idée est qu’une équipe ouvre ses travaux à l’ensemble de sa communauté scientifique avant de les proposer à une revue. La date de pré-publication permet de garantir qui est l’auteur d’un travail et la primauté des résultats qui sont décrits. Ensuite, l’ensemble de la communauté échange, discute, suggère. C’est une manière très saine de procéder qui permet d’améliorer un travail avant sa soumission à une revue.

Les revues jouent-elles le jeu, elles qui veulent toujours être la première référence pour des travaux importants?

Certaines sont réfractaires et refusent encore des travaux qui ont été pré-publiés. Mais elles se trompent: le dépôt dans une archive ouverte leur fait de la publicité gratuite. Quand un travail est publié dans un journal, les citations dans d’autres articles pointent vers ce journal, et non pas vers l’archive ouverte. Le passage par la pré-publication donne de la valeur aux travaux et les éditeurs de revue en profitent puisque ce processus ouvert rend les travaux plus solides, plus fiables. Les pré-publications sont passées au crible d’une importante communauté de pairs, pas seulement de deux ou trois personnes.

Mais avec la pré-publication, le risque est grand que les médias s’emparent de travaux encore inachevés et ne médiatisent des résultats non validés…

Oui bien sûr, et ils ne s’en sont pas privés avec l’afflux de travaux sur l’épidémie de Covid-19 pré-publiés sur les sites medRXiv.org et biomedRXiv.org. Parfois sans la prudence qui est de mise. En sciences comme dans tous les domaines, les informations doivent être analysées, recoupées. Enfin, chacun doit apprécier ce qu’il lit et ne pas hésiter à s’informer auprès de plusieurs sources.

Pensez-vous que la frénésie de publications mal ficelées et de pré-publications qui a entouré l’épidémie de Covid-19 puisse jeter le discrédit sur la science?

C’est difficile à dire, tant la période a été agitée, avec une très forte pression. Il ne s’agissait pas de physique fondamentale, mais de trouver des moyens pour éviter les morts d’une pandémie. Les scientifiques ont vraiment cherché à faire avancer les connaissances sur des traitements, un vaccin, ou d’autres moyens de contrôler l’épidémie. Il est probable que les choses soient parfois allées trop vite. Mais je ne pense pas que la crédibilité scientifique ait pu pâtir, d’une manière générale, de cette période. Cette dernière a surtout montré qu’on a vraiment besoin de plus sciences, et que les décideurs politiques ont plus que jamais besoin d’avis scientifiques pour prendre des décisions éclairées.

Il n’y a pas assez de sciences dans les processus de décision politique aujourd’hui?

C’est évident, notamment en France, où ces décisions ne s’appuient pas assez sur des faits et des arguments scientifiques, on le voit aussi sur le climat. Pourquoi les décideurs et les élus n’écoutent-ils pas plus les scientifiques? Pourquoi y a-t-il aussi peu scientifiques chez les élus? C’est très différent de la situation en Allemagne ou au Royaume-Uni, où les scientifiques interviennent beaucoup plus dans les politiques publiques, notamment parce que le diplôme de doctorat y est beaucoup mieux reconnu par la société. N’oublions pas que la chancelière Angela Merkel est elle-même physicienne de formation, docteur en chimie quantique. Personnellement, je pense qu’une formation scientifique est une excellente base pour aller plus loin, mais surtout pour développer un esprit critique et modeste qui permet d’aborder beaucoup de questions avec le recul nécessaire.

Propos recueillis le 19 juin 2020 par Denis Delbecq