Andy Garcia · dev freelance
FRENES
Retour au blog
Science & Preuves

The BMJ a publié 21 contrôles pour repérer les essais cliniques douteux. Le premier : a-t-il été rétracté ?

19 octobre 2026 7 min de lecture

Le 24 septembre 2026, The BMJ a publié INSPECT-SR, un outil pour décider si un essai contrôlé randomisé mérite la moindre confiance. L'article compte 54 auteurs, de Cochrane, The Lancet, The BMJ et d'universités de Manchester à Pékin, et il se résume à 21 contrôles répartis en quatre domaines, chacun formulé de sorte qu'un « oui » signale un problème potentiel. Cochrane l'avait déjà approuvé en octobre 2025, comme outil facultatif pour les auteurs de ses revues.

Le problème visé a un nom dans la politique de Cochrane : les études problématiques, « pour lesquelles il existe de sérieux doutes sur la fiabilité des données ou des résultats ». La cause peut être la fraude. Ce peut aussi être une erreur honnête mais fatale, par exemple avoir mal codé quels patients ont reçu le traitement et lesquels le placebo. Dans les deux cas, les chiffres ne sont pas réels. Et l'article dit que les outils habituels d'évaluation du risque de biais « ne sont pas conçus pour repérer des problèmes de cette nature, et ne semblent pas y parvenir ».

C'est la phrase à laquelle je reviens sans cesse. Le guide note que de nombreux rapports d'études problématiques « décrivent une méthodologie solide ». Une étude peut sembler bien conçue et reposer pourtant sur des données qui n'existent pas. La qualité et l'authenticité sont deux questions différentes, et la plupart d'entre nous ne posent jamais que la première.

Pourquoi une checklist, et pourquoi maintenant

L'article s'ouvre sur deux chiffres, tous deux issus d'autres travaux, alors j'ai lu les originaux.

Le premier vient de VITALITY Study I, publiée dans The BMJ le 23 avril 2025. Ses auteurs sont partis de 1 330 essais rétractés et ont trouvé 847 revues systématiques qui en avaient intégré au moins un, soit 3 902 méta-analyses qu'ils pouvaient recalculer. Retirer les essais rétractés a inversé le sens de l'effet combiné dans 8,4 % d'entre elles, modifié sa signification statistique dans 16,0 %, et déplacé son ampleur de plus de moitié dans 15,7 %. Les données de 68 revues aux conclusions faussées avaient servi dans 157 documents de recommandations. Les méta-analyses comptant le moins d'études étaient les plus touchées, ce qui se comprend : un mauvais essai pèse plus dans un petit ensemble. Un éditorial associé du BMJ, publié le 28 septembre, ajoute un coût plus discret : même quand de faux essais ne biaisent pas un résultat, ajouter leurs participants « pourrait gonfler la précision des résultats ».

Le second chiffre est plus fragile qu'il n'y paraît. INSPECT-SR écrit que Carlisle « a estimé que 26 % des essais contrôlés randomisés soumis à la revue Anaesthesia étaient problématiques ». Dans l'article de Carlisle de 2021, ces 26 % correspondent à 40 des 153 soumissions pour lesquelles il a examiné les données individuelles des patients, des essais qu'il a classés comme « zombies ». Il a trouvé de fausses données dans 44 % de ces 153. Sur l'ensemble des 526 essais soumis de février 2017 à mars 2020, il en a identifié dans 14 %. C'est toujours alarmant. Mais cela décrit les soumissions d'une seule revue, mesurées sur le sous-ensemble dont il a examiné les tableurs bruts (demandés d'abord seulement pour les essais qui avaient éveillé des soupçons), pas les essais publiés en général.

La rétractation est aussi lente. L'article note qu'elle peut prendre des années, « si elle a lieu », si bien qu'un relecteur ne peut pas simplement filtrer sur le statut de rétractation.

Les 21 contrôles

Les quatre domaines sont ordonnés pour que les contrôles rapides et décisifs viennent en premier :

  • Avis postérieurs à la publication (3 contrôles) : l'étude est-elle rétractée, porte-t-elle une expression de préoccupation, et les autres études de l'équipe portent-elles de tels avis ?
  • Conduite, gouvernance et transparence (5) : doutes sur l'approbation éthique, sur le moment ou l'absence d'enregistrement de l'essai, incohérences entre l'article et le registre, recrutement invraisemblable, et méthodes invraisemblables au regard des ressources déclarées.
  • Texte et figures (2) : texte dupliqué ou incompatible, figures manipulées ou dupliquées.
  • Résultats (11) : des données de départ invraisemblables aux erreurs dans les résultats statistiques, plus les incohérences entre les publications qui décrivent le même essai.

Ce qui m'a frappé dans le guide, c'est la part d'arithmétique. Trois de ses exemples travaillés :

  • Recrutement. Un essai déclare 2 200 patients avec un anévrisme de l'aorte abdominale rompu en deux ans, dans un bassin d'environ 500 000 habitants. À l'incidence citée par le guide, de 5,6 à 17,5 pour 100 000 personnes-années, cette population produit environ 56 à 175 cas en deux ans. L'affirmation dépasse plus de 12 fois la borne haute.
  • Répartition. Un essai monocentrique dit avoir utilisé une randomisation par blocs de taille fixe 4, sans stratification, puis rapporte 5 patients de plus dans le bras témoin. Avec des blocs de 4, le déséquilibre ne peut pas dépasser 2.
  • Moyennes impossibles. Un essai rapporte un score d'Apgar moyen de 8,96 pour un groupe de 30 nouveau-nés. Les scores d'Apgar sont des entiers, donc le total du groupe l'est aussi : 268 donne une moyenne de 8,93, 269 donne 8,97. Rien ne donne 8,96. C'est le test GRIM, et le guide renvoie vers des applications web qui l'exécutent.

Aucun de ces contrôles n'exige les données brutes. Ils exigent quelqu'un qui lit les chiffres comme des chiffres.

Chaque domaine se conclut par un jugement, « pas de préoccupation », « quelques préoccupations » ou « préoccupations sérieuses », et l'outil n'a volontairement aucune règle de score. Les essais avec des préoccupations sérieuses doivent être exclus. Ceux avec quelques préoccupations doivent entrer dans une analyse de sensibilité. Les auteurs recommandent de lancer l'outil avant l'évaluation du risque de biais et l'extraction des données, pour que personne ne passe des heures sur un essai qui sera écarté, et de refaire les contrôles de rétractation et d'expression de préoccupation peu avant la fin de la revue.

Ce que l'article ne démontre pas

C'est un outil de consensus, et il faut le lire comme tel.

Les 76 contrôles candidats sont devenus 69, puis 29 après une enquête Delphi (148 participants au premier tour, 134 au second, dont 39 % venant du Royaume-Uni et 7 % de pays à revenu faible ou intermédiaire), puis 21 après huit réunions de consensus en juin et juillet 2024. Cela établit ce sur quoi les experts s'accordent. Cela ne mesure pas la fréquence à laquelle l'outil a raison.

Les tests auprès d'utilisateurs étaient modestes. Quarante personnes ont donné un retour. L'évaluation médiane a pris 45 minutes par essai (écart interquartile de 27 à 74), 70 % ont dit qu'elles utiliseraient l'outil à l'avenir, et 93 % ont trouvé les jugements raisonnables. Les auteurs notent que les testeurs se sont portés volontaires, si bien que l'acceptabilité « peut donc être surestimée ». L'article ne rapporte aucune fiabilité inter-évaluateurs ; les auteurs la rangent parmi les évaluations futures. Et ils déconseillent de valider l'outil par rapport au statut de rétractation, car savoir si un article est rétracté est « une décision subjective, arbitraire dans une certaine mesure ».

Ils sont aussi explicites : ce n'est pas un détecteur de fraude. Les préoccupations « ne constituent pas une accusation de faute scientifique ». L'outil n'évalue pas non plus le risque de biais, la généralisabilité ou les conflits d'intérêts.

La dernière question ouverte est celle qui touche le plus mon travail. Les auteurs se demandent si des faussaires pourraient se servir de la checklist pour produire des faux plus convaincants, et disent qu'on ne sait pas si les efforts pour la contourner, « par fabrication manuelle ou à l'aide de grands modèles de langage », réussiront. Au total, ils s'attendent à ce qu'elle détecte et décourage bien plus de faux essais qu'elle n'en crée. En parallèle, un projet appelé INSPECT-AI explore comment des modèles de langage pourraient aider aux contrôles.

Ce que j'emprunterais

Je ne suis pas un auteur de revues systématiques. Je suis CTO d'une LegalTech construite sur Claude. J'ai construit BidForge, une IA qui lit les dossiers d'appels d'offres publics français pour les petites entreprises. Et je fact-checke mes propres posts avec Jev, un modèle que j'utilise comme juge, avant publication. Les trois butent sur la même question : un document peut être cité correctement et pourtant être faux à la source.

Voici donc ce que je retiendrais d'INSPECT-SR si ton produit, ton deck ou ton post s'appuie sur une étude.

Pose la question de la confiance avant celle de la qualité. Avant de discuter la méthode d'une étude, vérifie qu'elle tient toujours : rétractation, expression de préoccupation, avis sur les autres articles des auteurs. Le guide renvoie pour cela à la base Retraction Watch. Puis revérifie juste avant de publier, parce que les avis arrivent tard.

Fais l'arithmétique. Les totaux collent-ils ? L'échantillon pouvait-il être recruté là et quand les auteurs le disent ? Une moyenne d'entiers peut-elle tomber sur cette valeur ? Ces contrôles ne demandent aucun accès particulier, seulement de l'attention.

Pondère par l'effet de levier. Si une seule étude porte toute ton affirmation, elle mérite le contrôle complet. Le résultat de VITALITY dit que c'est quand les preuves sont minces qu'un seul mauvais essai fait le plus de dégâts.

Si un modèle aide, qu'il signale, qu'il ne tranche pas. INSPECT-SR demande deux relecteurs indépendants et des raisons écrites pour chaque jugement. C'est aussi un bon cahier des charges pour un contrôle assisté par IA : le modèle pointe l'incohérence, une personne décide, et la raison est consignée.

Une checklist ne mettra pas fin à la fraude scientifique. Mais elle fait passer le réflexe par défaut de « publié, donc vrai » à « vrai, s'il survit à 21 questions ». Ce réflexe vaut la peine d'être volé.

Sources

Un projet du même genre ?

Je conçois et déploie des produits comme celui-ci. Parlons-en.

Discutons