Le peer review, ou relecture par les pairs utilisée par les revues scientifiques, consiste à faire relire les manuscrits avant publication par deux ou trois experts externes au comité de rédaction. Ces avis éclairent la décision du rédacteur en chef avant acceptation ou refus du manuscrit. Sur ce sujet, le 10e International Congress on Peer Review and Scientific Publication a réuni environ 800 participants (dont 10 Français) à Chicago en septembre dernier pendant trois jours.
Manque de rigueur à grande échelle
Des chercheurs ont recherché l’expression « TOK » (« to our knowledge ») et ses synonymes dans plus de 20 000 articles de six revues médicales prestigieuses. Ces expressions révélatrices d’un manque de rigueur scientifique sont de plus en plus utilisées : 28 % des articles contenaient « TOK » entre 2000 et 2014 versus 14 % entre 1950 et 2019. Par ailleurs, dans 8,5 millions d’articles (toutes revues indexées dans PubMed), 16 % contenaient « TOK » entre 2020 et 2024 versus 13 % entre 1950 et 2019.
Des données ont été confirmées : plus de 20 % des articles cités en référence dans les articles scientifiques ne contiennent pas ce qui est attendu ! Vous est-il arrivé, en lisant un article, de vous dire « C’est intéressant, je vais télécharger l’article cité » et de découvrir des données différentes de celles attendues ? Les conséquences de ces pratiques sont délétères : des dogmes se construisent sur des hypothèses fausses, et il faut vingt ans pour s’en apercevoir !
Plus de 20 % des articles cités en référence ne contiennent pas ce qui est attendu
Il faudra du temps pour améliorer le système des publications : le nombre de revues mercantiles augmente ; l’enregistrement des protocoles d’essais cliniques n’est pas satisfaisant après vingt ans d’efforts ; des articles rétractés (invalidés pour erreurs ou fraudes) ou publiés par des revues prédatrices sont toujours cités dans des revues de la littérature ; une taxonomie des mots « promotionnels » dans les articles a été proposée avec près de 400 expressions répertoriées (« creative », « innovative », « first », « groundbreaking »…).
Du bon usage de l’IA
Le sujet de l’IA était très présent pendant le congrès. Personne n’est à l’aise avec ces technologies. Les principes adoptés par les revues scientifiques pour les auteurs sont : utilisez l’IA ; soyez transparents et dites quelles utilisations vous en avez faite ; vous êtes toujours responsable de vos articles. La moitié des chercheurs l’utiliseraient mais moins de 5 % déclareraient cet usage. Les variations sont importantes selon l’âge (les jeunes déclarent plus facilement), la discipline et selon les cultures des chercheurs. J’ai participé à des enquêtes ayant montré que les rédacteurs en chef des revues étaient inquiets : ils sont peu formés à l’IA ; ils s’interrogent sur le peer review ; ils n’ont pas de ressources suffisantes et tardent avant de mettre en place des recommandations ; ils ont peur d’accepter un article totalement inventé par l’IA.
D’autres développements de l’IA devraient être contrôlés : des études qualitatives ont été faites avec des chatbots conduisant des interviews de chatbots représentatifs d’un échantillon de sujets ; des essais cliniques sans malades pourraient être faits à partir de bases de données dites de vie réelle. La question de la disparition de l’article revient : est-il nécessaire de publier des articles ? Car les bases de données seront de plus en plus accessibles et questionnables en ligne ! Va-t-on s’orienter vers la publication de data papers, à savoir de courtes descriptions de bases de données jointes à l’article ?
Lors de la dernière journée du congrès, l’assistance a été surprise par la présentation d’Isaac Kohane, directeur d’un département d’informatique biomédicale à Harvard et rédacteur en chef du New England Journal of Medicine–AI. Avec le peer review, les articles sont en moyenne publiés 250 jours après la soumission à une revue. Pour Isaac Kohane, sept jours devraient suffire pour que le comité de rédaction du NEJM–AI prenne une décision. Trois évaluations sont faites : l’une humaine, par un rédacteur du journal, et deux par des IA (ChatGPT4 et Gemini 2.5). Il a montré des évaluations et précisé que les IA étaient utilisées sans alimenter leurs mémoires. Cela interroge : faut-il l’accord des auteurs ?
C’est vous qui le dites
« Si le secteur 2 est supprimé, je me déconventionne »
Tribune
« Nous refusons un système qui sacrifie les internes » : l’Isni et l’Isnar-IMG exigent le report de la réforme de la 4A
Éditorial
Trouver un chemin
Débat
Dérapage tarifaire : faut-il supprimer le secteur 2 ?