l y a quelques années, deux chercheurs ont sélectionné les 50 ingrédients les plus utilisés dans un livre de recettes et regardé combien avaient été associés à un risque ou à un bénéfice face au cancer, dans diverses études publiées dans les revues scientifiques. La réponse: 40 sur 50, une liste incluant sel, farine, persil et même le sucre. «Tout ce que nous mangeons est-il lié au cancer ?» se sont-ils ensuite demandé, non sans ironie, dans leur article publié en 2013.

Leur question touche à un problème connu mais persistant dans le monde de la recherche: trop d’études utilisent des échantillons trop petits pour aboutir à des conclusions généralisables. Mais la pression pesant sur les chercheurs, la concurrence entre les revues et l’appétit insatiable des médias pour des études annonçant révolutions ou découvertes majeures, fait que ces articles continuent d’être publiés.

Il y a quelques années, deux chercheurs ont sélectionné les 50 ingrédients les plus utilisés dans un livre de recettes et regardé combien avaient été associés à un risque ou à un bénéfice face au cancer, dans diverses études publiées dans les revues scientifiques. La réponse: 40 sur 50, une liste incluant sel, farine, persil et même le sucre. «Tout ce que nous mangeons est-il lié au cancer ?» se sont-ils ensuite demandé, non sans ironie, dans leur article publié en 2013.

Leur question touche à un problème connu mais persistant dans le monde de la recherche: trop d’études utilisent des échantillons trop petits pour aboutir à des conclusions généralisables. Mais la pression pesant sur les chercheurs, la concurrence entre les revues et l’appétit insatiable des médias pour des études annonçant révolutions ou découvertes majeures, fait que ces articles continuent d’être publiés.

Difficile de généraliser

«La majorité des articles publiés, même dans les revues sérieuses, sont mauvais», dit à l’AFP l’un des auteurs, John Ioannidis, professeur de médecine à Stanford, de facto spécialisé dans l’étude des études. Ce pourfendeur de la mauvaise recherche scientifique a démontré en 2005 dans un article retentissant «Pourquoi la plupart des études publiées sont fausses». Depuis, dit-il, seuls quelques progrès ont été faits.

Quelques revues exigent que les auteurs fournissent leurs données brutes et publient préalablement leur protocole. Cette transparence permet d’éviter que les chercheurs triturent leurs méthodes et données afin de trouver un résultat, quel qu’il soit. Elles permettent à d’autres de vérifier ou «répliquer» l’étude.

Car lorsqu’elles sont refaites, les expériences aboutissent rarement aux mêmes résultats. Seul un tiers de 100 études publiées dans les trois revues de psychologie les plus prestigieuses ont pu être reproduites par des chercheurs, lors d’une analyse publiée en 2015.

La médecine, l’épidémiologie, les essais cliniques de médicaments et… les études sur la nutrition ne font guère mieux, insiste John Ioannidis, notamment lors de réplications. «Dans les sciences biomédicales et ailleurs, les scientifiques n’ont qu’une formation superficielle en statistiques et en méthodologie», ajoute John Ioannidis. Trop d’études portent sur seulement quelques individus, empêchant de généraliser à une population entière, car les participants retenus ont peu de chance d’être représentatifs.

Transparence?

«Le régime alimentaire est l’un des domaines les plus consternants», continue le professeur Ioannidis, et pas seulement à cause des conflits d’intérêts avec l’industrie agroalimentaire. Les chercheurs partent souvent en quête de corrélations dans d’immenses bases de données, sans hypothèse de départ.

En outre, «mesurer un régime alimentaire est extrêmement difficile», explique-t-il. Comment quantifier exactement ce que les gens mangent? Même quand la méthode est bonne, avec une étude où les participants sont choisis aléatoirement, l’exécution laisse parfois à désirer.

Une célèbre étude de 2013 sur les bienfaits du régime méditerranéen contre les maladies du coeur a dû être retirée en juin par la plus prestigieuse des revues médicales, le New England Journal of Medicine, car les participants n’avaient pas tous été recrutés aléatoirement; les résultats ont été revus à la baisse.

Alors que retenir dans le flot d’études publiées chaque jour? John Ioannidis recommande de se poser les questions suivantes: telle étude est-elle isolée, ou renforce-t-elle des travaux existants ? L’échantillon est-il petit ou grand ? Est-ce une expérience randomisée? Qui l’a financée?Les chercheurs sont-ils transparents?

Café et vin rouge

Ces précautions sont fondamentales en médecine, où les mauvaises études contribuent à l’adoption de traitements au mieux inefficaces, et au pire néfastes.

Dans leur livre «Ending Medical Reversal», Vinayak Prasad et Adam Cifu égrènent des exemples terrifiants de pratiques adoptées sur la base d’études qui ont été invalidées des années après, comme la pose de stents (mini prothèses) dans une artère du cerveau pour réduire le risque d’accident vasculaire cérébral. Ce n’est qu’au bout de dix ans qu’une étude rigoureuse a montré que la pratique… augmentait en fait le risque d’AVC.

La solution passe par le resserrement collectif des critères de l’ensemble des acteurs de la recherche, et pas seulement les revues: universités, agences de financement public, laboratoires… Mais ces institutions sont toutes soumises à la concurrence.

«Le système n’incite pas les gens à aller dans la bonne direction», dit à l’AFP Ivan Oransky, journaliste cofondateur du site Retraction Watch, qui couvre les retraits d’articles scientifiques. «Nous voulons développer une culture où on récompense la transparence».

Le problème vient aussi des médias, qui doivent selon lui mieux expliquer à leurs lecteurs les incertitudes inhérentes à la recherche scientifique, et résister au sensationnalisme. «Le problème, c’est la succession sans fin d’études sur le café, le chocolat et le vin rouge», se plaint-il. «Il faut qu’on arrête».