Science, apparence et substance

Nous vivons des temps très intéressants dans le monde scientifique. Bien loin est l’époque où le chercheur introverti relatait maladroitement ses découvertes de vive voix dans d’étanches «Transactions philosophiques de la société Royale». Mine de rien, nous sommes passés de quelques centaines de milliers à quelques millions de chercheurs dans le monde depuis les années 50. C’est bien sûr un cliché de dire que la science est partout dans les médias maintenant. Un succès monstre pourrait-on dire, mais pas si vite!

Il  y a quelques semaines, un article surprenant paraissait dans la revue The Economist, nous expliquant les ratés de la science des dernières décennies. D’entrée de jeu, on nous rappellait un vieil adage scientifique: «Faites confiance, mais vérifiez». Le problème, c’est qu’on verserait actuellement beaucoup dans le «faites confiance» au détriment du «vérifiez». En termes plus concrets, on se précipiterait dans la publication de résultats qui font de beaux communiqués de presse, levant le nez sur les tentatives de reproductibilité de ces résultats, ces dernières n’étant pas assez sexy. On sait pourtant que la seule façon de confirmer les conclusions d’une recherche est de refaire l’expérience à l’identique et d’obtenir les mêmes résultats.

Le problème n’est pas nouveau, mais il semble atteindre des proportions inégalées. Si bien que le réputé économiste Daniel Kahneman¹  nous lançait un cri d’alarme dans la revue Nature il y a un an, indiquant les périls de ne pas reproduire des études de base.

Car, voyez-vous, une proportion élevée des recherches publiées ne passent pas le test. C’est-à-dire qu’on refait une recherche et oups! les conclusions sont différentes. Dans le domaine de la biotechnologie médicale, la firme américaine Amgen a récemment tenté de reproduire les résultats de 53 études jugées classiques. Seulement 6 de ces études ont pu être reproduites avec les mêmes résultats! Pas fort. On parle pourtant ici d’un domaine où des vies et des milliards de dollars sont en jeu.

Follow the money
Comment en sommes-nous arrivés là ? Il faut chercher la réponse dans les moyens de promotion d’une carrière scientifique. La réalité est loin de l’image qu’on se fait du chercheur désintéressé, œuvrant dans la tranquillité des coulisses pour le plus grand bien de l’introspection scientifique. Prenez les revues scientifiques, théâtre de l’essor et de l’implosion de la carrière de moult chercheurs . Il existe un flou artistique dans les concepts de «revue savante» et de «magazine». Les revues d’organisations telles que l’Ecological Society of America  sont certainement dans le premier camp. Mais qu’en est-il de revues comme Nature? Le groupe MacMillan, institution privée qui publie cette revue, n’a rien d’un OSBL de sous-sol de bungalow. Ici, on veut de l’action et du cash, pas du travail de moine introverti (même si c’est un mal parfois nécessaire).

Malgré les meilleures intentions des organismes finançant les chercheurs (CRSNG, FQRNT, etc.), des universités et des autres instituts de recherche, le système encourage avant tout les innovateurs. Rien de mal là-dedans direz-vous, car si un chercheur devait consacrer des années à tenter de reproduire ce que d’autres ont fait, le fruit de ses recherches vous laisserait probablement indifférent. Imaginez l’émission Découverte à Radio-Canada: «Cette semaine, une autre étude sur le cancer du pancréas, présentant les mêmes résultats que la semaine dernière». Vous changeriez sans doute de poste, et c’est grosso modo ce que les sources de financement font, incitant ainsi les chercheurs, surtout les jeunes, à se tenir loin de la reproductibilité de résultats. Sans compter que tenter de reproduire une étude, c’est risquer de discréditer un collègue ou, pire encore, de dévoiler un cas de fraude scientifique! Et pourtant, reproduire des recherches le plus exactement possible est une responsabilité cruciale des scientifiques. Il en va de la fiabilité des théories sur lesquelles s’appuient notre savoir.

Des résultats négatifs
Un autre pavé dans la mare de la science est la prise de conscience d’un biais contre les résultats dits «négatifs». C’est-à-dire des résultats qui n’appuient pas une prédiction, faute de preuve statistique². Pour avoir vécu l’expérience de nombreuses fois, je vous assure que c’est bien moins excitant de constater que la relation attendue entre X et Y n’est pas au rendez-vous. Pourtant, une absence nette de relation entre 2 phénomènes peut être un apport important à un domaine de recherche. Mais allez expliquer cela à l’éditeur d’une revue qui a la pression de toujours vendre davantage de numéros. Dans Nature et les autres revues du genre, on ne veut pas de résultats négatifs. Un article publié dans Scientometrics en 2012 indiquait que, dans les années 90, 30% des articles relataient des résultats négatifs, alors que maintenant cette proportion atteint juste 14%³. Une science sous stéroïdes, avec un biais croissant qui risque de réduire la fiabilité des nouveaux savoirs.

Mais tout n’est pas perdu, les tendances autocorrectrices de la science finissent toujours par avoir raison, renversant parfois les plus grands consensus⁴. Il y a quelques années, le journaliste Jonah Lehrer publiait un article habilement intitulé «The Truth Wears Off» dans le magazine NewYorker. Il expliquait qu’une nouvelle théorie sexy est souvent appuyée initialement par de nombreux articles scientifiques, mais que de tels résultats tendent à se raréfier par la suite. Comment en arrive-t-on là? Il suffit d’avoir un chercheur de renom qui présente, données à l’appui, une découverte surprenante, pour voir apparaître d’autres articles allant dans le même sens (sans nécessairement être de vraies reproductions). Dans de telles situations, il devient difficile de «casser le party» en tentant de publier des résultats contradictoires. Mais si la belle théorie peine à être confirmée par de nouvelles études, elle finit par perdre de son lustre, ouvrant finalement la porte aux publications ouvertement critiques qui reléguent la découverte initiale au cimetière des idées.

Reproduire une étude: possible en écologie?
Hélas, même avec la meilleure volonté, reproduire une étude n’est pas toujours chose facile. Dans mon domaine, l’écologie, seules certaines expériences en laboratoire sont réellement reproductibles puisqu’on a un certain contrôle sur les conditions. Il est impossible de reproduire précisément une étude dans la nature, les conditions environnementales changeant constamment. Ainsi, non seulement il serait périlleux de tenter de reproduire une étude écologique, mais ce serait probablement futile, car on s’attend à ce que les résultats soient différents. Ironiquement, cela est une force, car c’est grâce à la variabilité des résultats qu’on peut établir des généralités. Il suffit de reprendre une étude intégralement ou presque, dans de nombreux endroits ou avec de nouvelles espèces, par exemple, pour faire ressortir les phénomènes généraux (qui ne changent pas d’une étude à l’autre) et ceux qui sont circonstanciels et imprévisibles.

N’empêche qu’en écologie comme dans d’autres domaines, les études de cas reprenant des études célèbres dans de nouvelles circonstances n’ont pas la cote. Elles finissent souvent dans des revues de bas calibre ou encore dans la filière 13, réduisant du coup les possibilités d’avancement de carrière des chercheurs, et les possibilités d’en arriver à des théories fiables et applicables de manière générale. Tout cela est bien déprimant direz-vous, mais dans mon prochain billet je vais tenter de vous montrer que, comme le veut le vieil adage, dans toute crise, il faut saisir l’opportunité.