La plupart des études médicales sont-elles fausses?

Bien que le soufflé Médiator soit un peu en train de retomber, l’affaire n’a rien fait pour améliorer la confiance du grand public envers le monde médical, déjà ébranlée par de pareilles polémiques. Même sans s’embarquer dans les théories complotistes plus ou moins en rapport avec la réalité qui courent sur les liens entre les milieux scientifiques et les grands groupes pharmaceutiques, il faut avouer que toutes les recherches menées ne sont pas présentées (et encore, quand elles le sont au grand public) de la façon la plus limpide, et le doute raisonnable est une position légitime. D’autant que si l’on en croit certains, la majorité des études médicales publiées sont fausses.

C’est en effet le point de vue de John Ioannidis, celui qu’il a exposé dans une publication de 2005 dans PLOS. Le constat de base : beaucoup de résultats publiés ne sont pas reproductibles (voire ici ou ). C’est en soi inquiétant, et le chercheur nous donne plusieurs explications ainsi que quelques pistes pour améliorer cet état de fait. Tout d’abord, inutile de se voiler la face : une partie des études fausses provient bien d’une mauvaise méthodologie. Par exemple, on peut pointer du doigt des études fait sur un très faible nombre de sujets (rappelez vous le lien entre vaccination et autisme, basé sur une étude de 12 cas -avec dans ce cas précis une petite dose de mensonge-), ou des études qui montre un effet très faible.

Mais une autre erreur provient de la façon même dont on évalue généralement les résultats. En effet, on emploie généralement une valeur p de 0.05, c’est à dire que l’on a 5% de chances d’obtenir un faux positif (une étude qui confirmera une hypothèse alors que celle-ci est fausse). Si le risque ne semble pas si élevé, il n’est pas non plus négligeable. De plus, Ioannidis propose quelques pistes simples à garder en tête avant d’aborder une publication médicale :

  • Moins il y a de sujets dans l’étude, plus celle-ci a de chances d’être fausse.
  • Plus l’effet est faible, moins l’étude a de chances d’être vraie : ainsi, les liens entre cancer et consommation de tabac sont bien plus plausibles que l’influence d’un gène sur une maladie multi-génétique.
  • Plus le nombre de paramètres testés est grand, moins l’étude a de chances d’être vraie.
  • Plus les critères sont flexibles, moins l’étude a de chances d’être vraie : cette flexibilité peut en effet faire passer un résultat négatif pour un positif.
  • Plus il y a d’intérêts financiers et de préjugés dans le domaine de l’étude, plus celle-ci a de chances d’être fausse.
  • Plus le sujet est « chaud », moins l’étude a de chances d’être vraie : on pourrait penser que l’effet est inverse puisque le nombre d’équipes différentes est plus élevé, mais les études sont faites au même moment, le timing faisant tout. C’est ainsi que l’on constate souvent un grand enthousiasme pour un domaine après quelques publications phares, suivi du contre-coup une fois les vérifications faites.

L’une des clés pour améliorer la qualité des recherches médicales semble tenir dans l’évaluation de l’hypothèse testée. Ainsi, si une hypothèse a fait l’objet de nombreuses recherches, une nouvelle étude la confirmant aura plus de chances d’être vraie que si cette hypothèse n’a pas été testée ou très peu. Il vaut mieux donc réserver les « grands moyens », des études poussées sur un très grand échantillon, pour des hypothèses sur lesquelles on a déjà une bonne idée, afin de tirer le meilleur profit de l’investissement nécessaire. Enfin, plutôt que de pencher sur une publication il faut voir le domaine dans son ensemble, en tirant parti de méta-analyses.

15 Responses to La plupart des études médicales sont-elles fausses?

  1. Ping : Tweets that mention La plupart des études médicales sont-elles fausses? « Science, croyance et idées reçues -- Topsy.com

  2. stéphane dit :

    Sur l’intérêt des méta-analyses, il y a méta et méta. Si on utilise les données publiées et que les études sont mauvaises, la méta-analyse ne sera pas meilleure. Quand on fait de la cuisine, ce n’est pas en mettant des ingrédients pourris que le gâteau est bon.
    Les méta-analyses les plus intéressantes sont celle où les auteurs peuvent remonter aux raw data. Elles sont rares car malheureusement l’industrie refuse, il suffit de voir l’expérience récente et malheureuse du groupe cochrane avec le tamiflu.
    Concernant wakefield, ce n’est plus un problème de méthodologie, mais une escroquerie intellectuelle pure et simple. Les articles récent du BMJ l’ont montré.

  3. H dit :

    Je te recommande de creuser la biblio de Ioannidis, il a fait plein de choses très intéressantes et très critiques sur la pratique de l’épidémio (en particulier en génétique).

  4. H dit :

    PS: Le lien avec le mediator vient comme un cheveu sur la soupe. Heureusement que dans l’ensemble, les études menées par les labos pharmaceutiques sont plus rigoureuses que celles menées dans la recherche médicale… ça n’est pas non plus le même but.

  5. H dit :

    @stéphane : tu es sûr qu’on parle de meta-analyse quand on a accès aux données ? Pour moi on parle de pooling ou quelque chose dans le genre…

  6. H dit :

    @stéphane : mais si ce que tu veux dire, c’est que les méta-analyses ça n’est rien de plus qu’un moyen de faire un beau papier de plus sans grand intérêt, je ne suis pas loin d’être tout à fait d’accord🙂

    Comme dit l’adage statistique : « garbage in, garbage out ».

  7. kyste dit :

    On parle aussi de méta analyses dans ce cas, quand on voit comme fleurisse les metananlyses sur les mêmes sujets avec les mêmes études, on a du mal à y croire.
    On touche aux limites du publish or perish…

    • H dit :

      C’est sans doute un abus de langage, cf http://en.wikipedia.org/wiki/Meta-analysis
      Mais si tu dis que c’est entré dans l’usage, je te crois volontiers(vu le manque de rigueur dans le vocabulaire dans ce champ, ça n’a rien de surprenant).

  8. H dit :

    J’ai reviewé 4 papiers cette année, dont 3 bouses que je n’aurais jamais osé soumettre et un papier très moyen, mais pour lequel on peut à la rigueur comprendre que les gens tentent leur chance (nécessité de valoriser coûte que coûte des données dans lesquelles y a pas grand chose de probant)… enfin tout ça pour dire que le publish or perish fait vraiment du dégât, en effet, pour essayer de publier certains des trucs dont je parle faut être désespéré (la page web de l’auteur d’un des trois papiers vent la mèche : il soumet et resoumet le papier en question depuis 2008, il a dû se faire jeter par un bon paquet de revues…).

  9. H dit :

    Je viens de m’apercevoir qu’apparemment tu es allé un peu vite : ce n’est pas le nombre de sujets dans l’étude que tu regardes qui joue dans le biais de publication, mais le nombre de sujets « en moyenne » dans le champ de recherche considéré. Et encore n’est-ce pas exactement le nombre de sujets, mais la puissance, qui dépend également de la taille des effets.

    • H dit :

      Oh, et même chose pour la suite. Décidément j’aurais dû te lire plus attentivement : ça n’est pas la taille de l’effet détecté dans une étude particulière, mais la taille des effets en général dans le domaine de recherche considéré.

      Si on suppose que tout le monde publie au même risque α, la puissance variant d’une étude à l’autre avec la taille des effets et la taille des échantillons, la proba qu’une étude soit vraie ne dépend pas de la taille d’effet ni de la taille d’échantillon dans cette étude donnée, mais d’une quantité calculée sur toutes les études du domaine.

      • H dit :

        Allô allo, as-tu remarqué que je te signalais un affreux contresens?

        • G. Berteloot dit :

          Oui, merci du signalement, j’essaye de me remettre un peu les idées en place pour faire un addendum/rectifier tout cela.

          En revanche, je ne suis pas sur que la « taille » de l’effet soit directement à relier avec le domaine de recherche, mais plus significativement avec la précision de la mesure. Un effet qui se détache à peine du bruit (voire pire, ça existe) de la manip sonnera comme un avertissement.

          Maintenant, il faut définitivement que je me familiarise avec les notions de statistiques impliquées dans la recherche médicale, si un confrère du c@fé ou autre volontaire pour s’y coller? En physique, les résultats étant moins aléatoire (quand on ne touche pas au vivant, donc quand on a énormément moins de paramètres en jeu), on ne s’y réfère que peu.

          • H dit :

            Non non non!

            En fait je crois qu’il faut surtout que tu lises un cours de stats de base… médicales ou pas.

  10. bilfusée dit :

    Une étude n’est pas vrai ou fausse, une étude va éventuellement dans le sens de telle ou telle autre hypothèse, mais ne démontre jamais rien. La fiabilité de l’étude et donc la méthode, (taille de l’échantillon…) Est a prendre en compte. Pour juger de la fiabilité d’une étude il faut la lire, et s’interroger sur cette méthode et pas se contenter de lire les conclusions qui sont normalement assez évasive et le scientifique est censé indiquer justement ce qu’il trouve léger dans son étude…

    Ce qui me dérange c’est la manière dont certaines études peu fiables sont reprises par les médias par ce que c’est vendeur, ca fait scandale. Ca va dans le sens des idées de la masse. C’est le cas de l’étude sur l’autisme et les vaccibs, qui n’aurai probablement pas eu toutes les conséquence néfastes sur la population si elle n’avait pas été autant médiatisée.

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :