Méthodes #2 Lecture critique d’un article scientifique

Ce post un peu technique est la retranscription d’une partie d’un cours que je dispense. J’ai pensé utile de le mettre là, ça peut toujours servir.

L’objectif de ce cours est de gérer sa bibliographie. C’est à dire d’apprendre à:
-Rechercher les articles pertinents ;
-Créer sa base de données d’articles ;
-Se procurer les documents ;
-Organiser/archiver ses documents ;
-Lire les documents scientifiques ;
-Insérer les références dans un document scientifique.

Je vous présente juste la partie « Lire les documents scientifiques ».

Let’s start.

1- Prélecture

Au moment où l’on fait sa recherche bibliographique (quand on cherche des articles à partir de mots clefs dans Google Scholar ou un autre moteur de recherche), il est utile de faire une prélecture. Bien sûr, vous lisez les titres. Si un titre indique que l’article est connexe à votre thématique de travail, on lira en général l’abstract. On importera alors dans sa base de données biblio toutes les notices d’articles qu’on pense pertinent pour sa thématique de recherche.

A ce stade, deux possibilités:

– L’article semble très pertinent. On le met de coté pour une lecture critique (moi, en général, je l’imprime pour ne pas oublier)

– L’article semble plus ou moins pertinent. On peut en faire une lecture en diagonale, sur l’écran, pour mieux se rendre compte. Après la lecture en diagonale, soit on pense qu’il va falloir approfondir, on peut mettre de côté pour une lecture critique, soit on pense que l’article n’est que moyennement pertinent… on peut laisser (on l’a dans la base de données de toutes manières si on veut y revenir plus tard).

Notez que tout article cité dans un document scientifique doit avoir été lu. Quand on dit lu, ça veut dire qu’il faut que vous ayez vérifié que l’article dit bien ce que vous avancez (se reposer sur la citation d’autrui présente le risque que le propos soit déformé d’une citation à une autre). Mais ça veut également dire que vous devez vous assurer que la citation supporte le « fait» que vous avancez. Si vous dites « le remède X soigne le cancer (citation de X)» alors que les méthodes de l’article que vous citez vous paraissent ubuesques, le fait n’est pas démontré… et n’est donc plus un fait. Le chercheur à un rôle à jouer dans la « sélection naturelle» des articles qui permettent d’établir des faits et de faire avancer sa thématique.  D’où l’importance de la lecture critique.

2- Lecture critique

Une lecture critique demande un peu de temps, et de la concentration. Ça vaut le coup de se mettre à l’aise, de diminuer les interruptions (imprimer, ça aide, ça limite les notifications informatiques diverses…), et de prendre un stylo et un surligneur.

Pour faire une bonne lecture critique et active (et non pas une lecture passive au bout de laquelle on se demande trop souvent «mais, ça dit quoi en fait ??? »), il faut deux choses: (i) bien comprendre comment est structuré un article scientifique, et (ii) se poser des questions au fur et à mesure de la lecture.

En ce qui concerne la structure, le format qu’on rencontre le plus généralement, c’est le format IMRED. IMRED pour Introduction, Matériels et méthodes, REsultats, Discussion. Mais ensuite, à l’intérieur de chaque section, il y a également une structure assez constante d’un article à un autre. Nous allons faire un exemple pratique de lecture critique sur cet article, qui présente l’avantage d’être en français :

Vous pouvez le télécharger à ce lien.

a)      Introduction

Une introduction est sectionable en trois parties. Le début d’une introduction donne le contexte, ce qui a déjà été publié sur le sujet abordé par l’étude (revue de littérature). Le format de ce début d’introduction est  en «  entonnoir», c’est-à-dire qu’on va du plus général au plus spécifique.

Le contexte prend un général pas mal de place et de paragraphes. Au fur et à mesure que sont présentés les travaux antérieurs, le lecteur est amené progressivement à ce que ces travaux antérieurs n’ont pas abordé, pas étudié. C’est la seconde partie, le « gap». Gap signifiant « fossé».

Une fois le gap identifié, le lecteur est amené à ce que l’étude va aborder (logiquement, quelque chose qui n’a pas encore été étudié). Cette 3^e et dernière partie, c’est la problématique.

On identifie clairement ces 3 parties dans l’article qui nous intéresse :

En ce qui concerne la 1ere partie (contexte), on voit très bien, également, que la 1ere phrase est très générale (« en général, on regarde des paramètres sanguin pour apprécier l’état de santé d’un animal »), quand la suite est plus spécifique (« chez le chien, les marqueurs les plus spécifiques sont ceci cela».

La seconde partie identifie le gap, en citant la littérature et en expliquant ses lacunes. En l’occurrence, il manque de données de référence pour évaluer l’état de santé des chiens « tout venant» agés.

Naturellement, la problématique de l’étude est donc de produire de telles données.

A ce stade, et avant d’aborder la section suivante, il convient de se poser quelques questions :

–          Ai-je bien compris la problématique de l’étude ? (vous devez pouvoir la formuler mentalement en une phrase)

–         Si je devais faire cette étude moi-même, quelles méthodes est-ce que j’utiliserais ? Il est important de se poser cette question pour aborder la question suivante d’un œil critique.

Par exemple, j’imagine que je choisirais des chiens a priori en bonne santé (puisqu’on veut étudier des valeurs de référence, donc des valeurs applicables aux chiens en bonne santé), dont certains seront âgés, et d’autres plus jeunes, afin de les comparer et de voir si les chiens âgés ont des valeurs équivalentes aux chiens jeunes. On peut aussi réfléchir aux méthodes de prélèvement, aux méthodes statistiques qu’on utiliserait pour traiter les données, etc.

b)     Matériels et Méthodes

Nous pouvons donc aborder la lecture des M&M avec en tête la réponse aux questions précédentes. La section M&M contiendra différentes sections, qui pourront varier d’un type d’étude à un autre. Pour une étude transversale comme celle de l’article, il est classique de trouver une section qui décrit la méthode d’échantillonnage (section Animaux dans l’article), une section qui décrit les techniques de prélèvement des échantillons (section Prélèvements), une section qui décrit les méthodes de traitement des échantillons au laboratoire (section Analyse), et une méthode qui décrit les outils statistiques utilisés pour analyser les données (section Comparaison des résultats).

Au fur et à mesure de la lecture, l’objectif est de comparer les méthodes présentées avec celles que vous auriez mis en œuvre, vous, c’est-à-dire d’avoir une lecture critique. C’est également d’identifier la portée et les limites de l’étude (la portée d’une étude, c’est le contraire de ses limites, et c’est jusqu’à quel point on pourra généraliser ses résultats… exemple, si ses résultats sont « positifs  », l’étude de Briend-Marchal et al permettra-t’elle de penser que les chiens de grande race et âgés ont des paramètres différents des chiens de grande race mais jeunes?)

Vous pouvez lire la première section (Animaux).

Effectivement, les chiens ont été sélectionnés de manière à être a priori en bonne santé. Bien sur, il y a des critères plus ou moins sensibles et plus ou moins spécifiques. Il est possible que des chiens porteurs de maladies qui n’affectent pas ces critères soient sélectionnés. Ce sera sans doute une limite de l’étude, mais on peut difficilement faire autrement. On a sélectionné des chiens de race petite ou moyenne (mais pas de race grande, car ils vivent moins longtemps et ont donc des classes d’âges différentes, c’était expliqué en introduction). Ainsi l’étude à une portée directe pour les chiens de race petite et moyenne,  mais sa portée n’est qu’indirect pour les chiens de race grande (i.e. on pourra tirer des indices pour les chiens de race grande si on fait l’hypothèse qu’ils vieillissent de la même manière). L’effectif total des chiens est de quelques dizaines. Sachant que les chiens sont de tous sexes et toutes races, il risque d’y avoir beaucoup de variabilité, et cet effectif risque donc d’être un peu faible pour avoir assez de puissance statistique (c-à-d pour détecter des différences significatives entre les paramètres s’il y en a). On verra ce que ça donne.

Vous pouvez lire la seconde section (Prélèvements).

On a prélevé du sang chez tous les animaux. On fera l’hématogramme et la VS sur tous les échantillons, mais la fibrinogénémie seulement chez les 27 adultes et 26 chiens agés (plutôt que les 63). C’est aussi uniquement pour ce sous-groupe d’animaux que seront réalisés les dosages de protéines et l’éléctrophorèse. On ne comprend pas trop pourquoi ces mesures ne sont pas faites sur l’ensemble des animaux, mais soit. On garde cette information dans un coin.

Vous pouvez lire la 3e section (Analyses). Elle est longue et je ne suis pas biologiste moléculaire, donc je laisse les personnes qui ont les compétences nécessaires apprécier la pertinence des choix méthodologiques (a priori, il y a peu de chances que ces choix soient critiques, car ils correspondent à des analyses cliniques de routine).

Enfin, vous pouvez lire la 4^e section (Comparaison des valeurs).

On voit que finalement, bien qu’on ait parlé de prélevements de sang et d’analyses de laboratoire pour l’hémogramme, la VS, et la fibrinogénémie, on n’utilisera pas ces données, mais on comparera les valeurs des chiens âgés directement aux valeurs de références utilisées en clinique. On comprend que l’objectif initial était de comparer aux chiens adultes échantillonnés, mais qu’il y a dû avoir un problème avec les échantillons… ou les résultats, qui les a fait changer de méthode en cours de route. Ça pose un double problème. Premièrement, s’ils ont changé la méthodologie pour obtenir des résultats plutôt que d’autres, c’est du p-hacking (ça manque de rigueur scientifique). S’il y a eu un problème avec les échantillons, il convient de le signaler, pour écarter tout doute, et cette précision manque. Donc le doute subsiste. Deuxièmement, on ne sait pas comment ont été échantillonnés les chiens qui ont servi à établir les valeurs de référence. Avait-on utilisé les mêmes critères de bonne santé ? Dans le cas contraire, comment pourrait-on savoir, si on observe une différence entre chiens adultes, et chiens âgés, si cette différence est due à l’âge, ou si elle est due à des critères d’échantillonnage différents ? On ne pourra pas. Peut-être que la méthode de sélection des chiens était la même, mais ce n’est pas précisé. Donc là encore, le doute subsiste.

Nous pouvons à présent nous attaquer à la lecture des résultats.

c)     Résultats

Les résultats sont présentés de manière brute, et ne sont pas interprétés dans cette section. L’interprétation des auteurs sera faite dans la section discussion. Cependant, vous, au fur et à mesure de la lecture, vous pouvez déjà identifier de quelle manière les résultats répondent à la question posée, et penser aux interprétations possibles de ces résultats (au regard de la problématique de l’étude).

Ainsi: ces résultats indiquent-ils que les paramètres des chiens âgés sont différents de ceux des chiens adultes?

La première partie des résultats nous présente les résultats d’hémogrammes, en lien avec le tableau 1. Nous pouvons commencer par jeter un œil au tableau, sur la page suivante :

Le tableau représente le nombre de chien en dessous, dans, et au dessus des valeurs de référence pour chaque paramètre de l’hémogramme. On remarque que pour la plupart des paramètres, il n’y a pas beaucoup (0, un, ou deux ) de chiens au dessus et au dessous : les chiens ont l’air de rentrer dans les valeurs de référence. Par contre on remarque le 6 au dessous pour les neutrophiles (mais il y a aussi 2 au dessus… peut être qu’il y a une différence de variance ?), le 5 au dessus pour les eosinophiles, le 21 au dessous, un résultat assez net pour les lymphocytes, le 6 au dessus pour les monocytes, et le 11 au dessus pour les plaquettes. Les résultats ont l’air marqués surtout pour les lymphocytes et les plaquettes, et il y a peut-être quelque chose mais sans certitude pour les neutrophiles, les eosinophiles et les monocytes. Voyons maintenant ce qu’en disent les auteurs :

Ok, pour l’hémogramme, ils remarquent à peu près la même chose que nous. Ils retranscrivent les pourcentages, ce qui permet de se rendre un peu mieux compte.

Puis ils décrivent les résultats pour la VS. Elle est normale (donc dans l’intervalle de référence) pour 67% des chiens âgés. En dehors de l’intervalle pour les 100-67=33% restants.

Enfin ils décrivent les résultats pour la fibrinogénémie, normale pour 23 cas sur 26 (donc anormale pour 3/26*100=11% des cas.

Que déduire de ces résultats ? Qu’avec les critères de bonne santé utilisés, certains chiens âgés sortent des valeurs standards. Faut-il en déduire que des valeurs de référence doivent être redéfinies spécifiquement pour les chiens âgés (puisque c’était la problématique de l’article) ? Ce n’est pas clair, peut être que parmi les chiens adultes échantillonnés, on aurait également eu des animaux sortant des valeurs de référence. Soit parce que les valeurs de référence sont stringentes (=plus étroites que la variabilité naturelle des chiens pour ces paramètres), soit parce que des chiens sont porteurs de maux non détectés par les critères de sélection utilisés. Les valeurs de référence servent justement à détecter ces maux, donc on ne voudra pas les changer.

On aurait pu interpréter la problématique différemment, à savoir : « quelle proportion de chiens âgés sortent des valeurs de référence sans pour autant que ce soit très inquiétant » (en supposant qu’on ait déjà cette information pour les chiens adultes). Mais dans ce cas, pour répondre à la question posée, il aurait été utile de pousser l’étude plus loin, en faisant la recherche, pour chaque chien sortant des valeurs de référence, d’éventuels parasites ou d’autres pathologies. En effet, l’objectif d’une telle question serait de savoir dans quelle mesure, quand on chien sort des valeurs de référence, il est utile de pousser la recherche de pathologies.

Nous pouvons passer à la seconde partie des résultats, qui concerne la protidémie et l’électrophorèse et s’appuie sur le tableau II :

On peut comparer les chiens adultes et les chiens âgés pour chaque colonne qui correspond à un paramètre. On remarque qu’il y a une différence moyenne dans le dosage des protéines (1ere colonne) entre les adultes et les jeunes, mais lorsqu’on regarde l’étendue (les valeurs sous les moyennes), on se rend compte que le minimum est 52 pour les jeunes, et 54 pour les âgés, et le maximum est 78 pour les jeunes et 80 pour les âgés. Ces étendues sont a peu près similaires, on s’attend donc à ce que la différence de moyenne observée ne soit pas tellement significative. Ainsi de suite pour toutes les colonnes du tableau. Il n’y a que pour l’alpha 2 globuline que l’écart entre les moyennes semble un peu plus important. Et effectivement, il y a une étoile, ce qui indique que cette différence est statistiquement significative. Voyons ce qu’en disent les auteurs.

Dans le deuxième paragraphe, on note que leurs observations sont similaires aux notres. Cela signifie-t-il qu’il n’y a pas tellement de différences pour ces paramètres ? Souvenons-nous qu’il y avait peu de chiens au total, et que pour ces paramètres, seuls 26 et 27 chiens de chaque groupe ont été utilisés. Nous avions indiqué que le faible nombre de chien diminuait le pouvoir statistique, c’est-à-dire qu’il serait difficile de détecter des différences, même s’il y en avait. Par ailleurs, il est indiqué dans les méthodes que pour certaines des comparaisons, c’est un test de Mann-Withney qui a été utilisé. Or ce test est non paramétrique, ce qui ajoute encore à la perte de pouvoir statistique. Il est donc difficile de conclure de ces résultats que si on ne détecte pas de différence entre chiens adultes et chiens âgés, c’est parce qu’il n’y en a pas.

d)     Discussion

Nous arrivons à la discussion. Le fait d’avoir discuté nous même les résultats nous permettra d’être plus critiques vis-à-vis de la discussion des auteurs. Comme pour l’introduction, les discussions ont une structure récurrente. En général, on trouve dans la discussion:

–         Un rappel rapide des principaux résultats ;

–         Une interprétation de ces résultats au regard de la limite et de la portée de l’étude ;

–         Une comparaison des résultats obtenus avec ceux d’autres études, et une recherche d’explications en cas d’éventuelles différences. On évalue si le résultat est inattendu ou s’il conforte la littérature existante ;

–         Une conclusion qui donne une réponse à la problématique annoncée. A ce niveau, vous pouvez vous demander si vous êtes d’accord avec la conclusion des auteurs, et si la réponse apportée à la question vous semble satisfaisante ;

–         Des perspectives, c’est-à-dire des pistes de recherches futures.

Dans le cas présent, le premier paragraphe formule implicitement les limites que nous avons formulées pour l’interprétation des résultats négatifs (protidémie et électrophorèse), à savoir le manque de pouvoir statistique.

Les paragraphes suivants comparent les résultats obtenus avec ceux obtenus par d’autres auteurs,  paramètre par paramètre. Il existe différentes études contradictoires pour les paramètres de l’hémogramme et la présente étude concorde, du coup, toujours avec l’une ou l’autre des études. Pour la VS, les résultats concordent avec ceux des études précédentes (accélération cad « en dehors de valeurs de référence» pour les chiens âgés). Pour la fibrinogénémie, les résultats concordent apparemment avec une autre étude (valeur moyenne supérieure pour les chiens agés comparés aux adultes – mais ce résultat n’apparaissait pas dans la section résultats de la présente étude, ce qui est une erreur de présentation). Pour la protéidémie, les résultats ne concordent pas avec les autres études qui trouvent une augmentation quand la présente étude ne trouve pas de différence significative (sauf pour l’alpha 2 globuline). Mais on peut attribuer cela assez facilement au manque de pouvoir statistique.

Pour résumer les résultats sont inconclusifs pour la plupart des paramètres. A la limite on peut conclure sur la VS et la fibrinogénémie puisque les résultats concordent avec ceux des études précédentes, mais comme nous le disions, du fait de la comparaison avec les valeurs de référence plutôt qu’avec le groupe des chiens adultes, les résultats de comparaison de ces paramètres sont sujets à caution. Au mieux, c’est un indice. Pour la protéidémie et l’éléctrophorèse il y a discordance mais on peut penser que ce sont les résultats des autres études qui ont raison du fait du manque de pouvoir statistique de la présente étude.

Dans l’avant dernier paragraphe, les auteurs résument ce qu’on pour s’attendre à observer chez les chiens agés, sur la base des études précédentes.

Et enfin, dans le dernier paragraphe, on trouve la conclusion. Les trois premières phrases concluent en lisant les différences « importantes» selon eux démontrées par la présente étude. Sommes-nous d’accord avec cette conclusion ? Notre interprétation des résultats diverge, et nous serions moins catégoriques. La dernière phrase présente enfin les perspectives.

Voilà, nous avons terminé la lecture critique de cet article. Bien évidemment, cette critique peut paraître acerbe. Chacun, avec sa spécialité et ses compétences, aura sa propre appréciation des limites et de la portée de cette étude. J’insiste particulièrement sur les aspects statistiques. Un vétérinaire aura peut-être une connaissance des valeurs de paramètres habituelles qui l’amèneront à être moins sévère (peut être que du point de vue d’un vétérinaire, il est très rare que des chiens adultes en bonne santé soient en dehors des valeurs de références, et le fait de comparer aux valeurs de référence plutôt qu’aux chiens adultes échantillonné leur posera alors peut-être moins problème). En tous cas, toute personne qui travaille sur un sujet connexe pourra faire référence aux conclusions de cette étude en tenant compte des limites qu’il a identifiées grâce à une lecture approfondie. Autrement dit, parce que cette étude est scientifique et qu’elle présente ses méthodes, les faits établis par l’étude sont accompagnés d’une mesure du degré de confiance qu’on peut leur accorder. Et c’est ça qui est important.