La taille de l’effet


Un calcul bien simple, mais est-ce aussi simple ?

Sans titre

La taille de l’effet est le nom donné à une famille d’indices (actuellement plus de 40 types), qui mesurent la force de l’effet d’un traitement. 

En d’autres termes, la taille de l’effet sert à quantifier l’ampleur réelle de l’intervention mesurée, en fournissant une valeur spécifique (un score numérique) dans la comparaison de deux (ou plus de deux) groupes. 


Oldies but goldies, quelques études passent les années sans que leurs conclusions soient trop remises en cause… Ou pas. Je profite de l’été pour ce retour vers le (peut être) futur. Note rédigée originellement dans ActuKiné le Dimanche 31 Août 2014


Pour illustrer la compréhension du concept de la vraie grandeur d’une intervention, prenons l’exemple suivant : 

Un pétard est un dispositif explosif avec une petite taille de l’effet ou d’ampleur. La dynamite est un dispositif explosif avec une plus grande taille de l’effet ou d’ampleur. S’il faut créer un tunnel pour un réseau routier, la dynamite présente l’ampleur la plus forte et démontre la taille la plus forte de l’effet. 

En réhabilitation, une comparaison théorique de deux interventions est également possible. Par exemple, pour le traitement d’une réparation chirurgicale de la coiffe, un programme d’exercices pour renforcer les muscles est considéré comme ayant une plus grande taille de l’effet thérapeutique que l’utilisation de compresses chaudes. 

Les type de taille d’effet 

Les tailles d’effet sont généralement divisés en trois groupes: 

1) la mesure des différences normalisées 

2) les mesures de corrélation, 

3) les rapports de cotes. 

Pour estimer la mesure des différences normalisées entre deux groupes, les coefficients d de Cohen et g de Hedges sont utilisés. 

Il est possible de comparer plus de deux groupes, à l’aide d’autres coefficients (Eta carré (h), Eta carré partiel (ch), oméga carré (w)), ou une corrélation intraclasses (r). 

Les odds ratios (rapports de cotes) avec intervalles de confiance sont une forme de taille d’effet utilisée lors de comparaison de valeurs qualitatives dichotomique (binaire). Les odds ratios mesurent les chances de succès (ou d’échec) dans le groupe expérimental par rapport à ses chances de succès (ou d’échec) dans le groupe témoin. 

Comment sont calculées les tailles d’effet ? 

Les tailles d’effet sont calculés lors de la comparaison des données issue d’une intervention expérimentale par rapport un groupe d’une autre intervention (le plus courant) ou par rapport à un groupe contrôle. 

Bien que la taille de l’effet peut être calculé pour toutes les formes de mesures, qualitatives ou quantitatives, continues, ordinales ou dichotomiques, la mesure de la différence moyenne standardisée (le d de Cohen) entre deux groupes de comparaison qui permettent de mesurer des données quantitatives continues est la plus fréquente. 

Calcul de la moyenne normalisée 

Sans titre 2

Le coefficient d de Cohen est égal à la différence moyenne des valeurs obtenues dans les deux interventions divisée par l’écart-type des valeurs du groupe expérimental ou l’écart-type cumulé des valeurs des deux groupes. 

Bien sûr, à moins d’utiliser la valeur absolue de la différence, il est possible que ce coefficient soit négatif, ce qui peut refléter un meilleur résultat pour certaines variables (ex : Roland Morris, EVA) 

Parce que les valeurs calculées fournissent peu d’indications concernant l’ampleur d’une intervention, Cohen a classé les tailles d’effet, en triviale, faible, moyenne, large. 

La taille de l’effet est dite triviale lorsque les pourcentages obtenus sont inférieurs à 0,2. 

Elle dite faible lorsque ces pourcentages se situent entre 0,2 et 0,5, moyenne pour des valeurs entre 0,5 et 0,8, large pour des valeurs au delà de 0,8. 

Ces pourcentages correspondent aux pourcentages du groupe de contrôle qui tombent en dessous des valeurs moyennes obtenues dans le groupe expérimental. 

Par exemple, un effet de taille de 0.0 (trivial) suggère que près de 50 % du groupe de contrôle aurait des résultats qui se situent au-dessous du groupe expérimental. Une taille d’effet de 0,4 (faible) indique qu’environ 66%  du groupe témoin ont des valeurs en dessous du groupe expérimental. Une grande taille d’effet de 0,80 correspond à 79% du groupe de contrôle. Une taille d’effet de 2 et au delà indique que 98% ou plus du groupe contrôle se situe en deçà de la valeur moyenne obtenue dans le groupe expérimental. 

Le tableau 1 de l’article détaille les équivalences. 

Comment sont utilisées les tailles d’effet ? 

Elles permettent une plus grande précision dans la détermination de la véritable ampleur de l’intervention lorsque les résultats ne sont pas évidents (ou statistiquement significatifs). Contrairement aux tests de signification, les tailles d’effet sont indépendantes de la taille de l’échantillon et de la puissance. 

Les tests de signification statistique, souvent utilisés comme mesures des résultats de l’efficacité d’une intervention, ont des limitations substantielles par rapport à la taille de l’effet : 

Des études avec de très grandes tailles d’échantillon et un petit effet peut encore facilement atteindre une signification statistique, alors qu’à l’inverse, des études avec de petits échantillons, mais la taille d’effet forte risquent de ne pas atteindre la signification statistique. 

Prenons l’exemple suivant : en 2007, a été observé que l’arthrose (OA) influence l’auto-évaluation de la santé mentale, avec un plus grand nombre de jours rapportés où la santé mentale est altérée chez les gonarthrosiques par rapport à des sujets contrôles. 

Bien que les personnes souffrant d’arthrose aient indiqué 7,12 ± 10,56 jours où leur santé mentale n’était pas bonne et que le groupe contrôle ait rapporté des résultats similaires (7.20 ± 10.01 jours), une différence statistiquement significative (p <0,01) a été retrouvée. Cette différence statistique n’a été atteinte seulement en raison de la taille importante de l’échantillon (6172 sujets atteints d’arthrose et 31523 sujets contrôles). La taille réelle de l’effet était seulement 0,007. 

En revanche, l’association américaine des chirurgiens de la hanche et du genou ont mentionné une étude de Krenzel et al, dans laquelle un groupe (N = 21) a reçu des injections de ropivacaïne capsulaires postérieures après arthroplastie totale du genou tandis qu’un groupe témoin (N = 20) ont reçu un traitement normal sans injection. 

Entre 8 à 48 heures après l’opération, le groupe qui a reçu le traitement de ropivacaïne a vu s’améliorer l’amplitude de ses mouvements et la douleur, même si les résultats n’étaient pas statistiquement significatifs (p = 0,11). A contrario, la valeur de l’effet de l’injection de ropivacaïne était de 1,12, ce qui suggère un impact fort du groupe expérimental, qui aurait pu, avec une taille d’échantillon appropriée, montrer une différence statistiquement significative. 

De nombreuses études de thérapie manuelle patissent d’échantillons de petite taille, qui peuvent avoir une incidence sur la capacité d’identifier vraiment les différences entre les résultats. 

La taille de l’effet d’une intervention spécifique est théoriquement cohérente entre plusieurs études et est pour cela utilisée dans les méta-analyses, qui permettent une mise des résultats sous forme d’une taille de l’effet commun. 

L’utilisation la plus fréquente de la taille de l’effet est en rapport avec l’analyse de la puissance d’une étude. 

La puissance d’une étude est influencé par la taille de l’échantillon, la différence estimée entre les deux variables et la taille de l’effet de l’intervention. Cette dernière reste le facteur le plus économique et le plus pragmatique pour améliorer le résultat d’un essai comparatif. 

Des études avec des interventions qui présentent une petite taille de l’effet nécessiteront des échantillons beaucoup plus importants et une différence estimée moins conservatrice ? (a less conservative cutoff for significance) comparativement à des études démontrant de plus larges ou fortes taille de l’effet. 

Limitations de la taille d’effet des mesures 

On pourrait faire valoir que la présentation de l’effet des mesures de taille lors de la présentation des résultats fournit beaucoup plus d’informations que la publication des données brutes ou l’indication du degré de signification statistique. 

Néanmoins, il existe des cas où les valeurs de la taille de l’effet peuvent fournir des conclusions trompeuses, en particulier lorsque des biais sont introduit dans la conception de l’étude, lorsque les données ne sont pas normalement distribuées ou indépendantes, lorsque les variances sont différentes. 

En outre, les valeurs de taille signalé d’effets diminuent au cours de l’évolution des connaissances. Les premières études sur une thérapeutique donnée la comparent habituellement avec une intervention sans traitement ou un véritable groupe contrôle. Les études suivantes la comparent avec un traitement habituel, ce qui induit une taille de l’effet inférieure. 

L’amélioration de la qualité des études va aussi dans ce sens en limitant les dispersions des valeurs, en recrutant des échantillons plus homogènes. 

Groc 

Il a été dit que le plus grand avantage d’une taille de l’effet est la capacité de traduire le changement de l’état de santé d’un patient en une valeur normalisée. 

Les tailles d’effet semblent bien corrélées avec l’évaluation de la santé globale comme le taux global de changement (Global rating of change – Groc) dans certaines pathologies : Middel et al ont démontré que les résultats Groc autodéclarés correspondaient très bien aux mesures de la taille d’effet pour les patients qui reçoivent des soins lors d’une insuffisance cardiaque. 

Le Groc d’un patient reflète leur propre cotation de l’évolution globale du traitement par rapport à leur point de départ initial des soins. Un effet insignifiant correspond bien à une absence de changement sur l’échelle du Groc, un petit effet est corrélé avec une amélioration légère, un effet moyen avec une amélioration moyenne, etc… 

Néanmoins, il est important de noter que les changements cliniquement significatifs varient selon les individus et les conséquences liés à la maladie peuvent être estimées à 0,2 alors que d’autres les estiment à 0,8…. 


Référence bibliographique : 

Chad Cook. Clinimetrics Corner: Use of Effect Sizes in Describing Data. JMMT. Volume 16. N°3. 2013 

Article disponible en ligne