Nous avons vu dans l’épisode précédent qu’à l’issue d’un test statistique, on rejette H₀ ou pas. Cette décision peut faire l’objet de deux types d’erreurs : le risque de 1ère espèce (ou risque α) et le risque de 2è espèce (ou risque β).

Risque de première espèce, ou risque α

C’est la probabilité de rejeter H₀ si H₀ est vraie, c’est-à-dire de conclure à tort à une différence significative. C’est la probabilité de conclure que la différence observée entre les deux groupes traduit une différence « vraie », alors qu’elle n’est due qu’à des fluctuations d’échantillonnage. Elle est fixée par l’expérimentateur, le plus souvent à 0,05 (5%).

Dans l’exemple de la comparaison d’un traitement A et d’un traitement B dans deux groupes constitués par tirage au sort, le risque α consisterait à conclure à tort à la supériorité du traitement A par rapport au traitement B, si ces traitements ont en fait une efficacité équivalente.

Les tests statistiques sont souvent conservateurs : ils sont conçus pour limiter le risque α à 5%. Il faut se méfier des études où les critères de comparaison entre groupes sont très nombreux. En effet, si pour chaque critère, le risque de conclure à tort à une différence significative est de 5%, sur 10 critères cette erreur devient assez probable. Les statisticiens ont des outils pour limiter le risque α global à 5% maximum.

Risque de deuxième espèce, ou risque β

C’est la probabilité de ne pas rejeter H₀ si H₁ est vraie, c’est-à-dire de ne pas mettre en évidence une « vraie » différence entre les groupes, si elle existe vraiment. C’est le risque d’attribuer à des fluctuations d’échantillonnage une différence « vraie » entre les groupes.

Dans notre exemple , cela pourrait correspondre à écrire que le traitement A n’a pas montré de supériorité par rapport au traitement B, alors qu’il est en réalité plus efficace.

Contrairement au risque α, le risque β n’est pas fixé par l’expérimentateur. Il dépend de la puissance du test.

Puissance d’un test

C’est la probabilité de rejeter H₀ si H₁ est vraie, c’est-à-dire de conclure à une différence significative entre les groupes, si elle existe vraiment. Par définition, puissance = 1-β

On souhaite qu’elle soit la plus grande possible. La puissance est proportionnelle :

• au nombre de sujets par groupe : plus il y a de sujets, meilleure est la puissance
• à la différence que l’on veut mettre en évidence : plus la différence entre les groupes est importante, meilleure est la puissance.
• à la variance : plus la variance du paramètre étudié est faible (c’est-à-dire moins ses valeurs sont dispersées), meilleure est la puissance.