
Nous avons vu dans l’épisode précédent qu’à l’issue d’un test statistique, on rejette H0 ou pas. Cette décision peut faire l’objet de deux types d’erreurs : le risque de 1ère espèce (ou risque α) et le risque de 2è espèce (ou risque β).
Risque de première espèce, ou risque α
C’est la probabilité de rejeter H0 si H0 est vraie, c’est-à-dire de conclure à tort à une différence significative. C’est la probabilité de conclure que la différence observée entre les deux groupes traduit une différence « vraie », alors qu’elle n’est due qu’à des fluctuations d’échantillonnage. Elle est fixée par l’expérimentateur, le plus souvent à 0,05 (5%).
Dans l’exemple de la comparaison d’un traitement A et d’un traitement B dans deux groupes constitués par tirage au sort, le risque α consisterait à conclure à tort à la supériorité du traitement A par rapport au traitement B, si ces traitements ont en fait une efficacité équivalente.
Les tests statistiques sont souvent conservateurs : ils sont conçus pour limiter le risque α à 5%. Il faut se méfier des études où les critères de comparaison entre groupes sont très nombreux. En effet, si pour chaque critère, le risque de conclure à tort à une différence significative est de 5%, sur 10 critères cette erreur devient assez probable. Les statisticiens ont des outils pour limiter le risque α global à 5% maximum.
Risque de deuxième espèce, ou risque β
C’est la probabilité de ne pas rejeter H0 si H1 est vraie, c’est-à-dire de ne pas mettre en évidence une « vraie » différence entre les groupes, si elle existe vraiment. C’est le risque d’attribuer à des fluctuations d’échantillonnage une différence « vraie » entre les groupes.
Dans notre exemple , cela pourrait correspondre à écrire que le traitement A n’a pas montré de supériorité par rapport au traitement B, alors qu’il est en réalité plus efficace.
Contrairement au risque α, le risque β n’est pas fixé par l’expérimentateur. Il dépend de la puissance du test.
Puissance d’un test
C’est la probabilité de rejeter H0 si H1 est vraie, c’est-à-dire de conclure à une différence significative entre les groupes, si elle existe vraiment. Par définition, puissance = 1-β
On souhaite qu’elle soit la plus grande possible. La puissance est proportionnelle :
- au nombre de sujets par groupe : plus il y a de sujets, meilleure est la puissance
- à la différence que l’on veut mettre en évidence : plus la différence entre les groupes est importante, meilleure est la puissance.
- à la variance : plus la variance du paramètre étudié est faible (c’est-à-dire moins ses valeurs sont dispersées), meilleure est la puissance.