La significativité statistique est un terme utilisé en recherche pour décrire dans quelle mesure il est probable qu'une différence ou une association observée dans les données soit réelle et ne relève pas simplement du hasard. Lorsqu'une différence ou une association est statistiquement significative, on peut dire qu'elle ne s'explique pas par le hasard et qu'elle est donc probablement réelle.
La significativité statistique sert à déterminer si le résultat d'une étude est important ou non. Si le résultat est statistiquement significatif, on peut en tirer des conclusions quant à l'existence d'une différence réelle entre différents groupes ou au caractère réel d'une association entre des variables.
Pour déterminer si une différence ou une association est statistiquement significative, on utilise la valeur p. La valeur p est une mesure de la probabilité que l'observation soit due au hasard ; elle est calculée en comparant le résultat de l'étude à ce que l'on s'attendrait à observer si toutes les hypothèses de l'étude étaient vraies. La valeur p est un pourcentage et indique la probabilité que l'hypothèse nulle soit vraie. L'hypothèse nulle stipule qu'il n'existe aucune différence ou aucune association. En règle générale, on utilise un seuil de 5 % pour déterminer si un résultat est statistiquement significatif. Si la valeur p est inférieure à 5 %, cela signifie que la probabilité que l'observation soit due au hasard est très faible (< 5 %) ; elle est donc statistiquement significative (et l'hypothèse nulle est rejetée). Si la valeur p est égale ou supérieure à 5 % (≥ 5 %), l'observation peut être due au hasard et l'hypothèse nulle est donc conservée.
Exemple : supposons que l'on mène une étude pour déterminer s'il existe une corrélation entre le fait de prendre un petit-déjeuner et de meilleures performances à un examen scolaire. On recueille les données de 100 élèves et on compare les résultats à l'examen entre les élèves qui prennent un petit-déjeuner et ceux qui n'en prennent pas. Après analyse des données, on constate que les élèves qui prennent un petit-déjeuner obtiennent des résultats nettement meilleurs que ceux qui n'en prennent pas. On calcule ensuite la valeur p pour vérifier si le résultat est statistiquement significatif. Si la valeur p est inférieure à 5 %, on peut dire qu'il existe une corrélation statistiquement significative entre le fait de prendre un petit-déjeuner et de meilleures performances à l'examen.
Hypothèse nulle
L'hypothèse nulle est l'hypothèse examinée dans une analyse statistique ; elle postule qu'il n'existe aucune différence ni aucune corrélation entre les variables étudiées. L'hypothèse nulle sert de point de départ pour déterminer s'il existe une différence ou une corrélation statistiquement significative entre les variables, et l'on cherche à démontrer qu'elle est fausse en recueillant des données et en réalisant des tests statistiques.
L'hypothèse nulle est notée . L'hypothèse alternative postule qu'il existe une différence entre les groupes ; elle est notée .
Exemple : supposons que l'on veuille déterminer s'il existe une corrélation entre le fait de prendre un petit-déjeuner et de meilleures performances à un examen scolaire. Dans cet exemple, l'hypothèse nulle peut être formulée ainsi : « Il n'existe aucune corrélation entre le fait de prendre un petit-déjeuner et de meilleures performances à un examen scolaire. » On recueille les données de 100 élèves et on réalise des tests statistiques pour déterminer si l'hypothèse nulle est exacte ou non. Si l'on trouve une corrélation statistiquement significative entre le fait de prendre un petit-déjeuner et de meilleures performances à l'examen, on peut rejeter l'hypothèse nulle et affirmer qu'il existe une corrélation réelle entre les deux variables.
Tests multiples
Les tests multiples, également appelés « comparaisons multiples » (« multiple comparisons » ou « multiple testing » en anglais), consistent à réaliser plusieurs tests statistiques sur les mêmes données afin de rechercher des différences ou des corrélations entre différentes variables. Lorsqu'on réalise des tests multiples, le risque de résultats dits faux positifs augmente, c'est-à-dire que l'on conclut à tort à l'existence d'une différence ou d'une corrélation significative entre les variables alors qu'il n'y en a pas.
Les tests multiples peuvent poser problème pour plusieurs raisons. D'une part, on souhaite souvent examiner de nombreuses relations ou associations différentes dans une seule et même étude, ce qui accroît le risque d'obtenir des résultats faux positifs. D'autre part, on peut être amené à interpréter à tort des résultats comme statistiquement significatifs simplement parce que l'on a réalisé de nombreux tests, alors que le résultat n'est en réalité pas significatif.
Pour éviter le problème des tests multiples, il existe différentes techniques, par exemple la correction de Bonferroni et le taux de fausses découvertes (False Discovery Rate, FDR). Ces techniques servent à rendre plus exigeant le seuil appliqué à la valeur p, de manière à réduire le risque de résultats faux positifs. Il est important d'avoir conscience du risque de résultats faux positifs lorsqu'on réalise des tests multiples et d'utiliser des techniques appropriées pour y remédier.