Modèles paramétriques et non paramétriques

Modèles paramétriques et modèles non paramétriques

Qu'est-ce qu'un paramètre ?

Les modèles de prédiction étudient la relation $Y=f(x)$, ce qui signifie que la variable de résultat ($Y$) est une fonction des prédicteurs ($x$).

La fonction qui estime $Y$ à partir de $x$ est inconnue et doit être calculée. Il existe un grand nombre d'algorithmes permettant de trouver la fonction qui décrit le mieux la relation $Y=f(x)$. Ces algorithmes calculent la fonction à l'aide de paramètres. Prenons l'exemple d'un modèle de régression linéaire dans lequel le poids est prédit à partir de l'âge et du sexe :

$Y_{poids} = \beta_{âge} + \beta_{sexe} + erreur$

Ce modèle comporte trois paramètres ($\beta_{âge}, \beta_{sexe}, erreur$) qui doivent être estimés. Le nombre de paramètres ne dépend pas du nombre d'observations dans les données. Davantage d'observations n'entraîne ni plus ni moins de paramètres, ce qui signifie que le nombre de paramètres est fixe.

Les paramètres sont nécessaires pour effectuer des prédictions. Ils sont calculés à partir des données d'entraînement (les données sur lesquelles le modèle apprend). Le tableau ci-dessous présente des exemples de paramètres pour différents types de modèles.

Tableau 1.

Dans les modèles paramétriques, le nombre de paramètres est fixe et ne dépend pas du nombre d'observations. Dans un modèle non paramétrique, le nombre de paramètres augmente avec le nombre d'observations présentes dans les données d'entraînement. Parmi les modèles non paramétriques figurent par exemple les réseaux de neurones (NN), random forest (RF), gradient boosting (GBM) et extreme gradient boosting (XGB).

Les modèles non paramétriques peuvent donc être beaucoup plus longs à calculer (un plus grand nombre de paramètres doit être estimé), mais ils peuvent en revanche atteindre une précision nettement supérieure à celle d'un modèle paramétrique.