Stratégies pour construire des modèles de prédiction

Araz Rawshani

Stratégies pour construire des modèles statistiques destinés à la prédiction, à l'estimation d'effets et aux tests d'hypothèses

Ce chapitre présente des stratégies et des méthodes pour construire un modèle de prédiction. Par modèle de prédiction, on entend toute méthode visant à mettre en évidence les relations entre plusieurs variables afin de produire une prédiction. Nous aborderons également les stratégies permettant d'estimer des effets (le plus souvent des associations) et de tester des hypothèses à l'aide de modèles statistiques.

Choix du modèle de prédiction

Il existe un grand nombre de modèles, plus ou moins avancés, pour étudier les relations entre variables. La statistique classique est dominée par les modèles de régression (par exemple la régression linéaire, la régression logistique, la régression de Cox, etc.). Ces modèles conviennent souvent parfaitement aux données structurées (données dont les valeurs sont organisées sous forme de tableau $* a n g l * . * t a b u l a r d a t a, s t r u c t u r e d d a t a *$ ). Ces dernières années, le machine learning s'est montré nettement supérieur à l'analyse de régression classique en matière de capacité prédictive. En contrepartie, le machine learning n'offre pas les paramètres faciles à interpréter que fournit l'analyse de régression (par exemple odds ratio, hazard ratio, coefficients, etc.). Pour l'analyse des données non structurées (photographies, images, vidéos), le machine learning et le deep learning (apprentissage profond) dominent. Trois principes fondamentaux doivent être pris en compte :

Le meilleur modèle pour vos données reste inconnu tant qu'une comparaison formelle entre différents modèles n'a pas été réalisée (voir Comparer et choisir parmi des modèles).
Il convient de choisir le meilleur modèle le plus simple, sauf si l'objectif est une capacité prédictive maximale, ce qui impose de retenir le meilleur modèle, quelle que soit sa complexité.
Si l'objectif est d'estimer la force des associations (plutôt que de prédire), il faut privilégier des modèles simples offrant des paramètres faciles à interpréter (par exemple les analyses de régression).

Définition du critère de jugement (Y)

Le critère de jugement doit toujours être pertinent et significatif au regard de la question de recherche. Le plus souvent, il est simple à définir, mais il existe des situations où c'est plus délicat. Le choix du critère de jugement influe sur plusieurs aspects d'une étude, notamment la taille de la population d'étude. En règle générale, une population d'étude plus petite suffit (pour mettre en évidence des différences entre groupes) lorsque le critère de jugement est continu (par exemple le poids corporel, le revenu, etc.). C'est un avantage lorsque l'étude nécessite un recueil de données, ce qui est coûteux. Dans les études où l'on mesure le délai jusqu'à la survenue d'un événement (par exemple le délai jusqu'à un infarctus ou jusqu'au remboursement complet d'un prêt immobilier), il faut généralement des populations d'étude plus grandes pour détecter des différences. C'est une vérité à nuancer, mais l'objectif est de montrer que le critère de jugement peut influer sur la taille de la population d'étude.

Une autre question se pose souvent : faut-il ou non catégoriser les critères de jugement continus ? Il peut être tentant de catégoriser les variables continues, car cela conduit souvent à des associations plus fortes. Comparez par exemple l'augmentation du risque d'infarctus lorsqu'un individu prend 1 kg de poids corporel avec celle observée lorsqu'il passe d'un poids normal au surpoids : cette dernière comparaison produit des associations plus fortes, et c'est pourquoi les chercheurs ont tendance à catégoriser aussi bien les prédicteurs continus que les critères de jugement continus. Il peut évidemment exister de bonnes raisons de catégoriser des variables continues, mais de nombreux experts le déconseillent fortement, car on écarte délibérément de l'information (une variable continue est plus informative que sa version catégorisée). Quelle que soit la situation, le critère de jugement doit toujours être pertinent et éclairer la question de recherche.

Sélection des variables

La sélection des variables consiste à délimiter les variables incluses dans le modèle. Un modèle doit comporter suffisamment de variables, mais pas davantage. Des variables superflues peuvent introduire du bruit qui réduit la précision du modèle. Dans de nombreux contextes, on ignore quelles variables sont superflues, et il faut alors toutes les inclure pour identifier et exclure celles qui le sont. Les méthodes de sélection des variables sont traitées dans le chapitre Sélection des variables.

Spécification du modèle

Pour certains modèles, il est nécessaire de spécifier la structure du modèle. L'exemple le plus courant est celui des analyses de régression, qui exigent une spécification manuelle du modèle. Ci-dessous, nous construisons une régression linéaire dans laquelle nous prédisons l'IMC (bmi) à partir de quatre prédicteurs.

lm(bmi ~ age + sex + income + education, data=my_data)

Il s'agit d'un modèle sans interactions, dans lequel tous les prédicteurs sont modélisés de façon linéaire. Nous pouvons utiliser la fonction rcs() pour modéliser une variable de manière non linéaire (plus flexible) et le signe de multiplication (*) pour créer des interactions entre variables. Nous permettons à la variable age de présenter au maximum 4 variations dans sa relation avec l'IMC en écrivant rcs(age, 4) :

lm(bmi ~ rcs(age, 4) + sex + income*education, data=my_data)

Il s'agit d'un autre modèle, bien que le critère de jugement et les prédicteurs soient les mêmes. On comprend vite que d'autres interactions et relations non linéaires peuvent être introduites, ce qui signifie qu'il existe un très grand nombre de modèles susceptibles d'être testés.

C'est l'une des raisons pour lesquelles le machine learning est attractif : ces modèles n'exigent pas que le modèle soit spécifié de la manière décrite ci-dessus.

Choisir la méthode d'analyse : test d'hypothèse, analyse de régression ou machine learning

Supposons que nous étudiions la relation entre la consommation d'alcool et le cancer. Nous disposons à cet effet d'une population d'étude comprenant 500 cas de cancer et 500 personnes sans cancer. Pour ces 1000 personnes, on dispose d'informations sur environ 50 variables décrivant leur santé, leurs habitudes de vie, etc., avant l'éventuel diagnostic de cancer. L'une de ces variables est la consommation d'alcool, une variable continue (nombre de verres bus par mois). La question de recherche est la suivante : existe-t-il une relation entre la consommation d'alcool et le cancer du côlon ?

Même s'il existe différentes méthodes pour répondre à la question, il faut toujours partir d'une hypothèse. Les modèles statistiques qui aboutissent à des valeurs P, des coefficients et des intervalles de confiance reposent toujours sur une hypothèse nulle ( $H_0$ ), selon laquelle il n'existe aucune différence de consommation d'alcool entre les groupes.

$H_0: μ_1 = μ_2$

$μ_1 =$ consommation d'alcool chez les cas de cancer

$μ_2 =$ consommation d'alcool chez les témoins

L'hypothèse nulle peut être examinée selon l'une des approches suivantes :

Un test statistique : si la consommation d'alcool est une variable continue de distribution normale, un test t permet de déterminer si la consommation est identique dans les deux groupes. Un test t nous fournit une valeur P (probabilité) pour que l'hypothèse nulle soit correcte. Si la valeur P est très petite (< 0,05), nous rejetons l'hypothèse nulle et considérons plutôt qu'il existe une différence entre les groupes. Les tests statistiques sont le plus souvent simples et reposent sur peu d'hypothèses.
La régression : un modèle de régression offre davantage de possibilités pour caractériser l'association entre la consommation d'alcool et le cancer. Si le critère de jugement (Y) est le cancer (oui/non), on peut par exemple utiliser une régression logistique pour déterminer si l'alcool est un prédicteur statistiquement significatif du cancer. Outre la valeur P, nous obtenons également des coefficients (qui décrivent la direction, la forme et la force de l'association) et un intervalle de confiance (qui indique où se situe la véritable association avec un certain degré de certitude). Un modèle de régression permet en outre de prédire le risque de cancer chez de nouveaux individus à l'avenir.

Quelle que soit la méthode choisie, le résultat, au regard de la question de recherche, sera le même. Le test t est équivalent à une régression linéaire à un seul prédicteur. La même analogie vaut pour plusieurs autres tests d'hypothèses et modèles de régression : ils sont étroitement apparentés.

Il faut toujours rechercher la simplicité, tout en évitant de perdre des informations précieuses. Cela signifie que le choix entre des tests simples et des modèles de régression exige une pondération soigneuse. Les tests statistiques sont simples, reposent sur peu d'hypothèses mais fournissent une information limitée. Les modèles de régression sont plus complexes, reposent sur davantage d'hypothèses et demandent un travail plus important. En contrepartie, l'analyse de régression fournit davantage d'informations et permet de produire des prédictions.

Les modèles de régression peuvent donc servir à tester des hypothèses, et ils présentent à cet égard de nombreuses similitudes avec les tests statistiques usuels. Cela implique aussi que plusieurs écueils propres aux tests statistiques doivent également être pris en compte dans l'analyse de régression. De même qu'il est déconseillé de tester un trop grand nombre d'hypothèses nulles en quête de signification statistique, il ne faut pas non plus tester trop de prédicteurs dans un modèle de prédiction (si l'objectif est d'identifier des associations).

La taille de l'échantillon (sample size) est importante aussi bien pour les tests statistiques que pour les modèles de régression. L'exigence en matière de taille d'échantillon est la même pour les tests statistiques (par exemple le test t) et pour les modèles de régression (par exemple la régression linéaire).

Analyse de régression pour la prédiction ou l'estimation d'effets

Nous avons vu plus haut l'analyse de régression utilisée pour tester une hypothèse nulle. Nous abordons ici son utilisation pour construire des modèles de prédiction ou pour estimer l'effet (la force de l'association) d'un prédicteur ( $X$ ) sur un critère de jugement ( $Y$ ). Rappelons que le terme effet est en réalité trompeur, car il a une connotation causale, alors que les modèles de régression classiques ne sont pas des analyses causales (voir Inférence causale). On emploie néanmoins souvent l'expression estimation d'effets.

Estimation d'effets : estimer l'effet (l'association) d'un ou de plusieurs prédicteurs

L'estimation d'effets est réalisée lorsqu'un ou plusieurs prédicteurs ( $X$ ) présentent un intérêt particulier et que l'on souhaite caractériser la relation entre ce ou ces prédicteurs et le critère de jugement ( $Y$ ). Il est possible de construire un modèle de régression qui ne comprend que le critère de jugement ( $Y$ ) et le prédicteur ( $X$ ). Le plus souvent, on inclut toutefois des covariables supplémentaires afin d'ajuster sur celles-ci. L'ajustement sur des covariables réduit la confusion.

La sélection des variables (choix des covariables) et la spécification du modèle doivent être effectuées par un expert du domaine. On peut ainsi s'assurer que le modèle comprend les covariables nécessaires pour quantifier, autant que possible, l'effet du prédicteur qui nous intéresse. Les modèles d'estimation d'effets peuvent donc être spécifiés à partir de la connaissance du domaine (subject matter knowledge) (Harrell). Aucun algorithme complexe n'est nécessaire pour sélectionner les variables ou spécifier le modèle.

La figure ci-dessous présente les étapes de l'estimation d'effets.

graph LR;
Datainsamling[Collecte des données] --> Y("Définir les prédicteurs (X)<br> et le critère de jugement (Y)") --> M("Choisir et spécifier le modèle<br> par ex. régression logistique") --> Analysera[Analyser] --> Rapportera[Rapporter]

Prédiction : prédire $Y$

Dans l'étude fictive sur le cancer évoquée plus haut, on disposait d'informations sur environ 50 variables. Plusieurs d'entre elles, mais pas toutes, peuvent probablement servir à prédire le risque de cancer. Si l'objectif est de prédire qui développera un cancer, la prédiction est alors la finalité du modèle de régression. Les modèles destinés à produire des prédictions exigent davantage de soin que les modèles conçus pour l'estimation d'effets. La figure ci-dessous illustre les étapes de ces modèles.

graph TD;
Datainsamling[Collecte des données] --> Y("Définir les prédicteurs (X)<br> et le critère de jugement (Y)") -->
M(Choisir les modèles candidats à comparer) & R(Définir comment les modèles seront comparés) --> X(Préciser pour chaque modèle si et comment les prédicteurs doivent être transformés ou sélectionnés) --> C(Comparer les modèles) --> Eval(Évaluer le résultat final) --> Pars(Examiner si un modèle parcimonieux est aussi performant) --> Rapportera[Rapporter]

La plupart des modèles de prédiction ont vocation à être utilisés par de nombreuses personnes ; le modèle doit alors être fiable, présenter une précision élevée et, de plus, être parcimonieux (angl. parsimonious) quant au nombre de prédicteurs qu'il comporte. Plus les prédicteurs sont nombreux (et plus ils sont difficiles à obtenir), moins le modèle est utile.

Le même modèle de régression peut servir à la fois à la prédiction et à l'estimation d'effets. Un modèle de régression estime toujours l'effet des prédicteurs (β, les coefficients) et, de même, on peut toujours prédire avec un modèle abouti (même s'il n'a pas été développé spécifiquement pour la prédiction).

Machine learning : méthodes d'ensemble et deep learning (apprentissage profond)

Ces dernières années, l'analyse de régression a été vivement concurrencée par le machine learning (ML), qui consiste à utiliser différents algorithmes pour déchiffrer les données. Aujourd'hui, le machine learning est très largement utilisé dans tous les secteurs, de la médecine à l'industrie manufacturière. Sur Kaggle (www.kaggle.com), nombre des meilleurs analystes du monde se retrouvent pour s'affronter dans la résolution de problèmes de prédiction. Les dotations sont élevées et pratiquement toutes les compétitions sont remportées grâce au machine learning. Le machine learning fait partie de l'intelligence artificielle (IA).

Plusieurs des méthodes de machine learning les plus populaires imitent la démarche humaine de prise de décision. Les premières méthodes de machine learning à connaître le succès ont été les modèles fondés sur des arbres (tree-based methods). Ils sont conceptuellement simples à comprendre et constituent un préalable à la compréhension d'algorithmes plus complexes. La figure ci-dessous illustre (de manière conceptuelle) comment un algorithme fondé sur des arbres partitionne (divise) les données en portions plus petites.

graph TD;
Alla(Toutes les observations) --> Men(Hommes) & Wom(Femmes)
Men --> MS1("Obésité") & MS2("Poids normal")
Wom --> WS1("Obésité") & WS2("Poids normal")
MS1 --> A(Fait de l'exercice) & B(Ne fait pas d'exercice)
MS2 --> C(Fait de l'exercice) & D(Ne fait pas d'exercice)
WS1 --> E(Fait de l'exercice) & F(Ne fait pas d'exercice)
WS2 --> G(Fait de l'exercice) & H(Ne fait pas d'exercice)
B --> D1(Diabète)
D --> D2(Diabète)
F --> D3(Diabète)
H --> D4(Diabète)
A --> F1(En bonne santé)
C --> F2(En bonne santé)
E --> F3(En bonne santé)
G --> F4(En bonne santé)

Les algorithmes fondés sur des arbres les plus populaires sont random forest, gradient boosting et extreme gradient boosting. Ces méthodes peuvent servir à prédire des critères de jugement ( $Y$ ) aussi bien continus que catégoriels. Les prédicteurs peuvent de même être continus et/ou catégoriels. Les méthodes fondées sur des arbres peuvent donc être utilisées dans les mêmes situations que l'analyse de régression. Elles reposent sur des algorithmes qui partitionnent les données. Le partitionnement consiste à diviser le jeu de données initial en groupes de plus en plus petits, à l'aide de critères identifiés par l'algorithme. Voici un exemple simple de partitionnement des données :

Explication de la figure ci-dessus

L'algorithme commence par diviser la population selon le sexe, de sorte que les hommes et les femmes se retrouvent dans des groupes distincts.
L'algorithme poursuit en divisant les groupes selon le poids corporel.
L'algorithme distingue ensuite les observations qui font de l'exercice de celles qui n'en font pas.
L'algorithme prédit si le participant a un diabète ou non en fonction de sa position dans l'arbre.

Le diagramme ci-dessus est également appelé decision tree (arbre de décision). Cette technique est aujourd'hui bien plus sophistiquée que ce qui est présenté ici. La plupart des méthodes fonctionnent en construisant de nombreux arbres (souvent des milliers) et en utilisant chaque arbre comme un modèle de prédiction faible, qui, conjointement avec tous les autres arbres, génère des prédictions d'une très grande précision. Les méthodes de construction des arbres et de partitionnement des données varient selon les modèles.

Les arbres peuvent servir de modèles de prédiction, car une nouvelle observation ou un nouvel individu (qui n'a pas participé à la construction des arbres) peut être passé à travers l'ensemble des arbres. Le modèle peut alors prédire, en fonction de la position de l'individu dans les différents arbres, le critère de jugement ( $Y$ ) probable pour cette observation ou cet individu.

Les méthodes qui nécessitent la construction de nombreux arbres sont appelées méthodes d'ensemble (ensemble methods).

La grande majorité des méthodes de machine learning sont excellentes pour (1) prédire $Y$ et (2) caractériser la force de la relation entre X et Y. Pour ce dernier point, elles ne produisent malheureusement pas de mesures simples pouvant être présentées comme des odds ratios, des hazard ratios, etc.

L'un des principaux avantages des méthodes fondées sur des arbres est que nous n'avons à formuler aucune hypothèse sur les variables et leur relation avec $Y$ , et que nous n'avons pas à spécifier le modèle manuellement. Il existe des algorithmes qui recherchent automatiquement le modèle optimal.

Autres considérations pour les modèles de prédiction

L'objectif est-il pertinent ?

Pour les analyses de régression dont le but est d'estimer l'effet du prédicteur $X$ , il doit réellement être pertinent d'estimer l'effet de $X$ . Estimer l'effet du LDL-cholestérol sur le risque d'infarctus aigu du myocarde peut sembler vain aujourd'hui, alors que des dizaines de milliers d'articles ont été publiés sur cette question. Pourtant, de tels articles continuent d'être publiés régulièrement. Assurez-vous que l'objectif du modèle de prédiction est pertinent.

Tous les prédicteurs importants sont-ils disponibles ?

Il est également important de s'assurer que l'on dispose de tous les prédicteurs importants. C'est rarement un problème dans une étude conçue et menée dans un but précis. Il n'est toutefois pas rare que l'on cherche à répondre à de nombreuses questions avec les mêmes données, et ce problème peut alors survenir. Si l'on ne dispose pas des prédicteurs importants pour le critère de jugement, on ne produira probablement pas un bon modèle.

L'étude a-t-elle une puissance suffisante ?

Il est important que le jeu de données (nombre d'observations) soit suffisant pour entraîner et tester le modèle. Le modèle est souvent entraîné sur environ 70 à 80 % des observations, ce qui laisse 20 à 30 % pour le tester ou le valider. En ne testant pas le modèle sur le jeu de données qui a servi à son entraînement, on s'assure de ne pas surestimer sa précision. On s'attend à ce qu'un modèle présente une très bonne précision dans le jeu de données sur lequel il a été entraîné, et une précision moindre sur des données qu'il n'a encore jamais vues.

Existe-t-il une validité interne et externe ?

Il est fondamental que la population utilisée pour l'analyse soit représentative de la population sur laquelle on entend se prononcer. Si l'on souhaite se prononcer sur l'effet thérapeutique des statines en étudiant une population dont l'âge moyen est de 65 ans, on ne devrait en principe pas se prononcer sur l'effet chez des personnes de 40 ans.

La validité interne signifie que l'étude mesure ce qu'elle visait à mesurer.
La validité externe signifie que les résultats de l'étude peuvent être extrapolés (appliqués) à d'autres observations ou personnes n'ayant pas participé à l'étude.

The parsimonious model

Si l'objectif est de construire un modèle de prédiction, il faut s'assurer que les variables incluses dans le modèle final sont facilement accessibles. Plus un modèle comporte de prédicteurs, et plus ceux-ci sont coûteux à obtenir, moins il sera utilisé. L'expression anglaise the parsimonious model peut se traduire par le modèle parcimonieux, c'est-à-dire un modèle comportant le moins de prédicteurs possible.

Quelles dimensions du risque sont disponibles ?

La prise en compte des dimensions du risque est importante pour pouvoir se prononcer sur le risque de survenue d'un événement. Le risque est le plus souvent un phénomène multifactoriel, et il est souhaitable qu'un modèle de risque intègre plusieurs dimensions du risque. Cela signifie qu'un modèle ne comprenant que des biomarqueurs est probablement insuffisant. Les dimensions suivantes peuvent être considérées comme importantes pour le risque de survenue d'un événement en recherche clinique (Iezzoni, 2006) :

Âge et sexe : ces variables sont pratiquement toujours de puissants prédicteurs et doivent toujours figurer dans un modèle de risque.
Biomarqueurs pertinents.
Variables décrivant l'état de santé immédiat (aigu).
Variables décrivant les maladies et les facteurs de risque que présente l'individu.
Variables décrivant la condition physique et les capacités de l'individu.
Statut psychologique, cognitif et psychosocial.
Variables décrivant l'appartenance ethnique, socio-économique et culturelle.
Qualité de vie.
Attitude du patient vis-à-vis de la maladie et de la santé.

Il est rare de disposer de toutes ces dimensions, et il faut le plus souvent se contenter d'un nombre plus restreint.

Références

Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis, de Frank Harrell. Springer 2015.
Applied Predictive Modeling, de Max Kuhn et Kjell Johnson. Springer 2016.
Survival Analysis: A Self-Learning Text, Third Edition. David Kleinbaum. Springer 2012.