Les chercheurs qui n'ont pas été formés aux disciplines mathématiques sont en général peu familiers avec la notion de hasard (randomness) et d'incertitude (uncertainty). Ces deux phénomènes occupent pourtant une place centrale dans toute recherche et toute analyse. Comprendre le hasard, l'incertitude et la causalité (les relations de cause à effet) est essentiel pour qui veut comprendre les événements qui se produisent dans un système (par exemple le corps humain).
Un système déterministe est un système dont les processus peuvent être prédits avec une grande précision. Ce système peut être biologique, physique, économique ou chimique. De nombreux processus qui nous paraissent aléatoires au premier abord sont en réalité déterministes. Le lancer de dé en est un exemple. Il est possible de prédire avec une grande précision le chiffre que montrera le dé si l'on connaît sa direction de mouvement et sa vitesse au moment où il est lancé. Pour pouvoir analyser des données et comprendre les événements d'un système, nous devons connaître les mécanismes qui agissent sur ce système.
All models are wrong. Some are useful.
John Tukey
Ce problème est manifeste en recherche médicale. Quiconque évalue des modèles de prédiction clinique sait que même les modèles les plus sophistiqués présentent d'importantes faiblesses et ne parviennent pas à identifier les cas de maladie chez une proportion non négligeable des patients. La prédiction de l'arrêt cardiaque en est une illustration frappante. À ce jour, aucun modèle de prédiction ne permet de prédire avec une grande précision si une personne fera un arrêt cardiaque à l'avenir. L'explication tient au fait que les processus biologiques sont stochastiques, c'est-à-dire qu'un processus aléatoire agit sur le système. Dans l'exemple de la prédiction de l'arrêt cardiaque, un individu peut développer un diabète, une hypertension artérielle et un infarctus du myocarde quelque temps après l'utilisation du modèle de prédiction ; la prédiction réalisée n'est alors plus valable (la personne a désormais un risque plus élevé d'arrêt cardiaque). Autre exemple : la capacité de coagulation du sang, qui peut varier d'une minute à l'autre en fonction de facteurs internes (par exemple le stress) et externes (par exemple les gaz d'échappement). Les systèmes biologiques sont extrêmement complexes et difficiles à prédire, à l'exception des maladies monogéniques (c'est-à-dire des maladies dans lesquelles la présence d'une mutation conduit en règle générale au développement de la maladie).
La plupart des modèles de prédiction utilisés calculent l'incertitude du modèle. Cette incertitude est habituellement notée error (epsilon, ε) ; elle quantifie l'ampleur de l'écart entre les valeurs prédites et les valeurs observées.
Les raisons pour lesquelles les modèles de prédiction sont incertains sont nombreuses, par exemple :
- Les systèmes biologiques sont complexes et comportent des éléments stochastiques internes et externes.
- L'incertitude des données (erreurs de mesure, données manquantes, etc.).
- Le modèle est sous-optimal.
Erreur, biais et variance
L'erreur (error) est donc l'erreur de prédiction du modèle, c'est-à-dire la différence entre la valeur prédite par le modèle et la valeur réelle (observée). Un bon modèle produit de petites erreurs, et vice versa. Une partie de l'erreur ne peut pas être réduite : il s'agit de la part de l'erreur expliquée par l'absence de variables et de données. La part de l'erreur qui peut être réduite se décompose en biais (bias) et variance (angl. variance).
Un bon modèle apprend les relations présentes dans les données d'entraînement (que le modèle a « vues » pendant l'entraînement) et prédit avec une grande précision dans les données de test (que le modèle n'a pas « vues » pendant l'entraînement). Un biais élevé résulte souvent d'un modèle trop simpliste, qui ne parvient pas à saisir les relations présentes dans les données. Cela conduit au sous-ajustement (underfitting) : le modèle ne parvient à prédire ni dans les données d'entraînement ni dans les données de test. Certains types de modèles sont extrêmement flexibles (en particulier en machine learning) et peuvent devenir très complexes, de sorte qu'ils prédisent parfaitement dans les données d'entraînement (biais faible). Malheureusement, ces modèles prédisent moins bien dans les données de test, ce qui signifie que leur variance est élevée (surajustement, overfitting).
L'équilibre entre biais et variance est un problème fondamental. Les modèles à faible biais (c'est-à-dire les modèles qui apprennent bien les données d'entraînement) généralisent plus difficilement aux données de test et présentent donc une variance élevée. Quiconque a travaillé avec des modèles de prédiction sait que les mesures qui réduisent le biais entraînent souvent une augmentation de la variance.
Le compromis biais-variance s'obtient en estimant les paramètres du modèle à l'aide de méthodes de rééchantillonnage (par exemple la validation croisée ).