Théorie de l’apprentissage statistique
1. Principe de l’apprentissage statistique
L’apprentissage statistique (machine learning) utilise des données pour construire un modèle capable de prédire le résultat d’objets nouveaux. Un bon modèle doit généraliser : exploiter les régularités observées pour produire des prédictions précises sur des données non utilisées lors de son apprentissage.
| Type d’apprentissage | Données disponibles | Objectif |
|---|---|---|
| Supervisé | Entrées et résultats observés | Prédire une sortie Y (variable dépendante) à partir d’une ou plusieurs entrées X (prédicteurs)Ex : salaire selon le niveau de formation |
| Non supervisé | Entrées sans résultats/sorties associés | Découvrir des relations ou des structures.Il n'y a pas de sortie prédéfinie, on cherche des structures (ex: clustering).Ex : groupes de clients ayant des caractéristiques similaires |
2. Entrées, sortie et modèle
En apprentissage supervisé, les entrées sont les prédicteurs (ou variables indépendantes, explicatives ou de contrôle), généralement notés . La sortie, ou réponse (variable dépendante), est notée .
La relation générale entre la réponse et les prédicteurs s’écrit :
où est une fonction fixe mais inconnue, qui représente l’information systématique des entrées sur , et est l’erreur aléatoire, indépendante de et de moyenne nulle. Elle représente la part non observée.
Exemple Advertising : pour 200 marchés, les budgets publicitaires en TV, radio et presse (newspaper) sont les entrées ; les ventes (sales) constituent la sortie. L’objectif est de prédire les ventes à partir des trois budgets publicitaires.
3. Prévision et inférence
Il y a deux raisons principales pour lesquelles nous voudrions estimer la fonction f : prévision (ou prédiction) et inférence.
- La prévision consiste à prédire la réponse pour de nouvelles entrées :
où fˆ représente notre estimation pour f , et Yˆ représente la prévision résultant pour Y.
L’erreur de prévision pour Y comprend deux composantes :
- Erreur réductible : due à l’écart entre l’estimation et la vraie fonction ; elle peut être réduite en améliorant l’estimation.
- Erreur irréductible : due à , qui ne peut pas être prédite à partir de .
Sous l’hypothèse d’une erreur de moyenne nulle, la précision d'une prévision (la valeur moyenne, ou valeur attendue, de la différence quadratique entre la valeur prédite et la valeur réelle de Y) se décompose ainsi :
L’erreur irréductible constitue une limite à la précision des prévisions ; sa valeur est généralement inconnue dans la réalité.
- L’inférence vise plutôt à comprendre comment varie selon les prédicteurs, par exemple à déterminer si a un effet sur . Elle cherche à comprendre l'impact exact des prédicteurs X sur Y (tests d'hypothèses).
Le choix de la méthode dépend de l’objectif : prévision, inférence, ou les deux.
4. Données d’apprentissage et estimation de
Pour observations et prédicteurs, désigne la valeur du j-ième prédicteur (entrée) pour l’observation i , et sa réponse.
L’échantillon d’apprentissage est :
Ces données d’entraînement servent à estimer la fonction .
| Approche | Principe | Atout ou limite à retenir |
|---|---|---|
| Méthode Paramétrique | Fixer une forme fonctionnelle (hypothèse) pour , puis estimer ses paramètres à partir des données d'entraînement. | Souvent interprétable et propice à l’inférence, mais la forme choisie peut limiter la précision des prévisions. |
| Méthode Non paramétrique | Ne pas imposer de forme explicite à ; chercher une fonction qui s’ajuste aux données sans variations abruptes. | Nécessite un grand échantillon et risque le surapprentissage (overfitting) si l'échantillon est trop petit : ajustement excessif aux données d’entraînement et mauvaise généralisation. |
En général, plus une méthode est flexible, moins elle est interprétable(lorsque la flexibilité d’une méthode augmente, son interprétabilité diminue).
La régression par moindres carrés offre un bon compromis d'interprétabilité.
5. Régression linéaire simple
L’estimation de f nous permet de tracer la droite de régression.
La régression linéaire simple prédit une réponse quantitative à partir d’un seul prédicteur , en supposant une relation approximativement linéaire entre l'entrée et la sortie :
est l’ordonnée à l’origine et la pente. À partir des données d’entraînement, on estime ces paramètres par et ; la prévision de Y pour est :
Dans l’exemple Advertising, la régression de sales sur le budget TV s’écrit . Les données comprennent marchés.
Pour l’observation , la valeur prédite et le résidu (écart entre valeur observée et prédite) sont :
La méthode des moindres carrés choisit et de façon à minimiser la somme des carrés résiduels (RSS) :
Régression linéaire simple et moindres carrés
1. Modèle et ajustement par moindres carrés
La régression linéaire simple modélise la réponse à partir d’un prédicteur :
Pour les observations , la valeur ajustée est et le résidu est . Les estimateurs des moindres carrés choisissent les coefficients qui minimisent la somme des carrés résiduels :
Les équations du premier ordre donnent les estimateurs :
La pente est la covariance empirique entre et , divisée par la variance empirique de .
La droite de régression passe par le barycentre du nuage de points.
La pente indique la variation prédite de pour une augmentation d’une unité de : .
| Exemple Advertising | Valeur |
|---|---|
| Droite estimée pour les ventes selon le budget TV | |
| Prévision pour 150k $ | unités |
| Interprétation de la pente | 1 000 $ supplémentaires en publicité TV correspondent à environ 47,5 unités de ventes supplémentaires du produit |
2. Précision des coefficients
Lorsque nous étudions un phénomène, les coefficients et définissent la droite de régression de la population; et sont estimés à partir d’un échantillon et varient d’un échantillon à l’autre.
L’erreur type mesure la dispersion/précision d’un estimateur : une erreur type plus faible signifie une estimation plus précise.
En notant :
La variance d’erreur inconnue est estimée par .
Les erreurs types diminuent lorsque l’échantillon ou la variabilité de augmente, et augmentent lorsque la variance d’erreur augmente. Elles servent notamment aux intervalles de confiance et aux tests d’hypothèse.
3. Intervalles de confiance et test de pente
Un intervalle de confiance à 95 % pour , avec , s’approxime par :
Plus précisément, on utilise le quantile à 97,5 % de la loi de Student à degrés de liberté, proche de .
Il donne la plage de valeurs où se trouve la vraie valeur du paramètre dans la population.
| Exemple Advertising | Intervalle de confiance à 95 % |
|---|---|
| Ordonnée à l’origine | |
| Pente |
Nous pouvons conclure qu’en absence de publicité, les ventes se situeront en moyenne entre 6 130 et 7 940 unités
La pente indique ainsi qu’une hausse de 1 000 $ du budget TV est associée à une hausse moyenne des ventes comprise entre 42 et 53 unités.
4. Test d'hypothèse
Pour tester l’existence d’une relation linéaire entre et , on teste l'hypothèse nulle (pas de relation entre X et Y) contre l'hypothèse alternative (relation entre X et Y).
Sous , la statistique
suit une loi de Student à degrés de liberté.
Si la p-value est très faible (seuil classique < 10%, 5% ou 1%), on **rejette **et on confirme l'existence d'une relation.
5. Prévision et intervalle de prévision
Pour une nouvelle valeur , la prévision de Y est :
L’intervalle de prévision à 95 % pour une valeur individuelle de s’écrit approximativement , avec l'erreur type :
L'intervalle permet d'encadrer la valeur future d'un individu spécifique Y^ avec un certain degré de confiance.
L’intervalle est plus étroit lorsque la variance d’erreur diminue, que la taille de l'échantillon augmente, que est proche de la moyenne ou que le degré de confiance choisi diminue.
6. Qualité de l’ajustement
La qualité d’un ajustement par régression linéaire est généralement évaluée à l’aide de deux mesures :
- L’erreur type résiduelle (RSE) estime l’écart-type moyen des erreurs et mesure l’écart des observations à la droite ajustée :
Plus RSE est bas, plus le modèle est bon.
- Le coefficient de détermination mesure la proportion de la variabilité de expliquée par le modèle. En posant la somme des carrés totaux (variance totale de Y) :
La quantité est la somme des carrés expliqués. Elle mesure le degré de variabilité de la réponse qui est expliqué par le modèle.
En régression linéaire simple, est compris entre 0 et 1 et ne dépend pas de l’unité de mesure de .
| Exemple Advertising | Interprétation |
|---|---|
| Les ventes s’écartent de la droite d’environ 3 260 unités en moyenne, selon l’échelle de l’exemple. | |
| La régression sur le budget TV explique environ 61 % de la variabilité des ventes. |