Introduction à l’étude de la corrélation et de la régression
1. Étudier le lien entre deux variables
L’étude de la corrélation et de la régression concerne deux variables quantitatives, notées et . On cherche à savoir si elles sont associées, quelle est la forme de leur relation et quelle est son intensité.
| Type de variables | Méthode d’étude indiquée dans le cours |
|---|---|
| Deux variables qualitatives | Test du d’indépendance |
| Une variable qualitative et une variable quantitative | Comparaison des moyennes |
| Deux variables quantitatives | Représentation graphique, puis étude de la corrélation et de la régression |
2. Représentation et objectifs
Pour deux variables quantitatives, on représente les observations sur un graphique afin de visualiser leur éventuelle association. Cette représentation aide à en apprécier la forme et la force.
La corrélation étudie l’intensité de l’association entre et . La régression décrit leur relation et peut servir à prédire à partir de .
Si et sont associées, la connaissance de peut aider à prédire .
Séries statistiques doubles et représentation graphique
1. Définition d’une série statistique double
Une série statistique double associe deux variables et à chaque observation. Au moins l’une des deux variables est aléatoire : peut être contrôlée et aléatoire, ou les deux peuvent être aléatoires.
2. Représentation graphique : le nuage de points
Chaque observation est représentée par un point de coordonnées dans un repère : en abscisse et en ordonnée. L’ensemble des points forme le nuage de points.
La forme du nuage donne des informations qualitatives sur une éventuelle liaison entre les variables :
| Aspect du nuage | Indication |
|---|---|
| Nuage allongé | Liaison possible entre et |
| Nuage sans forme allongée apparente | Pas de liaison évidente graphiquement |
Une liaison peut suivre différentes formes : linéaire, exponentielle, logarithmique, parabolique, etc.
Un nuage de points allongé suggère une liaison ; son intensité relève de l’étude quantitative de la corrélation.
Covariance et coefficient de corrélation
1. Covariance
La covariance mesure la variation conjointe de deux variables quantitatives. Pour une population :
Pour un échantillon, on note généralement la covariance . La covariance dépend des unités de mesure des variables.
| Propriété | Résultat |
|---|---|
| Symétrie | |
| Avec une même variable | |
| Somme | |
| Indépendance | Si et sont indépendantes, alors |
La réciproque est fausse en général : une covariance nulle ne garantit pas l’indépendance.
2. Coefficient de corrélation
Le coefficient de corrélation linéaire rapporte la covariance aux écarts types : pour une population,
où et sont les écarts types. Dans un échantillon, on utilise le coefficient . Contrairement à la covariance, et sont sans unité.
Le coefficient appartient à l’intervalle et renseigne sur le sens et la force de l’association linéaire.
| Valeur | Interprétation |
|---|---|
| Association linéaire positive : les variables tendent à évoluer dans le même sens. | |
| Association linéaire négative : les variables tendent à évoluer en sens opposé. | |
| Absence de corrélation linéaire, sans impliquer l’indépendance. | |
| ou | Relation linéaire parfaite ; les points sont alignés. |
Le coefficient est invariant lorsqu’on change l’échelle de mesure d’une variable. Si et sont indépendantes, alors , mais la réciproque n’est pas toujours vraie.
La corrélation décrit une association linéaire : une corrélation nulle n’exclut pas une dépendance non linéaire.
Régression linéaire
1. Principe de la régression linéaire
La régression de sur sert à estimer ou prédire en fonction de , en représentant leur relation par une droite aussi proche que possible du nuage de points.
La droite de régression a pour équation :
où est la valeur estimée de . Elle est déterminée par la méthode des moindres carrés, qui minimise les écarts entre les valeurs observées et les valeurs estimées.
La droite passe par le point moyen . La pente et le coefficient de corrélation linéaire sont de même signe : si , alors et la droite de régression est horizontale.
La régression linéaire décrit une relation linéaire et permet d’estimer à partir de ; elle ne suffit pas à établir un lien de causalité.
2. Qualité de l’ajustement
Le coefficient de détermination mesure la qualité de l’ajustement linéaire : il indique la part de la variabilité des données expliquée par la régression.
| Valeur de | Interprétation |
|---|---|
| Ajustement parfait : les points sont alignés. | |
| La régression linéaire n’explique pas la variabilité de . |
Un même coefficient peut correspondre à des nuages de points de formes différentes. Il faut donc tracer le nuage de points avant de conclure qu’un modèle linéaire est adapté.
3. Limites d’utilisation
- La droite de régression est considérée comme valable entre les extrémités des valeurs observées.
- Ne pas extrapoler au-delà de cet intervalle : les estimations peuvent alors être peu fiables.
- L’existence d’une corrélation ou d’une relation de régression ne prouve pas une causalité.
Test d’indépendance linéaire
1. Hypothèse et interprétation
Le test du coefficient de corrélation évalue l’existence d’une association linéaire entre deux variables quantitatives et .
L’hypothèse nulle signifie qu’il n’y a pas de corrélation linéaire dans la population. Elle équivaut à une pente de régression nulle. Rejeter indique une corrélation linéaire statistiquement significative, mais ne démontre pas une causalité.
2. Choix du test
| Situation | Loi utilisée pour le paramètre de test |
|---|---|
| Loi normale centrée réduite | |
| , conditions de normalité satisfaites | Loi de Student à degrés de liberté |
| , conditions de normalité non satisfaites | Test non paramétrique |
3. Région critique et décision
Après avoir choisi le seuil de significativité , la région critique bilatérale est :
La valeur critique se lit dans la table de la loi normale si , ou dans celle de Student à degrés de liberté si et que les conditions de normalité sont satisfaites.
- Si appartient à la région critique, on rejette au risque de première espèce : la corrélation linéaire est significative.
- Sinon, on ne rejette pas au seuil : les données ne permettent pas de conclure à une corrélation linéaire significative.
Une corrélation nulle indique l’absence de relation linéaire, mais pas nécessairement l’absence de toute relation : une relation non linéaire peut exister.
4. Calcul du paramètre de test
Pour tester , on calcule :
où est le coefficient de corrélation observé et l’effectif de l’échantillon.
Exemple. Pour , et :
On rejette : la corrélation linéaire est significative au seuil de .
5. Corrélation, indépendance et causalité
Une corrélation, même forte, n’implique pas une relation de causalité : une association entre deux variables ne prouve pas que l’une cause l’autre. De même, n’établit pas l’indépendance totale des variables ; cela indique seulement l’absence de corrélation linéaire.
Une corrélation linéaire significative peut permettre d’utiliser pour aider à prédire , sans établir pour autant de causalité.