Probabilités et lois de distribution
1. Probabilités et lois de distribution
a) Concepts clés
- Probabilité : mesure la chance qu’un événement se produise, modélisée par un nombre entre 0 et 1.
- Fréquence observée : proportion d’un événement dans un échantillon, estimation empirique de la probabilité.
- Issue possible ≠ probabilité égale : deux issues possibles ne signifient pas forcément 50 % de chance chacune.
b) Exemple de tableau de contingence
| Groupe | En retard | À l’heure | Total |
|---|---|---|---|
| Campagne | 9 | 21 | 30 |
| Autres canaux | 3 | 67 | 70 |
| Total | 12 | 88 | 100 |
- Proportion de commandes en retard dans la campagne :
- Proportion de commandes en retard parmi toutes les commandes :
- Différence : le dénominateur change selon le groupe de référence, ce qui modifie la proportion.
c) Fiabilité d’une alerte (exemple de détection de fraude)
- Données :
- 1 % des commandes sont frauduleuses.
- Le détecteur signale 90 % des fraudes (sensibilité).
- Il déclenche une alerte pour 5 % des commandes légitimes (faux positifs).
- Sur 10 000 commandes :
| Fraude réelle | Pas de fraude | Total | |
|---|---|---|---|
| Alerte + | 90 | 495 | 585 |
| Alerte − | 10 | 9 405 | 9 415 |
| Total | 100 | 9 900 | 10 000 |
- Probabilité qu’une alerte positive soit une vraie fraude (valeur prédictive positive) :
À retenir : Une alerte positive n’est pas forcément une fraude, même avec un détecteur performant, à cause des faux positifs et de la faible prévalence de la fraude.
2. Résumé des notions essentielles
| Notion | Définition / Formule | Remarque clé |
|---|---|---|
| Probabilité | , entre 0 et 1 | Modèle théorique à estimer |
| Fréquence observée | Estimation empirique | |
| Sensibilité (détecteur) | Taux de vrais positifs | |
| Faux positifs | Taux d’alertes erronées | |
| Valeur prédictive positive | Fiabilité réelle d’une alerte positive |
3. Interprétation et vigilance
- Changer de groupe de référence modifie les proportions : toujours préciser le dénominateur.
- Probabilité conditionnelle : utile pour évaluer la fiabilité d’un test ou d’une alerte.
- Ne pas confondre fréquence et probabilité : la fréquence est une estimation, la probabilité un modèle.
- Importance de la prévalence : un événement rare peut rendre un test peu fiable malgré une bonne sensibilité.
À retenir : Toujours analyser les résultats probabilistes dans leur contexte, en tenant compte des taux de faux positifs et de la prévalence de l’événement étudié.
Échantillonnage et théorème central limite
1. Échantillonnage
- Population : ensemble complet des données ou individus concernés (ex. : toutes les commandes livrées).
- Échantillon : sous-ensemble tiré de la population, utilisé pour estimer un paramètre inconnu.
- Paramètre : caractéristique vraie de la population (ex. : moyenne du délai de livraison).
- Statistique : valeur calculée sur l’échantillon (ex. : moyenne ), utilisée pour estimer le paramètre.
Un grand échantillon n’élimine pas forcément le biais : la représentativité est essentielle.
2. Lois de probabilité usuelles en data
| Situation | Variable aléatoire | Loi associée | Paramètres clés |
|---|---|---|---|
| Nombre de succès dans essais | = nombre de retours | Binomiale | , (prob. succès) |
| Nombre d’événements dans un intervalle | = commandes reçues | Poisson | (taux moyen) |
| Temps d’attente avant un événement | = temps jusqu’à la commande | Exponentielle | (taux moyen) |
| Erreur autour d’une valeur moyenne | Variable continue | Normale | (moyenne), (écart-type) |
3. Loi binomiale
-
: nombre de succès dans essais indépendants, chaque essai avec probabilité .
-
Probabilité d’avoir exactement succès :
-
Exemple : avec , vaut environ 0,302.
4. Loi de Poisson et loi exponentielle
- Poisson : modélise le nombre d’événements dans un intervalle fixe, avec un taux moyen .
- Exponentielle : modélise le temps d’attente entre événements, avec moyenne .
- Ces deux lois sont liées : si , alors .
5. Loi normale
-
Variable continue avec densité en forme de cloche, centrée en avec écart-type .
-
Transformation en variable centrée réduite :
-
Permet de standardiser et comparer des valeurs.
6. Échantillonnage : moyenne d’échantillon
- Pour un échantillon de taille , on calcule la moyenne .
- Différents échantillons peuvent donner des moyennes différentes.
- Répéter le prélèvement permet d’étudier la variabilité de .
7. Théorème central limite (TCL)
-
Pour un échantillon de taille assez grand, la distribution de la moyenne tend vers une loi normale, même si la population n’est pas normale.
-
Plus précisément :
-
: moyenne de la population, : variance de la population.
-
Conséquence : on peut approximer la distribution de la moyenne par une normale pour faire des intervalles de confiance ou des tests.
Le théorème central limite justifie l’utilisation de la loi normale pour la moyenne d’échantillons, même quand la population n’est pas normale, à condition que soit suffisamment grand.
Intervalles de confiance
1. Distribution des moyennes et loi des grands nombres
- Moyenne d’un échantillon : Pour un échantillon de taille , la moyenne est une variable aléatoire.
- En répétant l’expérience fois (tirages indépendants), on obtient une distribution des moyennes.
- Observation clé : La distribution des moyennes est plus concentrée que celle des valeurs individuelles et tend vers une forme régulière (approche normale) quand augmente.
2. Effet de la taille de l’échantillon
| Taille | Dispersion des moyennes | Forme de la distribution |
|---|---|---|
| Petite (ex. 2) | Large, irrégulière | Peu ressemblante à une normale |
| Moyenne (ex. 10) | Moins dispersée | Plus régulière |
| Grande (ex. 40) | Très concentrée | Approche normale |
- Le centre des moyennes reste proche de la moyenne vraie de la population.
- La dispersion des moyennes diminue quand augmente.
3. Écart type et erreur standard
- Écart type : mesure la dispersion des observations individuelles dans la population.
- Erreur standard (SE) : mesure la dispersion des moyennes d’échantillons répétés.
- Si est inconnu, on estime par où est l’écart type de l’échantillon.
L’erreur standard diminue quand la taille de l’échantillon augmente, contrairement à l’écart type des observations individuelles qui reste constant.
4. Exemple d’effet de la taille d’échantillon
- Si on multiplie par 4 :
- L’écart type des observations individuelles ne change pas.
- L’erreur standard de la moyenne est divisée par 2 (car ).
- Attention : ne pas confondre dispersion des observations et dispersion des moyennes.
5. Intervalle de confiance (IC) à 95 %
- La distribution des moyennes est approximativement normale (Théorème Central Limite).
- En notation standardisée, environ 95 % des valeurs sont comprises entre et .
- La marge d’erreur est donc :
- L’intervalle de confiance s’écrit :
- Cet intervalle donne une fourchette plausible pour la moyenne vraie .
6. Interprétation de la confiance à 95 %
- Dire qu’on a un intervalle de confiance à 95 % signifie que si on répétait l’expérience un grand nombre de fois, environ 95 % des intervalles construits contiendraient la vraie moyenne .
- Ce n’est pas une probabilité que soit dans un intervalle donné, mais une propriété de la méthode sur le long terme.
7. Synthèse visuelle
| Notion | Définition / Formule | Remarque clé |
|---|---|---|
| Moyenne d’échantillon | Variable aléatoire | |
| Écart type | Dispersion des observations individuelles | Fixe pour la population |
| Erreur standard | Dispersion des moyennes | |
| Intervalle de confiance | Approximation normale, confiance 95 % |
L’augmentation de la taille d’échantillon réduit l’erreur standard et donc la largeur de l’intervalle de confiance, améliorant la précision de l’estimation.
Tests statistiques et erreurs de décision
1. Intervalles de confiance (IC)
-
Un intervalle de confiance à 95 % pour une moyenne est un intervalle construit à partir d’un échantillon, qui contient dans environ 95 % des répétitions à long terme.
-
Pour un échantillon de taille , moyenne , écart-type , et valeur critique (ex. 1,96 pour 95 %), l’erreur standard est :
-
L’intervalle de confiance approximatif à 95 % est :
Exemple : Pour , , ,
IC 95 % =
2. Test d’hypothèse : formulation
- Hypothèse nulle : situation de référence (ex. pas de changement, ).
- Hypothèse alternative : ce que l’on cherche à démontrer (ex. ).
- Choix du seuil de signification (ex. 0,05) avant l’observation.
| Élément | Exemple |
|---|---|
| Question | Le délai moyen a-t-il changé ? |
| jours (pas de changement) | |
| (bilatérale) | jours (changement) |
| Seuil | 0,05 |
3. Distribution de référence sous
- Sous , les valeurs proches de sont plus probables.
- Les valeurs très éloignées sont rares.
- La p-valeur mesure la probabilité d’obtenir un résultat au moins aussi extrême que celui observé, sous .
4. p-valeur : définition et interprétation
- Définition : .
- Décision :
- Si , on rejette (résultat significatif).
- Sinon, on ne rejette pas .
- Limites :
- n’est pas la probabilité que soit vraie.
- ne mesure pas la taille de l’effet.
- Toujours considérer l’effet, son incertitude, le protocole et les conséquences pratiques.
5. Erreurs possibles dans un test statistique
| Réalité / Décision | Ne pas rejeter | Rejeter |
|---|---|---|
| vraie | Décision correcte | Erreur de type I (α) |
| fausse | Erreur de type II (β) | Décision correcte (puissance ) |
- Erreur de type I (α) : rejeter alors qu’il est vrai (faux positif).
- Erreur de type II (β) : ne pas rejeter alors qu’il est faux (faux négatif).
- Puissance : probabilité de rejeter quand est faux.
6. Multiplication des tests et risque de faux positifs
-
Tester plusieurs indicateurs indépendants au seuil augmente le risque d’au moins un faux positif.
-
Pour tests indépendants au seuil :
-
Exemple : ,
(64 % de risque d’au moins un faux positif). -
Choisir après coup le résultat le plus favorable est trompeur (biais de sélection).
-
Mesure de prévention : correction de Bonferroni, contrôle du taux de fausses découvertes (FDR).
À retenir : Un test statistique compare une hypothèse nulle à une alternative en utilisant une p-valeur pour décider. Il existe toujours un risque d’erreur de type I ou II. Multiplier les tests augmente le risque de faux positifs, d’où la nécessité de corrections.
Corrélation et causalité
1. Analyse d’un test A/B
- Protocole : 1 200 visiteurs répartis aléatoirement en deux groupes (600 chacun), une seule métrique : achat (oui/non).
- Données observées :
- Version A : 48 achats → taux
- Version B : 72 achats → taux
- Effet observé :
- Écart absolu : points de pourcentage
- Écart relatif : d’augmentation
2. Test statistique et décision
- Hypothèses :
- (pas de différence)
- (différence significative)
- Test z :
- Statistique
- -valeur bilatérale
- Interprétation :
- → rejeter , différence statistiquement significative
- Décision métier :
- Déployer B seulement si l’effet (+4 points) justifie le coût et si le protocole est fiable
- Significatif ≠ automatiquement utile
3. Recommandation en 5 points
- Effet observé : version B augmente le taux d’achat de 4 points (de 8% à 12%).
- Incertitude / test : test z donne , sous hypothèse d’égalité.
- Décision statistique : rejeter , différence significative.
- Recommandation métier : vérifier la valeur métier de cet effet avant déploiement.
- Limite : surveiller la fiabilité du protocole et d’autres facteurs externes.
Une différence statistiquement significative ne garantit pas une décision métier favorable.
4. Corrélation : types et interprétation
| Type de relation | Description | Exemple / Remarque |
|---|---|---|
| Linéaire | Relation proportionnelle directe | Corrélation de Pearson adaptée |
| Monotone non linéaire | Relation croissante mais non linéaire | Corrélation de Spearman adaptée |
| Non monotone | Relation complexe, non monotone | Une valeur extrême peut fausser |
- Pearson : mesure l’association linéaire entre deux variables quantitatives, sensible aux valeurs extrêmes.
- Spearman : mesure l’association monotone basée sur les rangs, robuste aux non-linéarités.
5. Corrélation vs causalité
- Observation : deux variables peuvent augmenter ensemble (ex. visites et ventes).
- Cause commune possible : une tierce variable (ex. campagne publicitaire) peut influencer les deux.
- Conclusion : la corrélation n’implique pas la causalité. Il faut un protocole ou une analyse plus poussée pour isoler l’effet causal.
6. Effet Simpson (exemple de confusion)
| Segment | Version A (achats/total) | % A | Version B (achats/total) | % B |
|---|---|---|---|---|
| Professionnels | 9/10 | 90 % | 80/100 | 80 % |
| Particuliers | 20/100 | 20 % | 1/10 | 10 % |
| Total | 29/110 | 26,4 % | 81/110 | 73,6 % |
- Les totaux peuvent raconter une histoire différente des sous-groupes → attention aux effets de composition.
7. Synthèse : questions clés et outils
| Question | Outil / Concept | But / Résultat attendu |
|---|---|---|
| Une alerte positive est-elle fiable ? | Théorème de Bayes | Prendre en compte le taux de base |
| Quelle marge associer à une moyenne ? | Erreur standard (SE), intervalle de confiance | Quantifier l’incertitude autour d’une moyenne |
| L’écart observé est-il surprenant sous ? | Test statistique, -valeur | Décider de rejeter ou non |
| Relation = association ou cause ? | Analyse du protocole, données | Ne pas confondre corrélation et causalité |
À retenir :
- Le SE concerne la variabilité des moyennes, pas des observations individuelles.
- La p-valeur n’est pas la probabilité que soit vraie.
- La corrélation ne prouve pas la causalité.