Risques d’erreur statistique et test statistique

1. Risques d’erreur statistique et test statistique

2. Origine de la problématique

3. Échantillon 148% Échantillon 252% Échantillon 350% Échantillon 445% Fluctuations aléatoires Obtenir pile à pile ou face (Probabilité = 50%)

4. Échantillon 19% Échantillon 212% Échantillon 316% Échantillon 426% Fluctuations aléatoires Même type de patients (Probabilité d'AVC = 12%)

5. Fluctuations aléatoires d'échantillonnage • Fortes pour des effectifs petits et moyens • Faibles pour des grands effectifs • Jamais nulles

6. Conséquences pour la comparaison de 2 échantillons • les proportions observées dans 2 échantillons peuvent être différentes • uniquement du fait du hasard • même si dans ces 2 échantillons la vraie probabilité était la même • les FAE sont susceptibles de fausser les comparaisons

7. Conséquences des fluctuations Effet du traitement = 0 Vrai risque = 10% Vrai risque = 10% Groupe T+ Groupe T- Risque observé = 6% Risque observé = 12% Différence observée = -6%

8. Problématique des comparaisons • Quand on ignore la réalité, la différence observée de -6% est-elle ? • une manifestation des fluctuations aléatoires, donc due uniquement au hasard • la traduction d’une réelle différence entre les deux groupes, donc d’un effet non nul du traitement • Comment départager ces 2 possibilités ? • Solution : test statistique .

9. But des comparaisons • Quel est le but des comparaisons ? Grp T Conclure à l'existence d'une différence Décider d'utiliser le nouveau traitement diff -6% Grp C La conclusion doit être conforme à la réalité mais elle se base uniquement sur l’observé

10. Effets des fluctuations dans une comparaison • Le hasard peut faire apparaître une différence qui n'existe pas en réalité • Inversement, le hasard peut réduire une différence qui existe réellement • donc 2 façons de fausser la conclusion

11. Risques d’erreur statistique

12. Risques de conclusions erronées • Deux risques d'erreur • Risque alpha • Risque bêta • Erreurs statistiques • dues uniquement au hasard

13. Erreur statistique alpha • Conclure à l'existence d'une différence qui n'existe pas en réalité : faux positif Échantillon 1 7.5% Différence non réelle Vrai valeur 12% Échantillon 2 15%

14. Erreur statistique bêta • Ne pas conclure à une différence qui existe pourtant en réalité : faux négatif Vrai valeur 12% Échantillon 1 15% Fausse absence de différence Vrai valeur 19% Échantillon 2 15%

15. Risques d'erreur statistiques • Risque alpha : risque de conclure à une différence qui n’existe pas • Risque bêta : risque de ne pas mettre en évidence une différence qui existe réellement • Puissance : 1 - bêta : probabilité de mettre en évidence une différence qui existe réellement

16. Application à l’essai thérapeutique • Risque alpha : considérer comme efficace un traitement qui ne l’est pas • Risque bêta : ne pas conclure alors que le traitement est efficace • Puissance : montrer l’efficacité d’un traitement réellement efficace

17. Conclusion Différence Pas de différence Différence Erreur bêta Réalité Pas de différence Erreur alpha

18. Tests statistiques • Outils d'aide à la décision • Principe • conclure à une différence • que si le risque de faire une erreur (de première espèce) est faible • Quantification du risque d'erreur alpha • à partir des données disponibles • (Risque de commettre une erreur alpha = risque alpha)

19. Principe général p1 = 7% Quelle est la probabilité de commettre une erreur si je conclus à partir de ces données à l'existence d'une réelle différence p0 = 13% Probabilité faible Probabilité forte Conclusion Pas de conclusion Conclure à l'existence d'une différence que si le risque de faire une conclusion erronée est faible

20. Démarche du test statistique • Calcul de la probabilité p • p : probabilité que "la différence observée soit due uniquement au hasard" • p représente le risque de faire une conclusion erronée si l'on décidait de conclure • p est une quantification du risque alpha • On ne conclut que si ce risque d'erreur est suffisamment petit

21. Seuil de risque • Seuil de risque de conclusion erronée acceptable • seuil de risque alpha = 5% • p < 5% • on prend le risque de conclure • p > 5% • on ne conclut pas • < ou  ?

22. Différence significative p<0.05 Il est peu probable que la différence observée soit due au hasard Différence non significative p>0.05 La probabilité que la différence observée soit due au hasard est forte Signification statistique Différence observée Test Seuil de signification statistique

23. Le test statistique est un moyen qui autorise à conclure à l'existence d'une différence que si le risque de commettre une erreur est faible • Risque d'erreur faible = 5% (en général) • seuil de décision • Contrôle du risque alpha • mais le risque d'erreurs alpha persiste • 100 essais avec un traitement sans efficacité • conclusion à tort à l'efficacité dans 5 essais

24. Réalisation du test • Calcul à partir des données de la probabilité de commettre une erreur alpha = p p<5%  conclusion à l'existence de la différence parce que le risque de faire une conclusion fausse est faible p1 = 7% p = 0.04 p0 = 13% p>5%  impossible de conclure à l'existence d'une différence car si on concluait à une différence, le risque d'erreur serait trop fort p1 = 20% p = 0.25 p0 = 17%

25. P < 0.05 • En concluant à l'efficacité, on prend un risque de 5% de faire une conclusion erronée • 5% est un risque d'erreur élevé • en pratique 2 essais significatifs • risque = 5% * 5% = 2.5/1000

26. Disparition du risque d'erreur bêta • Le risque bêta est incalculable • Impossible de quantifier le risque d'erreur quand on fait une conclusion d'absence de différence • il est donc impossible de faire ce type de conclusion • les tests permettent seulement de conclure à l'existence d'une différence • en cas de différence non signification • impossible de conclure • et ne permet surtout pas de conclure à l'absence de différence vu que le risque d'erreur est inconnu • "l'absence de preuve n'est pas la preuve de l'absence"

27. Différence non significative Absence réelle d'effet • Impossible de conclure • Ne pas conclure à l’absence de différence • «L’absence de preuve n’est pas la preuve de l’absence» Résultat non significatif ? Manque de puissance

28. OBJECTIF : Evaluer l’efficacité d’une injection unique de tobramycine (T) chez des patientes traitées pour une pyélonéphrite aiguë noncompliquée par de la ciprofloxacine (CIP) (500 mg 2 fois par jour per os). RÉSULTATS : Cent dix huit patientes ont été inclues, 60 dans le groupe tobramycine et 58 dans le groupe placebo. E. coli a été isolé de façon prédominante et tous les germes isolés étaient sensibles à la ciprofloxacine RÉSULTATS : Cent dix huit patientes ont été inclues, 60 dans le groupe tobramycine et 58 dans le groupe placebo. E. coli a été isolé de façon prédominante et tous les germes isolés étaient sensibles à la ciprofloxacine et à la tobramycine. Deux échecs sont survenus dans le groupe CIP + T et 4 dans le groupe CIP + P (non significatif). CONCLUSION : L’administration d’une dose de tobramycine n’améliore aucun paramètre clinique dans le traitement des pyélonéphrites aiguës non compliquées traitées par de la ciprofloxacine par voie orale.

30. Dualité entre test et intervalle de confiance

31. définition des IC • Intervalle qui a 95% de chance de contenir la vraie valeur • il est raisonnable de parier que la vraie valeur est dans l'intervalle (prob de 95%) • il est peu probable (prob 5%) • que la vraie valeur soit > à bs • ou que la vraie valeur soit < à bi • il est donc peu raisonnable de parier que la vraie valeur soit à l'extérieur de l'IC

32. Intervalle de confiance • Différence = -6% • IC 95% = [-8%;-4%] • L’intervalle [-8%;-4%] à 95% de chance de contenir la vraie valeur de la différence • reflète l'incertitude de l'estimation • Il n'est pas possible d'exclure que le vrai effet ne soit que de -4% • situation la pire • efficacité plus faible que les -6% de l'estimation ponctuelle

33. NS p<0.05 IC 95% Résultat observé • Ensemble des valeurs non statistiquement différentes du résultats

34. Relation entre IC et test • IC d’une différence n'incluant pas 0 • [-10% ; -4%] • la probabilité d’avoir ce type d’intervalle si la vraie valeur est zero est <=5% • donc il est possible de conclure à une différence non nulle car le risque d’erreur alpha est <=5% = différence significative (au seuil de 5%) • IC de la différence des risques incluant 0 • [-20% ; 20%] = différence non significative

35. -5% [-10%,-2%] P<0.05 -2% [-9%;+2%] NS Différence 0

36. Pertinence clinique • Signification statistique  pertinence clinique • Réduction de mortalité de 25% à 12%, p<0.05 • réduction statistiquement significative • pertinente cliniquement • Réduction de mortalité de 2.3% à 2.1%, p<0.05 • réduction statistiquement significative • peu pertinente cliniquement

37. Présentation théorique

38. Théorie des tests d'hypothèses • Hypothèse nulle • H0 : p1 - p0 = 0 (p1 = p0)(le traitement n'a pas d'effet) • Hypothèse alternative • H1 : p1 - p0 0 (p1 p0)(le traitement à un effet) • Test statistique = • retenir une de ces 2 hypothèses • en fonction des données recueillies

39. Risques d'erreur alpha et bêta •  = Prob[ accepter H1 alors que H0 est vraie ] •  = Prob[ accepter H0 alors que H1 est vraie ] Rappel H0 : p1 = p0 H1 : p1 <> p0

40. Calcul de p • p = prob [ d'observer une différence au moins aussi importante que ce que l'on a observé alors que H0 est vraie ] • soit z = p1 - p0 la différence entre les 2 prop. p1 et p0 • si H0 est vraie, z suit une loi normale (si n grand) • moyenne 0 (H0) • écart type • Principe du test : calculer la probabilité d'observer dans ce cas une différence au moins aussi grande que celle qui a été effectivement observée (par exemple 7% - 13% = -6%)

41. Distribution de Z sous l'hypothèses nulle f(x) p = surface sous la courbe Pr(Z  -6%) z 0 -6% z observé

42. p quantifie le degré de désaccord entre l'hypothèse nulle et ce qui a été observé

43. Rejet de l'hypothèse nulle H0 • Autre façon de réaliser un test • But du test • rejeter H0 ( p1 - p0 = 0 ) • pour accepter H1 ( p1 - p0 0 ) • rejeter H0  conclusion = diff. significative • ne pas rejeter H0  conclusion = diff. non significative • sans évaluation précise du p

44. Limites de rejet • valeurs de décision pour le rejet de H0 • valeurs de différences observées • notées L (et -L) L -L 0 Diff observée Rejet PAS de rejet de H0 Rejet

45. L est déterminé par le seuil  choisi (5%) • par définition  = Prob [conclure si H0] • Prob [ diff. observée <-L ou >L si H0] =  • L défini les différences qui ont une probabilité faible d'être observées sous l'hypothèse nulle 2.5% 2.5% Différence z L -L

46. L = 1.96  • ( = écart type de la différence) Rappel Loi normale N(0,) 95 % x -1.96  0 1.96 

47. Exemple 1 • diff. observée z = -5% • L = 7% pour alpha=5% (-L = -7%) • pas de rejet de H0 • Exemple 2 • diff. observée z = 12% • L = 7% • rejet de H0 • conclusion : diff. significative au seuil de 5% • Exemple 3 • diff. observée z = -4% • L = 2% (-L = -2%) • rejet de H0 • conclusion : diff. significative au seuil de 5%

48. Possibilité de diff. significative aussi bien en cas de : • différence positive (p1 > p0) • différence négative (p1 < p0) • Test bilatéral

49. Comparaison des 2 approches • Rejet de l'hypothèse nulle • calcul de L • si diff. observée <-L ou diff. observée >L  rejet de h0  diff significative • si -L < diff observée < L  pas de rejet de H0  diff non significative • Calcul de p • si p<0.05  diff. significative • si p>0.05  diff. non significative

50. L dépend de • alpha • p1 p0 • n1 n0 • p dépend de • différence observée • p1 p0 • n1 n0 Écart type de la différence (erreur standard) Écart type de la différence (erreur standard)