La méthode expérimentale au service des politiques publiques

1. ReenaBadiani Economic Growth Center, Yale University. DIME Workshop June 1st La méthode expérimentale au service des politiques publiques

2. Qu’est-ce que c’est l’évaluation d’impact? • L’impactest la différence entre les résultats avec un programme et sans ce même programme • Objectif :mesurer cette différence de manière fine afin de pouvoir attribuer la différence au programme lui-même (et pas à d’autres facteurs!)

3. Objectif: Trouver un Bon Contrefactuel • Il nous faut établir ce qui se serait passé en l’absence du programme >> Il nous faut trouver un bon contrefactuel • Contrefactuel: quel auraient été les résultats sans le programme? Ex: stabilité et sécurité dans l’absence de DDR. >> Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme. Idéal:Le programme est la seule différence entre les participants et le contrefactuel.

4. Pourquoi cette obsession avec le contrefactuel?! • Sans contrefactuel, que apprenons nous? Utilisation des semences améliorées Production et profits plus élevés 1) OR Production et profits plus élevés 2) Informations sur les nouvelles technologies agricoles Utilisation des semences améliorées • Corrélation ne permet pas d’attribuer un effet causal!

5. Ex: Programme d’accès aux semences (Avant-Après) (-4) Mesure biaisée de l’impact du programme 5

6. Ex: Programme d’accès aux semences (contrefactuel convenable) (-6) Impact d’autres facteurs externes (+2) Impact du programme 6

7. Motivation pour la méthoded’évaluationexpérimentale • Il est difficile de distinguer l’effet causal de la corrélation à partir de l’analyse statistique: • Nous n’observons que X se déplace avec Y • Les caractéristiques que l’on n’observe pas sont parfois plus importantes que celles que l’on observe! • Ex: la motivation, la situation politique etc.

8. Motivation (suite) • Le biais de sélection est un problème important pour la mesure d’impact • Un projet débute dans un certain endroit pour des raisons particulières • Les participants sont choisis sur la base de critères, ou se présentent eux-mêmes! • Ex: Les agriculteurs qui utilisent des semences améliorées se distinguent de l’agriculteur moyen! • Utiliser les agriculteurs qui utilisent les semences pour établir l’effet des semences améliorées sur les profits risque de nous induire en erreur!

9. Propriétés de la méthode d’évaluation expérimentale • Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement • Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées). • La seule différence est le traitement • Avec un grand échantillon, les caractéristiques s’équilibrent • Cette méthode permet d’obtenir une mesure d’impact non-biaisée

10. Menu d’options pour l’assignation randomisée • Loterie (couverture partielle) • Loterie pour l’accès aux semences améliorées • Phasage aléatoire (couverture totale, entrée retardée) • Quelques villages peuvent acheter des semences améliorées Assignation aléatoire à divers traitements Certains villages reçoivent une démonstration des semences, d’autres villages reçoivent des brochures d’information. Assignation aléatoire à une stratégie d’encouragement Certains cultivateurs reçoivent une invitation qui leur encouragent de participer à la démonstration.

11. Menu d’options pour l’assignation randomisée • Loterie (couverture partielle) • Loterie pour l’accès aux semences améliorées • Phasage aléatoire (couverture totale, entrée retardée) • Quelques villages peuvent acheter des semences améliorées • Assignation aléatoire à divers traitements • Certains villages reçoivent une démonstration des semences, d’autres villages reçoivent des brochures d’information. • Assignation aléatoire à une stratégie d’encouragement • Certains cultivateurs reçoivent une invitation qui leur encouragent de participer à la démonstration.

12. Loterie parmi les individus/groupes éligibles Doivent recevoir le programme Randomiser l’assignation au programme Pas éligibles

13. Opportunités • Des contraintes budgétaires limitent la couverture • Une assignation aléatoire (loterie) est juste et transparente • Les capacités de mise en œuvre sont limitées • La même chance d’être sélectionné en premier • Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles

14. Opportunités pour la Randomisation • L’adoption d’un programme en cours n’est pas totale (participation faible) • Randomiser une stratégie d’encouragement nous informe sur les types d’incitations qui fonctionnent • Pilote pour un nouveau programme • Une bonne opportunité de tester avant le passage à grande échelle • Changement dans la mise en œuvre d’un programme en cours • Une opportunité de tester le nouvel arrangement institutionnel avant le passage à grande échelle

15. Différentsniveauxauxquelsrandomiser Cela dépend du niveau auquel on intervient: • Individu/Ménage • Communauté/Village Ex: Reconstruction Communautaire • Association de femmes • Entité Juridique/District administratif

16. Randomisationindividuelleou par groupes? • Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier • Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle

17. Randomisationindividuelleou par groupes? • Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier • Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle Randomisation individuelle Randomisation par groupes

18. Niveau de randomisation • Randomiser à un niveau plus élevé est parfois nécessaire: • Contraintes d’ordre politique/éthique à assigner le traitement uniquement à certains individus au sein d’une même communauté • Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions Les effets de contamination sont parfois trop importants Randomiser au niveau du groupe demande de nombreux groupes

19. Niveau de randomisation • Randomiser à un niveau plus élevé est parfois nécessaire: • Contraintes d’ordre politique/éthique à assigner le traitement uniquement à certains individus au sein d’une même communauté • Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions • Les effets de contamination sont parfois trop importants • Randomiser au niveau du groupe demande de nombreux groupes!

20. Validité Externe et Interne (1) • Validité externe • L’échantillon est représentatif de toute la population. • Les résultats obtenus sont représentatifs de la population. • Les leçons du programme sont applicables à tout le pays. • Validité interne • L’effet mesuré d’une intervention sur la population qui est évaluée reflète le véritable impact sur cette population • C.-à-d. les groupes de traitement et de contrôle sont comparables

21. Validité Interne et Externe (2) • Une évaluation peut avoir de validité interne sans avoir de validité externe • Ex: Une évaluation d’une programme de consultations prénatales dans des zones urbaines ne nous informe pas sur l’effet de cette même intervention sur les zones rurales • Et vice-versa • Une mesure d’impact biaisée souffrira du même biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population !

22. Randomisation Randomisation Validité interne & externe Population Nationale Echantillons de la Population Nationale Traitement

23. Stratification Randomisation Validité interne Population Nationale Echantillons de la sous-population Sous-population Traitement

24. Validité externe uniquement Population Nationale Randomisation Traitement 24

25. Validité externe uniquement Population Nationale Assignation biaisée Résultat INUTILE! Randomisation Traitement 25

26. Avantages de la méthode expérimentale • Mesure de l’impact causal fiable et précise • Comparée a d’autres approches: • Facile à analyser (comparaison de moyennes) • Moins chère (plus petits échantillons) • Facile à communiquer • Plus convaincante pour les décideurs • Evite les controverses d’ordre méthodologique

27. Que faire en présence de …? 1) Certaines interventions ne peuvent pas être assignées de façon aléatoire 2) Adoption partielle ou interventions basées sur la demande Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement Promouvoir le programme de façon aléatoire Les participants choisissent de participer 27

28. Que faire en présence de …? 1) Certaines interventions ne peuvent pas être assignées de façon aléatoire 2) Adoption partielle ou interventions basées sur la demande 3) Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement • Promouvoir le programme de façon aléatoire 4) Les participants choisissent de participer 28

29. Stratégie par l’incitation - Promotion Aléatoire • Ex: Reformes qui renforcent le système légal • Les individus qui reçoivent l’incitation sont plus susceptibles de participer • L’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des communautés. • Compare les résultats des 2 groupes: ayant reçu l’incitation / n’ayant pas reçu l’incitation L’effet dû à l’incitation (Intention-de-Traiter, ITT) Effet de l’intervention sur la population qui adopte le traitement (Effet moyen local du traitement, LATE) LATE= ITT/proportion d’individus qui ont participé

30. Stratégie par l’incitation - Promotion Aléatoire • Ex: Reformes qui renforcent le système légal • Les individus qui reçoivent l’incitation sont plus susceptibles de participer • L’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des communautés. • Compare les résultats des 2 groupes: ayant reçu l’incitation / n’ayant pas reçu l’incitation • L’effet dû à l’incitation (Intention-de-Traiter, ITT) • Effet de l’intervention sur la population qui adopte le traitement (Effet moyen local du traitement, LATE) • LATE= ITT/proportion d’individus qui ont participé

31. Erreurs communes à éviter • Calculer la taille de l’échantillon de manière incorrecte • Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées • Échantillonnage par grappes nous donne une taille d’échantillon de 1 ! • Mener une collecte de données différente au sein de groupes de contrôle et de traitement • Inclure les individus qui se sont désistés au groupe de contrôle • Cela annule la randomisation! 31

32. Quandcettestratégien’est-ellevraiment pas possible? • Le traitement est déjà assigné et annoncé et il n’y a pas de possibilité d’expansion • Le programme est achevé (rétrospective) • présence d’une expérience naturelle ? • Eligibilité et accès universels • Ex.: campagne d’information universelle, éducation gratuite pour tous, régime du taux de change • Parfois on peut randomiser certaines composantes… • La taille de l’échantillon est trop limitée pour permettre une analyse crédible

33. Merci!