Pertinence de la démarche pré-évaluative : Illustration à partir d’un programme de santé mentale

1. Pertinence de la démarchepré-évaluative : Illustrationà partir d’un programmede santé mentale Monique Carrière Ph.D.Faculté de médecine, Université Laval Louise Grégoire, M.Sc.A.Direction régionale de santé publique de la Capitale nationale Mireille Fortier, assistante de recherche

2. Contexte de l’évaluation • Pression pour l’évaluation de programme • Pression pour la programmation en réseau • Révision du programme en santé mentale au CLSC • Transformation organisationnelle en cours

3. C’est pas compliqué, on a révisé notre programme et on veut savoir ce queça donne. C’est plus compliqué que ça !!! Rencontre évaluateur - demandeur Demandeur Évaluateur

4. Proposition : approche pré-évaluativeet coopérative • Pré-évaluative : • Multiplicité des objets d’évaluation • Multiplicité des acteurs et de leurs points de vue • Obligation de clarifier et de choisir • Coopérative : • Participation continue de l’équipe de gestion du programme à la planification de la démarche, à sa mise en œuvre et à l’interprétation des résultats

5. Tendances habituelles (A) vsnotre proposition (B) A • Évaluation des résultats • À partir des conceptions des acteurs du programme • Identification objective des problèmes • Environnement/clients • Rétroaction B • Cadre général et vue d’ensemble • Avec les paramètres des partenaires et des usagers du programmes • Identification subjective des problèmes • Réseau/act.interdépendants • Négociation

6. Acteur motivé,rationnel et réflexif Position de l’acteurinfluence rationnelet action Intention  action conséquences Dialectiqueaction-structurel Spécifique Systémique Structurel Opérationnel Stratégique Cadre théorique : approche constructiviste Théorie de la structuration(Giddens) Domaines d’activitésd’un programme(Gervais)

7. DÉCIDEURSCENTRAUX* (SYSTÉMIQUE) PROGRAMME ASM RÈGLESETRESSOURCES (STRUCT.) PARTENAIRESCOMM.* USAGERS* INTERV.* DÉCISION PRATIQUES GEST.* (STRAT.) (OPÉRAT.) PARTENAIRESINSTITUT.* CONSÉQUENCES (SPÉCIFIQUE) POPULATION* ENVIRONNEMENT / CONTEXTE * ACTEUR MOTIVÉ, RATIONNEL, RÉFLEXIF Interfaces Giddenset Gervais

8. Déroulement du projet • Planification avec l’équipe de gestionnaires • Nombre de groupes et critères de sélection des participants • Recrutement • Organisation des groupes de discussion • Réalisation des groupes de discussion • Analyse préliminaire et rétroaction aux gestionnaires • Présentation des résultats et discussionsur la poursuite de l’évaluation

9. Principaux thèmes abordéslors des groupes de discussion • Motivation et préoccupations • Questions et objets d’évaluation • Utilité de l’évaluation • Priorités • Opportunités et embûches anticipées • Perception quant aux priorités des autres acteurs

10. Variété des participants • 5 catégories d’acteurs: • Gestionnaires du programme ASM du CLSC • Intervenants au programme ASM du CLSC • Usagers • Partenaires communautaires • Partenaires institutionnels • 9 groupes de discussion • 65 personnes rencontrées

11. OC CHSP CLSC CHSGS USAGERS Position des acteurs

12. Rationnel des gestionnairesdu CLSC • Performance du programme • Responsabilité populationnelle • Effets sur le système et les clients • Positionnement de CLSC p/r aux partenaires • Ajustement et mise à jour du programme

13. Clarification et cohérence p/r au programme Effets sur le client Lien thérapeutique Ajustement et mise à jour Tension entre les objectifs cliniques et organisationnels Contradiction entre leurs valeurs et leurs actions Inquiétude quant au type d’évaluation Rationnel des intervenantsdu CLSC

14. Arrimage et harmonisation des services : Adoption d’une philosophieet de stratégies communes (ententes formelles et liens personnalisés) Protocoles uniformes Système d’information partagé Hiérarchisation d’intervention Efficience et efficacité Collaboration (liens de confiance, reconnaissance, appui réciproque) Rationnel des partenaires institutionnels

15. Information Reconnaissance Réduction de la méconnaissance réciproque Tension entre l’autonomie décisionnelle et la coopération Positionnement du CLSC et des organismes communautaires : influence et négociation Perception d’un décision unilatérale du CLSC, entraînantune stratégie similaire des organismes communautaires Rationnel des partenairesdu milieu communautaire

16. Relation avec l’intervenant : continuité Approche humaniste et globale Souplesse et simplicitédans l’organisationdes services Disponibilité continue des ressources Participation aux décisions cliniqueset organisationnelles Rationnel des usagers

17. Principaux thèmes documentésau regard des 5 domaines d’un programme • Domaine Systémique : rôle et position dans le réseau, liens avec les autres acteurs, légitimité… • Domaine Structurel : règles et ressources, procédures de coordination, réseau de communication et d’information… • Domaine Opérationnel : processus, activités et comportement des membres; pratiques professionnelles, programmation des activités, communication, climat de travail… • Domaine Stratégique : gestion du programme, médiation entre les différentes instances organisationnelles, planification, prise de décisions, supervision, leadership… • Domaine Spécifique : résultats; optimisation des objectifs, satisfaction des attentes, production de services…

18. Modification de la représentation du programme Programme : un moyen et un résultat Les constats • Négocié • Communiqué • Utilisé } • À l’intérieur • Avec L’extérieur du CLSC • Modification de la représentation de la programmation • Programmation: phénomène dynamique et action continue

19. Élaboration d’un outil Commun à la planification et à l’évaluation de programme Facilitant sa compréhension et sa transformation Fournissant une vue d’ensemble de ses composanteset de ses éléments Précisant les actions correspondant aux élémentsde chaque composantes Permettant de déterminer les cibles et les stratégies d’évaluation Action des évaluateurs Construction d’un modèle logique détaillé

20. Traduction du programme dans un modèle logique

21. Stimulation de l’activité réflexive Révision des objectifs, des activités et des moyens du programme Ouverture au changement Appropriation de la démarche et des outils de planification évaluation Retombées pour le CLSC

22. Richesse de la démarche : Cohérence Diversité des résultats Démarche ancrée dans le contexte Possibilité de faire des choix éclairés Choix épistémologique : constructivisme Diversité des priorités et des enjeux Création d’attentes Approche non normative qui facilite les liens entre les acteurs et la négociation Démarche qui répond aux standards de l’évaluation Conclusion

23. Fin…