La valutazione degli interventi di politica sociale: una introduzione

1. La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010

2. La valutazione: che cosa è? “C’è valutazione ogni qualvolta qualcuno chiede (a se stesso o ad un esterno) di giudicare un’azione intenzionale (progettata, in corso di realizzazione o realizzata) a fronte di qualche criterio e sulla base di informazioni pertinenti” (Palumbo, 2001) • LA QUESTIONE DEL VALORE • RICERCA VALUTATIVA

3. Monitoraggio e valutazione (Stame, 1998 con modif.)

4. In generale • Perché si valuta • Quando si valuta • Che cosa si valuta (le specificità dei servizi alla persona) • Chi fa la valutazione • Il disegno della ricerca valutativa • Le “tecniche come protesi” • La restituzione e l’uso della valutazione

5. Caso 1: la valutazione dell’assistenza domiciliare di anziani (Bezzi, 2004) • Il contesto • I problemi del valutatore • Il primo approccio: la “doppia committenza” • Il disegno della valutazione • Il processo di valutazione (brainstorming, SPO) • Il prodotto del pdv: la mappa delle “priorità del servizio” (uno strumento di valutazione ma anche di programmazione)

6. Caso 2: la valutazione del funzionamento di una rete di soggetti che interviene sulle fasce deboli della popolazione • Il contesto • Definizione della domanda di valutazione • Individuazione di “oggetti” specifici di indagine valutativa (“specifiche”, temi) • Il disegno della valutazione (impostazione di metodo e definizione delle tecniche e degli strumenti; organizzazione della valutazione; output attesi) • Realizzazione del processo di valutazione (visite, analisi di documenti, interviste, osservazione) • Elaborazione di un documento di valutazione, presentazione alla Committenza e validazione

7. Caso 3: la valutazione in itinere dei piani territoriali per l’infanzia e l’adolescenza ex l.285/1997 (De Ambrogio, 2004) • “Raccolta” della domanda di valutazione • Costruzione partecipata dello strumento • Somministrazione dello strumento • Elaborazione dei risultati • Restituzione dei risultati agli attori • Valutazione partecipata e identificazione di iniziative di miglioramento

8. Caso 4: un possibile percorso di valutazione dei risultati di un intervento sociale • Identificazione degli obiettivi (di ricaduta) dell'intervento (base-minima di partenza) • Individuazione degli ambiti di valutazione (con la guida di approcci e disegni/modelli) • Adozione di uno specifico disegno di valutazione (dal "classico disegno sperimentale" a disegni di altro tipo) • Ricostruzione del cambiamento (a livello individuale, organizzativo, eccetera) attribuibile all'intervento – attraverso l'applicazione del disegno di valutazione scelto - • Calcolo del beneficio economico (in termini di confronto tra costi e benefici) riconducibile alla realizzazione dell'intervento Adatt. da Quinones e Toninandel, 2005

9. La caratteristiche del valutare • Comparazione (valore “in relazione a….”, incontro tra “domanda” e “offerta” valutativa, connessione con i “processi decisionali” e in generale di “cambiamento” (Lippi, 2007) • Ricostruire, comparare, “spiegare” • “Disciplina” empirica (variabili empiricamente osservabili: ricerca sociale applicata; paradigma lazarsfeldiano)

10. Contesto politico-istituzionale Contesto economico-sociale Contesto politico-istituzionale Contesto economico-sociale Vincoli/Risorse che esprime delle che esprime dei Vincoli/Risorse che esprime delle che esprime dei finalità bisogni finalità bisogni Decisione/ Rilevanza Coerenza Programmazione Efficacia esterna Efficienza istituzionale Obiettivi/Risultati attesi manageriale Attori implicati Attori implicati Procedure Efficacia interna Implementazione Procedure Strumenti Strumenti Efficienza Realizzazioni Esiti Valutazione Risultati Effetti Impatti Efficacia ed efficienza in valutazione Basato su una figura di Mauro Palumbo, Il processo di valutazione, Franco Angeli, Milano 2001.

11. Tipi di effetti di programmi e interventi Fattori Programma Programma Fattori o intervento programmato intervenienti o intervento programmato Conclusione, Conclusione, della valutazione intermedia o t o t 0 0 realizzazioni esiti Effetti attesi e desiderati risultati effetti realizzazioni, esiti, risultati, effetti, Effetti inattesi impatti impatti impatti auspicati e desiderati Effetti Valutazione Valutazione Valutazione Valutazione svincolata orientata agli orientata agli svincolata dagli obiettivi obiettivi obiettivi dagli obiettivi

12. Effetti (risultati e impatti) EFFETTO RILEVATO = EFFETTI DELL’INTERVENTO (EFFETTO NETTO) + EFFETTI DI ALTRI PROCESSI/FATTORI (ESTERNI ALL’INTERVENTO: MODALITA’ DI SELEZIONE, MUTAMENTI NATURALI NEI GRUPPI-OBIETTIVO, MUTAMENTO DI CONDIZIONI DI CONTESTO) + EFFETTI DEL PROCESSO VALUTATIVO (ERRORI DI MISURAZIONE O DI RILEVAZIONE, AFFIDABILITA’ DELLE METODOLOGIE E DEGLI STRUMENTI, VALIDITA’ DEGLI STRUMENTI, ERRORI NELLA SCELTA DELLE MISURE DI RISULTATO)

13. Il processo di valutazione Le nove tappe (Bezzi, 2001 con modifiche mie) • Definizione del mandato • Analisi dell’evaluando e formulazione delle domande valutative • Accertamento delle risorse • Individuazione di un possibile ‘modello valutativo’ di riferimento • ‘Esplorazione’ dettagliata dell’evaluando e delle sue ‘componenti’ oggetto di valutazione specifica • Stipulazione dei ‘valori valutativi’ (criteri) • Individuazione dell’apparato metodologico da impiegare e dei relativi strumenti di supporto • Raccolta e analisi dei dati ed informazioni • Restituzione e utilizzo dei risultati della valutazione

14. Definizione del mandato • Mandato = Perché me lo chiedi? • Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? • Chi altro è coinvolto (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? • Quali gli obiettivi della valutazione (apprendere, negoziare, rendicontare, …)? Mandato Problemi etici e deontologici Orientamento epistemologico Contesto  Metodo

15. Analisi dell’evaluando e domande valutative • Domande valutative = Cosa è importante analizzare? • Quale valutazione (ex ante, in itinere, …; di processo, di esito…; di efficacia di efficienza…)? • Quali obiettivi ha l’evaluando? • Quale ruolo ha la valutazione nel sostegno al management? Cosa serve al gestore dell’intervento? Decisore Fonti informative Impianto metodologico Evaluando  Metodo

16. Accertamento delle risorse • Risorse = Cosa posso veramente fare? • Quali risorse economiche, di tempo, di risorse umane? • Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? • Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Risorse Reale disegno della ricerca Conferimento autorità Risorse  Metodo

17. Esplorazione dell’evaluando • Spazio semantico = Cosa valutiamo, esattamente? • Cosa intendiamo quando parliamo di…? • Cosa intendono loro quando voi dite…? • Quali sono gli elementi strategici, costitutivi, di… (indicatori valutativi)? Attori sociali Condivisione concetti Attenzione epistemologica Comprensione  Metodo

18. Concetto 1 Dimensione 1 Dimensione 2 Dimensione 3 Sottodimensione 1 Sottodimensione 2 Indicatore 5 Indicatore 6 Indicatore 7 Indicatore 8 Indicatore 1 Indicatore 4 Indicatore 2 Indicatore 3 Lo schema generale del paradigma lazarsfeldiano

19. Stipulazione dei valori valutativi • Valori valutativi = Da quale punto di vista valutare (= giudicare)? • Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? • Cosa ‘vale’ di più? Da quale punto di vista? • Quale ordine, quale logica, quali “regole”? Decisore Attori sociali Esplicitazione valori Negoziazione di ‘una’ logica Valori  Metodo

20. Raccolta e analisi dei dati • Raccolta e analisi dati = Dove cerchiamo, come lo raccogliamo, cosa ne facciamo? • In quale ‘formato’ raccolgo le informazioni? • Come le tratto (matrice dei dati, analisi ermeneutica)? • Cosa ci faccio poi (restituzione ‘tecnica’; interpretazione negoziale; suggerimenti; …)? Bisogni, interessi, valori Definizioni operative Face validity Metodo  Utilizzo Dati

21. Utilizzo dei risultati • Utilizzo = A cosa è servita la valutazione? • Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? • Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? • E’ possibile una metavalutazione? • I costi della valutazione sono giustificati? Decisore Contesto Responsabilità del valutatore Valore aggiunto Utilizzo  Mandato val.

22. Evaluando, modelli, regole e metodi: l’intreccio necessario per fare valutazione L’analisi del singolo evaluando sulla base di un certo approccio di valutazione e utilizzando una o più regole (confronto con obiettivi, standard, dati storici; opinione di ….., ….. ) consente di attribuire all’evaluando (per i servizi: attraverso l’impiego di metodi/tecniche di natura prevalentemente qualitativa) un valore (socialmente costruito e “riconosciuto”)

23. Le “regole” più comuni per fare valutazione (attribuire un valore) • Confrontare gli effetti dell’intervento con i suoi obiettivi/finalità • Confrontare l’intervento (effetti e processo) con i bisogni (domanda, …..) della popolazione-obiettivo • “Assumere” la valutazione dell’intervento formulata dagli stakeholder oppure da esperti

24. Una lista di possibili “regole”(sono sottolineate quelle della diapositiva precedente) • I bisogni o i desideri/domanda della popolazione-target • Le finalità e gli obiettivi del programma/progetto/intervento • Standard o requisiti di natura tecnico/professionale • Pratiche consolidate (benchmarking) • Altri programmi/progetti/interventi analoghi • Requisiti/vincoli di natura legale o normativa • Performance precedenti; dati storici • Indicazioni definite dal responsabile del programma • Opinione di esperti • Opinione/punto di vista degli attori formativi • Situazione esistente prima dell’intervento per la popolazione target • Situazione in assenza del programma (controfattuale) • Teoria del programma (teoria dell’impatto e del processo) • Costo (assoluto o relativo)

25. “E’ dalla ricerca sociale che sono stati derivati i modelli di valutazione” (Alkin, 2004) • Approccio/paradigma (assunzioni-base che guidano l’azione) • Metodologia (disegno complessivo associato ad un particolare insieme di assunti paradigmatici usati per condurre una ricerca)

26. Le famiglie di tecniche della ricerca sociale utilizzabili in valutazione (Bezzi, 2001) • Analisi di dati di secondo livello • Interrogazione delle persone “comuni” • Interrogazione di esperti • Osservazione

27. Albero delle strategie di ricerca valutativa (Bezzi, 2008) [Manageriale] Ricerca valutativa Esperimento Ricerca sociale Dati di primo livello Dati di secondo livello Multicriteri Non esperimento Standard Criterio unico Non standard

28. Strategie e tecniche di ricerca valutativa nella logica del non-esperimento (adatt. da Bezzi, 2008) Approccio manageriale Ricerca valutativa Esperimento Strategie miste Basata su fonti statistiche esistenti Ricerca sociale Basata sull’interrogazione standard di individui (survey) Non esperimento Basata sull’analisi di relazioni tra variabili (bi-multi) Standard prevalentemente economici di primo e secondo livello Basata sull’analisi di indicatori socio-economici prevalentemente misti di secondo livello Criterio unico basata su documenti Non standard basate sull’interrogazione di individui (intervista)e sull’osservazione Gruppi reali basate sull’interrogazione di gruppi Gruppi nominali Tipi di tecniche Strategie di ricerca

29. Classificazione delle tecniche: non-esperimento (Bezzi, 2008) Di secondo livello Analisi costi benefici, ROI Strategia Standard Di primo livello Survey con questionario Di secondo livello Valutaz. Tassonomica (testi scritti) Strategia non Standard basate sull’interrogazione di individui Intervista biografica o in profondità Di primo livello Focus group Brainstorming Gruppi reali basate sull’interrogazione di gruppi Analisi Delphi Nominal Group Tech. Gruppi nominali

30. Classificazione delle tecniche: “esperimento” • Centratura sugli effetti (di che cosa su cosa) • Metodo ‘sperimentale’ classico (randomizzato) • Metodi non-sperimentali (‘differenza nelle differenze’, ‘analisi di regressione’, ‘abbinamento statistico’, ‘discontinuità attorno ad una soglia’, ‘analisi delle serie storiche interrotte’, ‘rilevazione degli effetti percepiti dai beneficiari’)

31. La valutazione comparativa “per eccellenza” (Owen e Rogers, 1999) “Richiede tradizionalmente l’uso di disegni di ricerca predefiniti con possibilmente l’impiego di un gruppo trattato e di uno di controllo, con il ricorso a test e ad altri dati quantitativi. … La determinazione di tutti gli impatti richiede l’uso di metodi di tipo più esplorativo e il ricorso a evidenze di tipo qualitativo”

32. Approccio quantitativo e qualitativo (Shaw, 1999) Approccio quantitativo (dati numerici, setting artificiale, centralità dei comportamenti, adozione del modello scienze naturali, logica deduttiva, ricerca di “leggi”, realismo) vs qualitativo (“parole” come dati, setting naturale, centralità del significato, rifiuto del modello delle scienze naturali, logica induttiva, ricerca di pattern, idealismo)

33. Tre approcci (da Stame, 2001)

34. L’approccio della Realistic Evaluation (Pawson e Tilley, 1997) Effetti (regolarità)= meccanismo+contesto “I programmi non sono cose che funzionano o non funzionano: semmai essi contengono certe idee che funzionano per certi soggetti in certe situazioni” La RE è un approccio che può essere realizzato con metodi e tecniche di tipo sia quantitativo sia qualitativo

35. Per concludere • Necessità di un sistema di monitoraggio • Priorità alla valutazione in corso d’opera ovvero del processo di “traduzione in pratica di una ipotesi di intervento” • Utilizzo combinato di metodi quantitativi e qualitativi • Attenzione “al nuovo ed all’inatteso”

36. Inoltre …. • Dedicare tempo alla progettazione della valutazione • Ipotizzare operazioni valutative gestibili e sostenibili (livello organizzativo e delle risorse) • Predisporre le condizioni necessarie all’utilizzo degli esiti (e del processo) di valutazione