Vaikutusten ja vaikuttavuuden tutkimuksesta sosiaalialalla

1. Vaikutusten ja vaikuttavuuden tutkimuksesta sosiaalialalla Riitta Haverinen Johtava asiantuntija, dosentti 27.4.2012 Vaikutusten ja vaikuttavuuden mallit sosiaalialalla/Riitta Haverinen 1

2. Esityksen rakenne N�k�kulmia n�ytt� ja vaikuttavuus �teemaan Sosiaalialan erityisyydest� N�ytt�agendasta Tutkimuksen l�hestymistavoista Kirjallisuuskatsaukset vaikuttavuustiedon tiivist�misen v�lineen� Joitain linkkej� 27.4.2012 Esityksen nimi / Tekij� 2

3. Sosiaalialan peruskysymyksi� MIHIN ILMI��N HALUTAAN VAIKUTTAA, MILL� METODEILLA SIIHEN VOI VAIKUTTAA, MITEN VAIKUTUKSIA ARVIOIDAAN? Tutkimusmenetelm�t valittava tutkimuskysymyksen ja ongelman mukaan, ei p�invastoin (M�kitalo ym. 2008) Vaikutukset syntyv�t: yhteisprosessissa, jossa toiminnan kuvaus, mielipiteet ja n�kemykset, tilastollinen mallintaminen, kustannusten huomiointi, eettiset kysymykset, toimeenpano Sosiaaliset ja k�ytt�ytymisen muutokset syntyv�t hitaan tuskallisesti > tarvitaan erilaisia toimia syv�llisen ja kest�v�n muutoksen aikaan saamiseksi 27.4.2012 Esityksen nimi / Tekij� 3

4. Mit� pit�isi tavoittaa? Evaluaatiomenetelm�t eiv�t v�ltt�m�tt� tavoita olennaisia elementtej� ( Pawson 2009) Asiakkaiden yhteisty� (co-production) ja osallistuminen ovat ratkaisevia elementtej� sosiaality�n tulosten aikaan saamisessa Sosiaalialan tuloksiin liittyv� kysymys onkin miten ja miss� olosuhteissa riitt�v� tulos/vaikutus saadaan tapahtumaan N�in ollen on identifioitava/l�ydett�v� mekanismit, kriittiset avaintekij�t, jotka tuottavat muutokset asiakkaiden el�m�ss�, mit� kapasiteetteja/osaamisen alueita on tuotettu, jotka indikoivat muutosta 27.4.2012 Esityksen nimi / Tekij� 4

5. Kokonaisuus olennainen Lastensuojelututkimus tuonut esille kriittisi� menestystekij�it�: asiakkaan kokemus el�m�nlaatunsa kohentumisesta, lapsen ja nuoren riskiolosuhteiden v�hentyminen Perusedellytyksi�: vankka asiakasl�ht�inen organisaatio, ajankohtaisia vaatimuksia vastaava osaaminen, voimavaraistumista edist�v�t toimintaprosessit Keskustelukulttuuri vahvuutena, sosiaaliset vaistot, kokemustiedon ohjaama ep�muodollinen toimintatapa (Rousu 2007, 2008) 27.4.2012 Esityksen nimi / Tekij� 5

6. N�ytt�agenda (EBP)N�ytt��n perustuva l��ketiede Evidence based policy and practice -liike Kausaliteetin kysymys: jos a niin b -s��nt� Arvioitava julkinen interventio perustuu olettamukseen intervention tuloksista/hy�dyist�/vaikutuksista Vaikuttavuuden arvioinnissa testataan n�it� k�sityksi� todellisuudesta Cochrane- ja Campbell �kansainv�linen yhteisty�verkosto RCT ja kvasikoeasetelmilla tuotetun vaikuttavuusn�yt�n tuottajina 27.4.2012 Esityksen nimi / Tekij� 6

7. Terveydenhuollon n�ytt�ajattelu (Korppi & Lauri & M�ntyranta 2004) Tarjoaa kliinikoille ty�kalut kliinisten tutkimusten arviointiin Mahdollistaa kesken��n vertailukelpoisten systemoitujen katsausten laatimisen Systemoitujen katsausten pohjalta voidaan laatia tutkimus- ja hoito-ohjeita Tarjoaa yhteisen, selke�n ja ty�t� palvelevan kielen ja k�ytt�kelpoisia tunnuslukuja Systemoidut katsaukset hyv� tietol�hde ja haetaan vastauksia tiettyihin kysymyksiin Tavoitteena selvitt�� hoidosta saatava hy�ty ja siit� aiheutuva haitta potilasty�ss� 27.4.2012 Esityksen nimi / Tekij� 7

8. Systemoidut katsaukset tiedon tiivist�j�n� Positivistinen tutkimusperinne Tavoitteena antaa vastaus t�sm�lliseen vaikuttavuutta koskevaan kysymykseen ,joten hankitaan tietoja julkaistuista artikkeleista systemaattisella tavalla, jotta kattava ja l�pin�kyv� ja sovitut laatukriteerit t�ytt�v� tiedon koonti ja sen analyysi mahdollistuu Mukaan vain kontrolloidut satunnaistetut tutkimukset, jotka t�ytt�v�t kriteerit Arvioinnissa voi olla tietyin edellytyksin meta-analyysi, jossa aineistot yhdistet��n ja tehd��n tilastollinen analyysi vaikuttavuudesta N�yt�n luokittelu nelj��n luokkaan (useiden tutkimusten tulokset samansuuntaiset RCT:t, tuloksia vain yksi, tutkimuksia ei ole tehty, asiantuntijasuositus) 27.4.2012 Esityksen nimi / Tekij� 8

9. N�ytt��n perustuvan terveydenhuollon kritiikki� RCT golden standard- ajattelua arvosteltu kaavamaiseksi, kliinisiin satunnaistettuihin tutkimuksiin perustuvaksi Kuvaavat vaikutusta keskim��r�isell� potilaalla, vain tulos ratkaisee, prosessia ei tavoiteta Sairauksien etiologiaa, diagnostiikkaa ja ennustetta ei voi tutkia RCT:lla Sairauksien kokemista, vaikutusta el�m��n ei voida saada haltuun Kriittisyys tutkimusten valinnassa, katsausten tekij�t valitsevat Evidence based Policy and Practice -ajattelun rinnalle nousemassa Patient centered, jolloin huomio potilaan kokemuksiin 27.4.2012 Esityksen nimi / Tekij� 9

10. Vuorovaikutus olennainen Laboratoriokokeet: v�liin tulevien muuttujien poissulkemisen pulma sosiaalisessa toimintaymp�rist�ss�: mik� kaikki vaikuttaa lopputulokseen Sosiaalialan auttamis/asiakasty� on vuorovaikutuksessa syntyv�� vaikutuksen yhteistuotantoa > asiakas ja ty�ntekij�t vaikuttavat lopputulokseen Miten tutkia vuorovaikutuksen vaikutusta? Psykoterapiatutkimuksesta ideoita? Prosessien, kokemusten tutkimus videoiden, ��nitt�en, yhdess� asiakkaiden kanssa analysoiden, tihe� kuvaus, yhteistoiminta, refleksiivisyys, responsiivisuus 27.4.2012 Esityksen nimi / Tekij� 10

11. Vaikuttavuus sosiaalialalla Millaisten prosessien avulla muutos tapahtuu tietyss� ajassa on keskeisempi kuin, mik� vaikuttaa mihin, miten, milloin, mill� edellytyksill�? Tietoon perustuva k�yt�nt� on ammattilaisten asiantuntemuksen, k�ytt�jien mielipiteiden ja kokemusten yhdist�mist� parhaaseen tieteelliseen tietoon. Parhaaseen tietoon ty�n perustaminen: systemaattiset ja kartoittavat tutkimuskatsaukset, tiedon tiivist�minen, analysointi, kriittinen tarkastelu, johtop��t�kset Toiminta voi olla vaikuttavaa, vaikkei siit� ole vaikuttavuusn�ytt��, siit� voi olla muuta vaikutustietoa 27.4.2012 Esityksen nimi / Tekij� 11

12. Erilaisia tutkimusperinteit� Teoriaperusteinen evaluaatioperinne (mm. Chen 1990; Pawson ja Tilley 1997; Pawson 2009) Vaikuttavuus kuvaa tulosta, vaikutusta ja vaikuttamisen prosessia. Olennaista prosessien ja tulosten yhdist�minen (mm. Dahler-Larsen 2005) Vaikutusten tutkimus vaatii suurempia toimintayksik�it�, systemaattisen tiedonkeruun rakenteita, ja tiedon m��ritt�mist� asiakashy�tyjen n�k�kulmasta 27.4.2012 Esityksen nimi / Tekij� 12

13. Paras tieto - n�ytt� - vaikutukset Mik� riitt�� n�yt�ksi yhteiskuntatieteiss�, kun koeasetelmilla tehty� tutkimusta ei juuri ole? Mill� toiminnan tulokset perustellaan? Ed Mullen (USA, Columbia yliopisto): sosiaality�n vaikuttavuus on tutkimuksilla toteen n�ytetty! Miten yhdist�� vaikutustietoa: systemaattinen kirjallisuuskatsaus, valikoiva katsaus vaikutuksista, sosiaality�n tutkimustieto� ty�yhteis�tieto, kumulatiivinen tieto, yksil�n tieto asiakaspalaute Se mik� tuottaa hy�tyj� asiakkaille eli toimii, on sanoitettava ja mallinnettava, jotta sit� voidaan tutkia�

14. Mist� sosiaalialan vaikuttavuustutkimuksessa on kyse? Sosiaalialan toimien tavoite on tuottaa enemm�n hyv�� kuin vahinkoa! Miten tuotetaan hy�dyt, miten estet��n vahingot? Vaikuttavuus, vaikutus -k�site tulkintojen kirjon kohde; ei yhteisesti hyv�ksytty� sis�lt�� Tieteellinen, yhteiskunnallinen, eettinen n�k�kulma Tuottiko tehty interventio tavoitellun vaikutuksen? Miten se varmistetaan? Mit� pit�� ottaa huomioon? Vaikutusten tasot: yksil�, perhe, ryhm�, yhteis�, yhteiskunta - eri l�hestymistapoja 27.4.2012 Esityksen nimi / Tekij� 14

15. Ty�n arki ja vaikutusten tuottaminen Sosiaalialan ty�n todellisuudessa vaikea soveltaa manuaalien tai protokollan mukaista prosessia Toimeenpanotutkimuksen mukaan pelkk� n�ytt� (evidenssi) ei riit� p��t�ksentekoon, mietitt�v� yhteiskunnallisia, eettisi�, kohdentumis -n�k�kulmia Ammatilliset ajatteluprosessit, asiantuntemus ja j�sentynyt asiantuntemus korostuvat Manuaalit ja protokollat ovat viitteellisi�, ne eiv�t riit� muuttuvassa toimintaymp�rist�ss� 27.4.2012 Esityksen nimi / Tekij� 15

16. Ammattilaisten tietohierarkiat(Raunio 2004) Teoreettinen tieto ja Empiirinen tieto ja Proseduraalinen tieto ja Persoonallinen tieto ja K�yt�nn�n viisaus yhdistyv�t asiantuntijaty�ss� Sosiaalialan ja sosiaality�n tietoperustan moninaisuus; syv�llinen � yleistett�v�; kumulaatio � erityisyys; standardi � r��t�l�ity Ammattilainen � asiakas � menetelm� �kolmio; ent� kun menetelm� on esim. maisema, milj��, el�in, kokonaisuus � mik� vaikuttaa ja mihin suuntaan? Miten saada prosessi, vaikuttajat, kriittiset asiat esille?

17. Tieto Mik� tieto on merkitt�v��? Mit� arvostetaan, mist� n�k�kulmista tuotetaan, mittarit, seuranta Mik� tieto ei tule n�ht�ville? Jotta n�ytt�tieto on k�ytt�kelpoista sen pit�� olla yhteiskunnallisesti hyv�ksytty�, eettist�, k�yt�nn�n toimintaan sovellettavaa ja asiakkaille hy�tyj� tuottavaa 27.4.2012 Esityksen nimi / Tekij� 17

18. K�yt�nt�tutkimus tiedon tuottajana sosiaalialalla Sosiaaliteorioista johdettujen k�sitteiden rinnalle metodisia ty�kaluja, tarinoita, metaforia, dialogisia kohtaamisia, jotka j�sent�v�t eletty� todellisuutta kulttuurisesti ymm�rrett�v�sti Toimijoiden ja tutkijoiden intuition ja hiljaisen tiedon pohjalta menetelm�llisi� ja metodisia innovaatioita Jaettu tai yhteinen tiedonmuodostus; kaikki tiet�vi� subjekteja Tiedon henkil�kohtainen koskettavuus; marginaaleihin joutuneiden, poliittista valtaa vailla olevien ja heikosti puolustuskykyisten kansalaisten tiedon ja kokemuksen esille tuominen ja sanoittaminen

19. Vaikuttavuus ja interventiotutkimus (Sheldon 2000)

20. Kvasi-kokeelliset tutkimukset

21. Narratiiviset katsaukset

22. Ennen-j�lkeen testit

23. Sosiaalialan sovellus: Kartoittava kirjallisuuskatsaus Metodologia: Haetaan etuk�teen asetetuilla sis��nottokriteereill� laadullista tutkimusta jonkun ty�muodon/intervention ulottuvuuksista ja vaikutuksista "Kartoittava" tarkoittaa kaksivaiheisuutta, ensin haetaan laajemmalla haulla kokonaiskuvan saamiseksi kohteesta Toisessa vaiheessa p��tet��n alustavan haun pohjalta etuk�teen tiukat sis��nottokriteerit, jolloin hallittava m��r� tutkimusta tulee analysoitavaksi. Mik�li eiv�t t�yt� kriteerej� voidaan sulkea pois t�ss�kin vaiheessa. Kirjallisuuskatsaus on osa opinn�ytet�it�: Onko se systemaattinen vai "mukavuuskatsaus?" Explikoitava miten on tehty, mill� hakusanoilla haettu ja mist�.

24. Kirjallisuutta Peter Dahler-Larsen (2005) Vaikuttavuuden arviointi, Stakes,FinSoc, arviointiraportteja 3/2005. Helsinki. Mike Fisher (2004) Knowledge Production for Social Welfare: enhancing the evidence base Ky�sti Raunio (2004) Olennainen sosiaality�ss�, Gaudeamus, Helsinki. Mirja Satka & Synn�ve Karvinen-Niinikoski & Marianne Nylund & Susanna Hoikkala (toim.) (2005) Sosiaality�n k�yt�nt�tutkimus, palmenia-kustannus, Helsinki. Brian Sheldon (2000) Cognitive Behavioral Methods in Social Care: A Look at the Evidence. Teoksessa Paul Stepney and Deidre Ford (2000) (eds.) Social Work Models, Methods and Theories. Korppi, Matti & Sirkka Lauri ja Taina M�ntyranta (2005) N�ytt��n perustuva terveydenhuolto. Julkaisussa M�ntyranta, Tasina & Outi Elonheimo & Jukka Matti ja Juha Viitala (toim.) Terveyspalvelujen suunnittelu, Duodecim 2005. M�kel�, Marjukka & Minna Kaila & Kristian Lampe & Martti Teikari (toim.) (2007) Menetelmien arviointi terveydenhuollossa, Duodecim. M�kitalo Jorma & Jari Turunen & Ilpo Vilkkumaa (2008) Vaikuttavuus muutoksessa. Verve Leiman, Mikael (2008) psykologisten interventioiden vaikuttavuus. Ed. teoksessa. Vilkkumaa, Ilpo (2008) Kuntoutus vaikuttavuuden pelikent�ll�. Ed. teoksessa. Pawson, Ray (2009) esitys FES:n seminaarissa 6.10.09 Hki. Rajavaara, Marketta (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kela, Sosiaali- ja terveysturvan tutkimuksia. Hki.

25. Tietol�hteit� * Institut f�r Metodutveckling (IMS) Ruotsin sosiaalihallituksessa Julkaisuja ja muuta materiaalia: (http://www.socialstyrelsen.se/evidensbaseradpraktik) * SCIE (Social Care Institute for Excellence) (www.scie.org); kehitellyt mallin kartoittavasta kirjallisuuskatsauksesta, laadullisen tutkimuksen huomiointi Julkaisuja: (http://www.scie.org.uk/publications/index.asp) * EPPI centre; my�s systematic mapping ajattelua (http://eppi.ioe.ac.uk/EPPIWeb/home.aspx) * Campbell Collaboration, systemoidut katsaukset, kirjasto,ja tietokannat mm. SORO: (www.campbellcollaboration.org) * Cochrane Collaboration: systemoidut kirjallisuuskatsaukset (www.cochrane.org) * Campbell �kirjastosta l�ytyv�t systemoidut kirjallisuuskatsaukset ( www.campbellcollaboration.org) (http://www.campbellcollaboration.org/library.php)