1 / 20

Beata Ciężka

WOJEWÓDZTWO PODKARPACKIE. Beata Ciężka. Metodologia badań ewaluacyjnych. Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013. WOJEWÓDZTWO PODKARPACKIE.

anka
Download Presentation

Beata Ciężka

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. WOJEWÓDZTWO PODKARPACKIE Beata Ciężka Metodologia badań ewaluacyjnych Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013

  2. WOJEWÓDZTWO PODKARPACKIE Ewaluacja jest rodzajem badania a więc metodologia badań ewaluacyjnych czerpie z dorobku metodologicznego nauk, w szczególności nauk społecznych: • Socjologii • Pedagogiki • Psychologii • Ekonomii • Nauk o zarządzaniu

  3. WOJEWÓDZTWO PODKARPACKIE Ewaluacja pozytywistyczna vs. humanistyczna Paradygmat pozytywistyczny zakłada: • Obiektywne istnienie rzeczywistości • Niezależność badacza od przedmiotu poznania i sytuacji badawczej • Przyjmowanie a priori eksplorowanych kategorii pojęciowych Paradygmat humanistyczny zakłada: • Interakcyjne konstruowanie rzeczywistości • „Prawda” stanowi rodzaj konsensusu uzgodnionego między działającymi podmiotami • Badacz wywiera wypływ na rzeczywistość i sam doznaje wpływu • Kategorie pojęciowe wyłaniają się w trakcie badań i mogą być wyjaśnione tylko w towarzyszącym im kontekście • Maksymalne uspołecznienie całego przebiegu ewaluacji

  4. WOJEWÓDZTWO PODKARPACKIE Konsekwencje zaprezentowanych rozważań metodologicznych w ewaluacji funduszy strukturalnych • Założenie możliwości kreowania rzeczywistości społecznej poprzez zastosowanie interwencji • Zastosowanie metodologii „pomiaru wskaźników” • Założenie stosowania zestawu z góry określonych kryteriów oceny Ale: • Partycypacyjność w formułowaniu założeń ewaluacji • Uznawanie ważności kontekstu • Uznawanie różnorodności punktów widzenia • Stosowanie triangulacji (w tym szerokiego wachlarza metod jakościowych)

  5. Triangulacja Zwielokrotnienie: Metod i technik badawczych Źródeł informacji Typów danych Technik analitycznych Teorii wyjaśniających Liczby osób realizujących badania Zastosowanie Lepsze poznanie i zrozumienie badanego obiektu Uwzględnianie różnych punktów widzenia Bardziej „zobiektywizowana” analiza WOJEWÓDZTWO PODKARPACKIE 5

  6. Założenia badań ilościowych i ich zastosowanie Obejmują gromadzenie i analizę informacji liczbowych (również informacji, które można zakodować w formie liczb np. opinii – badania sondażowe) Wykorzystywane są do poznania rozkładów częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi zmiennymi Podlegają analizie statystycznej i regułom w niej obowiązującym Badania ilościowe umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji Zasadniczym pytaniem jest: ILE? WOJEWÓDZTWO PODKARPACKIE 6

  7. Założenia badań jakościowych i ich zastosowanie Dotyczą opisu, poznania i zrozumienia badanych zjawisk Dane jakościowe są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w znaczeniu ilościowym Pozwalają na sformułowanie odpowiedzi na pytania: co?, jak?, dlaczego? Sąwieloznaczne i wielowymiarowe, trudno na ich podstawie formułować uogólnienia WOJEWÓDZTWO PODKARPACKIE 7

  8. WOJEWÓDZTWO PODKARPACKIE Badania z zastosowaniem triangulacji – przykłady

  9. WOJEWÓDZTWO PODKARPACKIE Badanie ewaluacyjne dotyczące realizacji perspektywy równości płci przez Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich na lata 2004-2006

  10. PERSPEKTYWA PROJEKTU Poziom instytucjonalny Poziom projektowy Badania ukierunkowane na dwie perspektywy: 1) Ogólna perspektywa - znajomości i stosunku do zasady równości płci 2) Perspektywa związana ze SPO RZL – stosunek oraz ocena konkretnych rozwiązań i działań lub ich braku 25 Indywidualnych wywiadów pogłębionych (IDI) z wybranymi przedstawicielami instytucji Ankieta internetowa (CAWI) obejmująca wszystkich pracowników instytucji mających związek ze SPO RZL  Case Studies 20 wybranych projektów w ramach wszystkich działań (próba celowa) 500 wywiadów telefonicznych wspomaganych komputerowo (CATI) – próba warstwowa wszystkich projektów Ankieta internetowa (CAWI) adresowana do wszystkich projektodawców (projekty zakończone i będące w trakcie) Desk Research PERSPEKTYWA SPOŁECZNA Badanie reprezentatywne ludności Polski powyżej 15 roku życia – badanie na 1000 osobowej ogólnopolskiej próbie reprezentatywnej (blok pytań w Pentor Omnibus). Badanie liderów opinii - wywiady pogłębione z przedstawicielami środowisk naukowych, świata polityki oraz przedstawicielami środowisk kobiecych (7IDI).

  11. WOJEWÓDZTWO PODKARPACKIE Bariery realizacji celów w projektach Schematu b. Działania 2.3 SPO RZL

  12. WOJEWÓDZTWO PODKARPACKIE Metody jakościowe Badanie dokumentacji (Desk research) Wywiady indywidualne w: • Polskiej Agencji Rozwoju Przedsiębiorczości (PARP), • Ministerstwa Rozwoju Regionalnego (MRR), • ekspertem z organizacji pracodawców (PKPP Lewiatan) Zogniskowany wywiad grupowy - FGI (Focus Group Interview) • 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i korzystających z dofinansowania z funduszy UE • 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i nie korzystających z dofinansowania z funduszy UE

  13. WOJEWÓDZTWO PODKARPACKIE Studium przypadku (Case Study) 10 projektów wybranych projektów: • analiza dokumentacji projektowej; • pogłębione wywiady indywidualne z koordynatorami; • pogłębione wywiady indywidualne z osobami odpowiedzialnymi za promocję i rekrutację; • wywiady telefoniczne (lub indywidualne) z przedstawicielami punków rekrutacyjnych współpracujących z realizatorem projektu – (jeżeli realizator projektu korzystał ze wsparcia regionalnych punktów rekrutacyjnych); • wywiad indywidualny/grupowy z przedstawicielami firm szkoleniowych współpracujących z realizatorem projektu; • wywiady z osobami odpowiedzialnymi za projekt Polskiej Agencji Rozwoju Przedsiębiorczości.

  14. WOJEWÓDZTWO PODKARPACKIE Metody ilościowe 1200 wywiadów telefonicznych (CATI Computer Assisted Telephone Interviewing) w tym: • 600 wywiadów na próbie reprezentatywnej ogólnopolskiej wśród MSP oraz • 100 wywiadów na próbie MSP branży elektronicznej • 100 wywiadów na próbie MSP branży turystycznej z wybranych regionów • 100 wywiadów na próbie MSP branży przemysłu drzewnego • 100 wywiadów na próbie BO projektu „Szkolenie kadr MŚP w zakresie wdrażania norm BHP” • 100 wywiadów na próbie BO projektu „Ogólnopolski program szkoleń w zakresie ochrony środowiska • 100 wywiadów na próbie BO projektu „Inwestycja w kadry”

  15. WOJEWÓDZTWO PODKARPACKIE Wiele ewaluacji skupia się na pomiarze efektów dlatego kluczową rolę stanowi dobrze zdefiniowany system wskaźników oraz prawidłowo przygotowany i systematycznie prowadzony monitoring

  16. WOJEWÓDZTWO PODKARPACKIE Przykładowe metody stosowane w ewaluacji wykorzystujące dane monitoringowe

  17. WOJEWÓDZTWO PODKARPACKIE Ewaluacja oparta na teorii projektu Oddziaływanie Potrzeby Rezultaty Cele Nakłady Działania Produkty Trafność Efektywność Skuteczność Użyteczność i Trwałość

  18. WOJEWÓDZTWO PODKARPACKIE Benchmarking • Ocenianie efektów programu/projektu poprzez porównanie ich z efektami podobnych programów/projektów, które zostały uznane za udane i mogą służyć jako przykład • W procesie porównania zidentyfikowane zostają silne i słabe strony programu/projektu oraz wyszukiwane są nowe rozwiązania, które mogą podnieść jakość osiąganych celów

  19. WOJEWÓDZTWO PODKARPACKIE Grupy porównawcze • Porównanie dwóch grup podmiotów, z których jedna grupa była beneficjentem danego projektu lub programu, druga grupa natomiast nie korzystała z pomocy • Ocena efektu netto • Metoda może być z powodzeniem stosowana do ewaluacji szczegółowej różnych typów projektów i programów, zwłaszcza tych związanych ze wsparciem dla sektora produkcyjnego (np. granty dla małych i średnich przedsiębiorstw) oraz działaniami w zakresie rozwoju zasobów ludzkich (np. wsparcie dla bezrobotnych)

  20. Dziękuję za uwagę! Beata Ciężka beata.ciezka@pte.org.pl WOJEWÓDZTWO PODKARPACKIE

More Related