Wyzwania stojące przed ewaluacją w perspektywie finansowej 2014-20 Tomasz Kot

1. Wyzwania stojące przed ewaluacją w perspektywie finansowej 2014-20 Tomasz Kot Krajowa Jednostka Ewaluacji Departament Koordynacji Strategii i Polityk Rozwoju, MIR VI Podkarpacka Konferencja Ewaluacyjna Rzeszów, 8 maja 2014

2. Plan • Skrócona diagnoza systemu ewaluacji PS w PL – w jakim punkcie się znajdujemy? • Kierunki rozwoju i wyzwania dla ewaluacji w okresie 2014-20 – dokąd zmierzamy?

3. Ewaluacja w Polsce – o czym należy pamiętać • Rozwinięty system ewaluacji PS w Polsce nie wykształcił się w wyniku naturalnego procesu rozwoju kultury politycznej ale został wprowadzony jako wymóg formalny związany z wdrażaniem funduszy UE • Etap przygotowawczy 2004-2005 (mało badań (20), niski potencjał JE (7), brak rynku) • Etap przejściowy 2006-07 (duży wzrost liczby ewaluacji i JE, pierwszy duży proces – ex ante perspektywy 07-13) • Od 2007-08 r. – osiągnięcie funkcjonalności systemu (duża liczba badań i JE, problemy ich jakości i wykorzystania wyników), duży rynek • 2014-20 – stagnacja czy ekspansja ewaluacji na inne polityki publiczne?

4. System ewaluacji PS w Polsce – skrócona diagnoza

5. Słabe strony systemu ewaluacji PS w Polsce • Ryzyko związane z niewystarczającym poziomem integracji procesu ewaluacji z procesem planowania i realizacji polityk publicznych w Polsce: • wciąż niewystarczająca świadomość korzyści ze stosowania koncepcji evidence based policy w administracji → zbyt małe zaangażowanie podmiotów odpowiedzialnych za programowanie i wdrażanie w procesy analityczno-ewaluacyjne → niedopasowanie wyników badań ewaluacyjnych do potrzeb informacyjnych administracji → „autonomizacja” systemu ewaluacji względem procesu wdrażania (wymogi formalne jako główne uzasadnienie funkcjonowania systemu) • Duże obciążenie administracji zadaniami biurokratycznymi → koncentracja na problemach bieżących i brak perspektywy długoterminowej → ewaluacja często traktowana instrumentalnie lub jako narzędzie rozwiązywania bieżących problemów („ostatnia deska ratunku”)

6. Słabe strony systemu ewaluacji PS w Polsce • Zachowawcza interpretacja zasad i procedur prawa zamówień wpływająca pośrednio na jakość otrzymanych produktów • duża rola ceny w kryteriach wyboru wykonawców – zbyt mała rola kryteriów jakościowych, w tym w szczególności związanych z metodologią, nieróżnicujący charakter kryteriów (coraz rzadsze zjawisko) • procedury PZP niedostosowane do sposobów określania parametrów zadania w przypadku działań badawczo - analitycznych • lęk przed stosowaniem dostępnych instrumentów prawnych (kar)

7. Słabe strony systemu ewaluacji PS w Polsce • Zróżnicowany poziom jakości merytorycznej produktów ewaluacji (raportów, wniosków i rekomendacji) • ilość vs jakość, • obecność na rynku wykonawców dostarczających niskiego poziomu badań, • niski udział jednostek naukowych

8. Źródło: Baza badań ewaluacyjnych, stan na 24.04.2014 *Prognoza na rok 2014 na podstawie planów ewaluacji

9. Niska aktywność jednostek akademickich na rynku badań ewaluacyjnych Źródło: Baza badań ewaluacyjnych wg stanu na dzień 24.04.2014 r.

10. Słabe strony systemu ewaluacji PS w Polsce • Niewystarczające wykorzystanie wyników badań (ale stan faktyczny lepszy niż panująca w środowisku opinia) • Przykłady: Ocena korzyści krajów UE…, timing+jakość+odpowiedź na zapotrzebowanie = sukces; ewaluacja ex ante 14-20

11. Źródło: Baza rekomendacji Krajowej Jednostki Ewaluacji Stan na marzec 2014

12. Mocne strony systemu ewaluacji PS w Polsce • Znaczne zasoby systemu ewaluacji: • rozbudowany system Jednostek Ewaluacyjnych na poziomie krajowym i regionalnym koordynowany przez Krajową Jednostkę Ewaluacji • generalnie wysoki poziom merytoryczny pracowników Jednostek Ewaluacyjnych • wysoki poziom kultury ewaluacyjnej „wewnątrz” systemu ewaluacji (świadomość korzyści z realizacji zasady evidence based policy) • znaczny poziom „usieciowienia” współpracy w ramach systemu ewaluacji (współpraca formalna/zinstytucjonalizowana jak i nieformalna) • Wystarczające nakłady finansowe na działania ewaluacyjne • zaawansowane instrumenty techniczne: ogólnodostępna baza badań ewaluacyjnych, baza SWR

13. Zasoby kadrowe systemu ewaluacji PS w Polsce

16. Mocne strony systemu ewaluacji w Polsce • Zdecentralizowany system ewaluacji pozwalający na dostosowanie procesu ewaluacji do specyficznych potrzeb sektorowych czy regionalnych • Systematyczny i zauważalny wzrost poziomu jakości metodologii badań ewaluacyjnych – w wybranych przykładach podejście metodologiczne stanowi innowacje w skali europejskiej (np. ewaluacja dot. korzyści płatników netto z realizacji polityki spójności) • Aktywność naukowo- badawcza w dziedzinie ewaluacji i metodologii badań wiodących ośrodków akademickich (UJ, UW) • Duża aktywność w zakresie budowy potencjału ewaluacyjnego (szkolenia, studia podyplomowe, konferencje itp.) • Coraz bardziej sprzyjające uwarunkowania formalno-prawne (UoZPPR, PZP)

17. Zdecentralizowany system ewaluacji PS Instytucje realizujące badania ewaluacyjne wg liczby badań

18. Kierunki rozwoju ewaluacji w Polsce – kontekst prawny • Rozporządzenia UE - zwiększenie roli ewaluacji oraz wymagań formalnych w procesie realizacji polityki spójności w okresie 2014-2020 w tym m.in.: • bardziej szczegółowe uregulowanie kwestii ewaluacji w rozp. UE, • obowiązek realizacji ewaluacji bieżących (w tym: przeprowadzenia przynajmniej jednej ewaluacji w okresie programowania dla każdego priorytetu) • obowiązek planowania procesu ewaluacji w celu ściślejszego powiązania z procesem wdrażania PO, • konieczność stosowania zaawansowanych metod badawczych w celu podniesienia wiarygodności ewaluacji, • konieczność zapewnienia transparentności procesu ewaluacji (publikacja wyników badań + przekazanie każdego badania do KE) • większy nacisk na wykorzystywanie wyników ewaluacji w procesie wdrażania programów operacyjnych (monitorowane przez KE, zwiększona rola KM).

19. Kierunki rozwoju ewaluacji w Polsce – kontekst prawny • Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju wprowadza istotne zmiany w obszarze ewaluacji polityki rozwoju w Polsce w tym w szczególności: • wprowadzenie procedury koordynacji przez MIR procesu ewaluacji polityki rozwoju (art. 4a i 6b) m.in. poprzez przygotowywanie standardów i zaleceń w zakresie ewaluacji • instytucjonalizacja procesu koordynacji ewaluacji polityki rozwoju poprzez wskazanie Krajowej Jednostki Ewaluacji jako podmiotu odpowiedzialnego za ww. zadanie (art. 6b)

20. Kierunki rozwoju ewaluacji w Polsce • Nowy kontekst prawny oraz doświadczenia z realizacji polityki spójności powodują konieczność dostosowania systemu ewaluacji w Polsce • Prace nad rozwojem systemu ewaluacji ukierunkowane sąw szczególności na dwa podstawowe cele: • Dalsze systematyczne podnoszenie jakości procesu ewaluacji (2) Zwiększenie użyteczności i zakresu wykorzystywania wyników badań ewaluacyjnych w procesie wdrażania polityki spójności i polityki rozwoju

21. Wybrane kierunki rozwoju systemu ewaluacji w Polsce – większa koordynacja Wzmocnienie funkcji koordynacyjnych w ramach systemu ewaluacji w Polsce • Plany ewaluacji jako instrument koordynacji procesu ewaluacji: • proces ewaluacji realizowany na podstawie planów ewaluacji umożliwiający badania horyzontalne i tematyczne za pomocą ustandaryzowanej metodologii umożliwiającej agregację wyników i prowadzenie metaanaliz (w tym realizacja badań wg zakresów rekomendowanych przez KJE) • integracja procesu planowania z procesem wdrażania programów operacyjnych (Plany ewaluacji wynikające z logiki interwencji programów)

22. Wybrane kierunki rozwoju systemu ewaluacji w Polsce – większa koordynacja • ściślejszy monitoring procesu ewaluacji, w tym postępów w realizacji Planów ewaluacji oraz sposobów wykorzystywania wyników ewaluacji: • JE zobowiązane będą do bieżącego sprawozdawania z realizacji procesu ewaluacji w ramach poszczególnych programów przedstawiane (w tym sprawozdania rocznego z procesu ewaluacji – sprawozdanie spójne z raportem rocznym) • grupy tematyczne wg zadań oraz obszarów interwencji z udziałem partnerów • standaryzacja zasad prowadzenia ewaluacji w ramach całej polityki rozwoju (zalecenie i standardy określane przez KJE)

23. Kierunki rozwoju systemu ewaluacji w Polsce Integracja systemu ewaluacji • konieczność uwzględnienia zintegrowanego podejścia do polityki rozwoju • potrzeba „uchwycenia” i koordynacji wszystkich działań ewaluacyjnych podejmowanych w systemie • integracja systemu w wymiarze funduszowym (ERDF + ESF) – podejście horyzontalne/tematyczne do procesu ewaluacji

24. Kierunki rozwoju systemu ewaluacji w Polsce Konieczność wzmocnienia roli jednostek ewaluacyjnych w procesie wdrażania programów operacyjnych • wyodrębnienie w ramach każdego z PO jednostek ewaluacyjnych mających w swoim zakresie kompetencji zadania ewaluacyjne • redefinicja roli jednostek ewaluacyjnych w procesie wykorzystania wyników ewaluacji (brokerzy wiedzy) • zwiększenie zasobów kadrowych w wymiarze ilościowym i jakościowym (zwiększanie kompetencji merytorycznych, szkolenia)

25. Kierunki rozwoju systemu ewaluacji w Polsce Standaryzacja wymagań metodologicznych • ukierunkowanie na stosowanie rygorystycznych metod ewaluacyjnych • dopasowanie metod ewaluacyjnych do poszczególnych obszarów interwencji oraz potrzeb informacyjnych (w tym na użytek Planów ewaluacji) • przygotowanie przez KJE wytycznych/zaleceń metodologicznych • przebudowa systemu zbierania danych na potrzeby ewaluacji (w tym w szczególności na potrzeby zaawansowanych metod badawczych)

26. Kierunki rozwoju ewaluacji w Polsce Ukierunkowanie procesu ewaluacyjnego na odbiorców • wypracowanie dobrych praktyk w zakresie identyfikacji potrzeb informacyjnych • lepsze dostosowanie produktów ewaluacyjnych do potrzeb informacyjnych odbiorców w szczególności decydentów (nowe standardy dot. raportów ewaluacyjnych i materiałów „towarzyszących” – prezentacje, syntezy, dokumenty typu policy implications itp.) • zwiększenie użyteczności produktów ewaluacji – wykorzystanie wniosków i rekomendacji (m.in. zmiany w ZSWiR/SWR)

27. Dziękuję za uwagę www.ewaluacja.gov.pl