Do czego służy EWALUACJA ? Jerzy Radziwiłł

1. Do czego służy EWALUACJA ?Jerzy Radziwiłł Wydział Fizyki UW, 21 marca 2011 Projekt „Fizyka wobec wyzwań XXI wieku” współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

2. Spis treści • Definicja • Projekty i programy • Planowanie projektu lub programu • Struktura logiczna projektu lub programu • Do czego służy ewaluacja ? • Do czego nie służy ewaluacja ? • Rodzaje ewaluacji • Kryteria ewaluacyjne • Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku”

3. 1. Definicja • Ewaluacja to systematyczne badanie wartości albo cech konkretnego programu, planu, działania bądź obiektu z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie informacji o nimw odniesieniu do znanych celów, kryteriówi wartości.

4. Definicja – c.d. W odniesieniu do funduszy unijnych: • Ewaluacja - to ocena wartości interwencji z zastosowaniem określonych kryteriów tej oceny podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów,a także analizy wpływu na specyficzne problemy strukturalne. * * Rozporządzenie Rady Unii Europejskiej z dn. 21.06.1999 r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych

5. 2. Projekty i programy • PPOJEKT: przedsięwzięcie, które ma określony cel, początek i koniec • PROGRAM: przedsięwzięcie na większą skalę, które ma określony cel Rozróżnienie między projektem a programem nie jest jednoznaczne (m.in. dlatego, że program też może mieć początek i koniec). Program zwykle składa się z wielu projektów, które mogą być realizowane przez różnych wykonawców.

6. 3. Planowanie projektu lub programu Metoda matrycy logicznej (LFA) • ANALIZA INTERESARIUSZY: identyfikacja potencjalnych głównych interesariuszy; ocena ich możliwości. • ANALIZA PROBLEMU: identyfikacja głównych problemów, ograniczeń i szans; ustalenie związków przyczynowo-skutkowych.

7. Planowanie projektu lub programu - c.d. • ANALIZA CELÓW: budowanie rozwiązań zidentyfikowanych problemów; identyfikacja powiązań między stosowanymi środkamia osiąganymi efektami • ANALIZA STRATEGII: identyfikacja różnych strategii prowadzących do rozwiązania problemu; wybór najlepszej strategii.

8. 4. Struktura logiczna projektu lub programu Metoda matrycy logicznej (LFA): • Zidentyfikowane problemy • Zastosowane środki i nakłady • Działania i ich produkty • Rezultaty • Cele szczegółowe • Cel główny

9. 5. Do czego służy ewaluacja ? EWALUACJA służydo tego żeby było lepiej ! • EWALUACJA to proces, który służy optymalizacji całego projektu lub programu (począwszy od planowania) ze względu na określone kryteria. Składa się z badania, analizy oraz sformułowania wniosków i rekomendacji.

10. 6. Do czego nie służy ewaluacja ? • MONITROWANIE to systematyczne, szczegółowe śledzenie przebiegu i efektów realizacji projektu lub programu pod kątem ich zgodności z przyjętym planem. • KONTROLA to sprawdzenie całości lub wybranych elementów projektu lub programu pod kątem ich zgodności z przyjętymi założeniami i obowiązującymi zasadami.

11. Do czego nie służy ewaluacja - c.d. • AUDYT to systematyczna ocena sposobu realizacji i kondycji projektu lub programu przeprowadzona przede wszystkim na podstawie badania i analizy systemów, procesów, mechanizmów kontrolnych i sprawozdań. • ANALIZA KOSZTÓW I KORZYŚCI to porównaniekosztów wykorzystanych zasobów plus wszelkich innych kosztów jakie wynikają z działalności z wartością uzyskanych korzyści finansowych i pozafinansowych.

12. Do czego nie służy ewaluacja - c.d. • OCENA INWESTYCJI to analiza przyszłej dochodowości nakładów kapitałowych jako pomoc w skutecznym zarządzaniu. • itd. … Ewaluacja jest pojęciem szerszym. Może wykorzystywać wymienione wyżej i inne podobne metody oraz uzyskane na ich podstawie ustalenia, ale służy innym celom.

13. 7. Rodzaje ewaluacji • Ewaluacja POPRZEDZAJĄCA (ex-ante) • Ewaluacja PRZEJŚCIOWA (mid term) • Ewaluacja BIEŻĄCA (on-going) • Ewaluacja KOŃCOWA (ex-post) • Ewaluacja TEAMTYCZNA (thematic)

14. 8. Kryteria ewaluacyjne • Trafność (relevance,adequacy):Czy to w ogóle należało robić ? • Efektywność (efficiency):Czy można było zrobić to samo mniejszym kosztem lub zrobić więcej przy tych samych kosztach? (Stosunek korzyści do kosztów). • Skuteczność (effectiveness):Czy wykonanie zaplanowanych działań doprowadziło do osiągnięcia zamierzonego celu?

15. Kryteria ewaluacyjne – c.d. • Użyteczność (utility):Czy efekty projektu są (do czegokolwiek) przydatne? (Inaczej mówiąc: na co to komu?) • Oddziaływanie (impact):Czy to ma dalsze konsekwencje (pozytywne lub negatywne)? Czy wartość wszystkich efektów jest większa niż wartość samych bezpośrednich produktów? • Trwałość efektów (sustainability):Czy efekty będą miały znaczenie również w przyszłości (po zakończeniu projektu lub programu)?

16. 9. Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” DZIAŁANIA W RAMACH PROJEKTU: • Zarządzanie Projektem • Promocja i rekrutacja • Kurs „Ochrona radiologiczna i radiometria w medycynie” • Otwarcie specjalności „Neuroinformatyka” (NI)i „Fizyka medyczna” (FM) • Otwarcie specjalności „Optyka okularowa” (OO) • Otwarcie specjalności „Biofizyka molekularna” (BM)i „Projektowanie molekularne i bioinformatyka” (PM)

17. Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d. DZIAŁANIA W RAMACH PROJEKTU - c.d.: • Organizacja zajęć w języku angielskim na kierunku Fizyka • Wizyty studyjne • Staże zagraniczne • Ewaluacja • Konferencja podsumowująca

18. Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d. BADANIA NA POTRZEBY EWALUACJI DOTYCZĄCE KIERUNKU „ZASTOSOWANIA FIZYKI W BIOLOGII I MEDYCYNIE” • Badanie CAWI (z użyciem poczty elektronicznej) postaw i motywacji studentów na początku studiów. • Kontakt bieżący (bezpośredni, telefoniczny i pocztą elektroniczną) ze studentami, pracownikami biurai kadrą projektu. • Indywidualne wywiady pogłębione (IDI) z pracownikami biura projektu, asystentami Kierownika Projektu, Kierownikiem Projektu i wykładowcami.

19. Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d. BADANIA NA POTRZEBY EWALUACJI (…) - c.d. • Wywiady grupowe ze studentami kierunku(co semestr). • Analiza wyników ankiet USOS dotyczących satysfakcji z zajęć. • Badanie ankietowe wśród maturzystów(w 2011 i w 2014 roku) • Badanie CAWI (z użyciem poczty elektronicznej) postaw i motywacji studentów na końcu studiów.

20. Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d. Kontakt w sprawach dotyczących ewaluacji: • Jerzy Radziwiłł, Kierownik Badania, tel.: 602-325-505, poczta jerzy.radziwill@millwardbrown.com • Luiza Wiślicz-Iwańczyk, Specjalista ds. Promocji, Informacji i Monitoringu, Hoża 69, p. 22,tel.: (22) 55-32-393, poczta luiza.wislicz@fuw.edu.pl • Adam Babiński, Kierownik Projektu, Hoża 69, p. 322, tel.: (22) 55-32-374, poczta adam.babinski@fuw.edu.pl • Strona www projektu: http://fizykaxxi.fuw.edu.pl oraz http://fizykaxxi.fuw.edu.pl/ewaluacja

21. DZIĘKUJĘ ZA UWAGĘ Studentów kierunku „Zastosowania Fizykiw Biologii i w Medycynie” zapraszam teraz na wywiad grupowy dotyczący wszelkich kwestii związanych ze studiami na tym kierunku.