1 / 51

Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół

Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół. Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski email: mjakubowski@uw.edu.pl wrzesień 2008. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/.

norman
Download Presentation

Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski email: mjakubowski@uw.edu.pl wrzesień 2008 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  2. Program prezentacji • Jak możemy liczyć EWD? • Precyzja i zmienność jednorocznych wskaźników EWD • EWD gimnazjum szacowane dla 3 roczników • Ewaluacja nauczania metodą EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  3. I. METODY EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  4. Metody szacowania EWD dla gimnazjum Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • EWD jako różnica między średnimi wynikami uczniów na egzaminach (lub staninami wyników) • EWD jako średnia reszt z równania regresji na danych indywidualnych uczniów • EWD jako efekt stały w regresji • EWD jako efekt losowy w regresji • EWD jako efekt losowy z losowym nachyleniem wyników sprawdzianu • EWD z wielokrotnym pomiarem umiejętności uczniów

  5. EWD jako różnica średnich Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Obliczamy średni wynik uczniów danego gimnazjum ze sprawdzianu • Obliczamy średni wynik uczniów na egzaminie gimnazjalnym • Przewidujemy za pomocą regresji na poziomie średnich dla szkół wynik egzaminu gimnazjalnego • EWD j-tego gimnazjum to różnica między rzeczywistym i przewidywanym średnim wynikiem Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  6. EWD jako różnica średnich c.d. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • metoda ta operuje średnimi na poziomie szkół, a nie danymi indywidualnymi, • ale i tak musimy sięgnąć do danych indywidualnych • metoda ta niepotrzebnie traci dostępne informacje • nie pozwala ocenić precyzji EWD • jeśli korzystamy ze stanin a nie wyników punktowych to precyzja i rzetelność jest bardzo niska Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  7. EWD jako średnia reszt Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • szacujemy równanie regresji dla całej Polski, gdzie x to wynik ucznia na sprawdzianie, y to wynik na egzaminie gimnazjalnym, D to wektor cech indywidualnych (płeć i dysleksja), ε to błąd losowy • EWD to średnia różnic między wynikiem uzyskanym a przewidywanym dla każdego ucznia Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  8. EWD jako średnia reszt Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

  9. EWD jako średnia reszt Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • to jest metoda przyjęta dla EWD jednorocznikowego • pozwala oszacować przedziały ufności EWD, a więc daje podstawę do statystycznie uprawnionych porównań między szkołami • metoda ta otwiera też drogę do analiz wewnątrzszkolnych lub dla dowolnych grup uczniów • EWD można dowolnie liczyć mając jedynie tabele predykcji wyników egzaminu gimnazjalnego Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  10. EWD jako efekt stały lub losowy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • szacujemy podobne równanie regresji dla całej Polski, jednak w równaniu uwzględniono efekt uj dla każdego gimnazjum • Efekt uj można interpretować jako przesunięcie w pionie krzywej regresji dla całej szkoły • Oszacowany efekt to EWD gimnazjum • W metodzie z efektami losowymi zakładamy, że efekty mają rozkład zbliżony do normalnego • mało wiarygodne oceny EWD są przy tym „ściągane” do przeciętnej, czyli do zera

  11. EWD jako efekt stały Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

  12. EWD jako efekt stały lub losowy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • są to poprawne metody liczenia EWD ze statystycznego punktu widzenia • jednak mniej przejrzyste • stąd jednoroczne EWD będzie dalej liczone metodą średnich z reszt regresji, ale już 3 rocznikowe metodą efektów stałych lub losowych • metoda efektów losowych dominuje obecnie na świecie • przy wielu próbach daje oceny EWD najbliższe prawdziwym Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  13. EWD z losowym nachyleniem wyników sprawdzianu Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • w tej metodzie szkole przypisywany jest nie tylko efekt losowy przesuwający całą krzywą regresji w zależności od EWD szkoły, ale i nachylenie wyników sprawdzianu może być w każdej szkole inne • w ten sposób nachylenie wyników sprawdzianu może się w każdej szkole różnić, przy czym przy jego ocenie korzystamy z wiedzy o całej populacji • pozwala to oszacować EWD szkoły osobno dla uczniów słabszych i dla uczniów z lepszymi wynikami ze sprawdzianu

  14. Na ile EWD oszacowane różnymi modelami się różni? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

  15. Podsumowanie: modele EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • wybór modelu ma niewielkie praktyczne konsekwencje • oprócz EWD z losowym nachyleniem Co poza wyborem modelu EWD? • oszacowanie modeli dla każdego roku • kwestia błędu pomiaru • kwestia zrównania wyników egzaminów • niepotrzebne w przypadku modeli dla jednego roku • wskazane w przypadku modeli dla danych z kilku lat • kwestia efektu egzaminatora • rozwiązana przez wyłączenie „podejrzanych” pytań Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  16. II. PRECYZJA i zmienność Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  17. Precyzja i zmienność Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Modele EWD powinny jak najdokładniej wskazywać „prawdziwą”, ukrytą wartość odpowiadającą temu co chcemy zmierzyć jako EWD • Model EWD jest tym lepszy, im bliższy jest precyzyjnego określenia przyrostu wiedzy uczniów w każdym z gimnazjów • Precyzję można oceniać ze względu na kilka kryteriów • Jedne z nich dotyczą dokładności oceny EWD w danym roku • Inne dotyczą stabilności EWD między latami • Waga kryterium zależy od kontekstu użycia EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  18. Statystyki dla punktowego EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

  19. Statystyki dla szerokości przedziałów ufności Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

  20. Korelacja między EWD dla różnych lat oszacowanych tą samą metodą Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  21. Procent gimnazjów z pozytywnym lub negatywnym EWD w obydwu latach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  22. III. EWD dla 3 roczników Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  23. EWD dla 3 roczników Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • EWD dla jednego roku (jednego rocznika, czy raczej kohorty uczniów) jest dobrym narzędziem do analizy efektów nauczania z tą grupą uczniów • Precyzja i stabilność takich wskaźników pozostawiają jednak wiele do życzenia • Jeśli chcemy ocenić pracę szkoły w jak najbardziej precyzyjny i stabilny sposób, to powinniśmy podsumować informację z kilku lat, dając jeden wskaźnik EWD na cały okres • wskaźnik szacowany dla kilku roczników będzie siłą rzeczy bardziej precyzyjny i stabilny, bo wykorzystuje niemal 3 razy większą liczbę obserwacji

  24. Dlaczego 3 roczniki? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • 3 lata wydają się dobrym okresem dla dokonania podsumowania działalności szkoły • dla 3 roczników skład nauczycielski i organizacja pracy nie zmieniają się tak bardzo • kraje z większym doświadczeniem przyjmują taki okres jako podstawę oceny szkół (np. Holandia) • docelowo wskaźnik taki będzie szacowany co roku, dla ostatnich 3 roczników • określony będzie też trend efektywności nauczania szkoły • dopiero ocena trendu pozwoli określić kierunek rozwoju szkoły… ale to dopiero za kilka lat Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  25. Ile gimnazjów posiada dane z 3 lat? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

  26. Precyzja modeli jednorocznych a precyzja EWD dla 3 roczników Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

  27. IV. EWD jako narzędzie Ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  28. Ewaluacja czego? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Na poziomie kraju lub regionu: • polityki edukacyjnej • polityki samorządów • programów nauczania Na poziomie szkoły lub gminy: • postępów grup uczniów • pracy szkół • pracy nauczycieli • lokalnej programów edukacyjnych • metod nauczania

  29. W jaki sposób? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Na poziomie kraju lub regionu, gdzie dostępna jest duża liczba obserwacji, można wykorzystać model regresji EWD z uwzględnieniem interesujących nas zmiennych • Na poziomie gminy czy jednej lub kilku gimnazjów można wykorzystać oszacowania modeli EWD dla kraju i porównywać średnie „reszty” między grupami • Jeśli mamy wyniki kilkuset uczniów to także możemy stosować modele regresji EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  30. Analiza dla szkół lub gminy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Analiza „reszt” uczniów • porównanie między szkołami • porównanie między klasami • testy na różnice średnich • testy na różnice w zróżnicowaniu postępów uczniów • wyjaśnianie poszczególnych przypadków - praca z nauczycielami • Przykłady autorstwa dr Ewy Stożek (www.ewd.edu.pl)

  31. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Problem: wynik niżej średni  wdrażamy program naprawczy Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  32. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD GH = 1,21 uczniowie o obniżonych wymaganiach edukacyjnych

  33. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Dlaczego klasa B uzyskała nieznacznie lepsze wyniki?

  34. Przykład II.3 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/ Klasa B zdecydowanie lepiej poradziła sobie z rozprawką oraz z interpretowaniem poezji. Jaki wpływ na to miały metody pracy nauczyciela?

  35. stanin wyżej średni stanin wyżej średni

  36. Duże zróżnicowanie wyników na wejściu w szkole. „Problem”: różna efektywność pracy z uczniami o różnym potencjale

  37. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

  38. zróżnicowanie EWD w klasach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

  39. Ewaluacja na poziomie kraju Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Zastosowanie modeli EWD do danych z całej populacji uczniów • Pierwszy problem: czy efektywność szkół zależy od wydatków w przeliczeniu na ucznia? • Drugi problem: czy wielkość klas wpływa na przyrost wiedzy uczniów?

  40. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  41. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

  42. Podsumowanie • Wybór modelu EWD ma niewielkie praktyczne znaczenie • pozostają jednak kwestie wpływu błędu pomiaru, zrównywania wyników itp. • EWD trzeba liczyć z danych indywidualnych i podawać jako przedział ufności • EWD 3 rocznikowe jest dużo precyzyjniejsze i będzie stanowić podstawę oceny pracy szkoły • Czy model EWD powinien w większym stopniu uwzględniać środowisko nauczania? Badania trwają…

  43. Podsumowanie • EWD może być wykorzystywane jako narzędzie ewaluacji • Ewaluacja metodami EWD może być prowadzona dla jednej lub kilku szkół. Jest wtedy mniej precyzyjna, ale można (trzeba) ją połączyć ze znajomością lokalnego kontekstu • EWD powinno służyć do ewaluacji polityki oświatowej • to potężne narzędzie, opierające się na obiektywnym pomiarze umiejętności uczniów i olbrzymiej liczbie danych • jego stosowanie wymaga jednak znajomości metod statystycznych i świadomości ich ograniczeń

More Related