Eesti Kutseõppeasutuste Kvaliteediauhind 2010: ASSESSORITE KOOLITUS 12 . august 2010

1. Eesti Kutseõppeasutuste Kvaliteediauhind 2010:ASSESSORITE KOOLITUS 12. august 2010 Jari Kukkonen, Vita Longa

2. Eesti Kutseõppeasutuste Kvaliteediauhind 2010 Kvaliteediauhinna konkursi eesmärgid: • parendada koolide juhtimissüsteeme ja tõsta seeläbi koolide töö tulemuslikkust; • tunnustada silmapaistvaid koole; • jagada kogemusi kutseharidusasutustes hästi töötavatest süsteemidest; • tõsta kutseõppeasutuste mainet.

3. Assessorite koolituse ülesehitus I päev 12.08. • Kursuse ülevaade ja eesmärgid • Hindamisprotsessi mõistmine • Assessori roll, hea hindamistava • Täiuslikkuse põhimõtted, mudeli üldloogika, RADARi üldloogika • Tulemuste ja võimaldajate hindamine • Tõendite kogumine, konsensus ja organisatsioonikülastuse sissejuhatus II päev 18.08. • Hindamismeeskonna kompetentsid • Hinnatava organisatsiooni mõistmine • Tagasisideraport • Võtmeteemad • Konsensuse saavutamine • Organisatsioonikülastuse ettevalmistamine • TÖÖ TAOTLUSDOKUMENTIDEGA III päev 19.08 • TÖÖ TAOTLUSDOKUMENTIDEGA JÄTKUB • Külastuse küsimuste sõnastamine • Kohtumine osalevate koolide esindajatega

4. S aame tuttavaks

5. Kvaliteediauhindade ajalugu • 1951 - Deming Prize (DP), Jaapan; www.juse.or.jp • 1987 - Malcolm Baldrige National Quality Award (MBNQA), USAwww.quality.nist.gov • 1991 - European Quality Award (EQA), alates 2006 EFQM Excellence Award (EEA) www.efqm.org • rahvuslikud kvaliteediauhinnad • 2000/2001 - Eesti kvaliteediauhinna pilootprojekt • 2002, 2003 – Eesti kvaliteediauhind • 2002 alates – Tallinna haridusasutuste kvaliteediauhind • 2003 – Eesti kutseõppeasutuste kvaliteediauhind • 2003 – Eesti avaliku sektori kvaliteediauhinna pilootprojekt “Arenev riigiasutus” • 2004-20010 – Eesti Juhtimiskvaliteedi auhind • 2004 alates – Eesti Turismiettevõtete kvaliteediprogramm • 2009 alates – Kõrgkoolide sisemise kvaliteedikindlustamise programm

6. EKKA protsess Enesehindamine (taotlusdokument auhinnakonkursile) Välishindamine Tagasisideraportidtaotlejatele Osalejate tunnustamine, auhinna väljaandmine

7. Protsess assessorivaatevinklist 3 Külastuse plaani koostamine Ettevalmistusfaas 1. Meeskonna loomine • i 2. Taotleja mõistma õppimine 4. Kohtumine taotleja esindajaga 5. Külastuse ettevalmistamine Planeerimine 6. Kohtumine juhtkonna esindajatega 7. Külastuse läbiviimine (tõendite leidmine) Organisatsiooni külastus 9.Tagasisideraporti kohta kommentaaride andmine organisatsiooni esindajatele 8. Tagasisideraporti koostamise lõpetamine

8. Hinnatava kooli ootused ja vajadused • Hindamisprotsess, mis on õiglane, aus, järjepidev • Tasakaalus ja lisaväärtusega tagasiside, mis aitab organisatsioonil areneda • Professionaalsed, kogenud assessormeeskonnad • Asjakohane konfidentsiaalsus • Sujuv ja professionaalselt läbiviidud organisatsioonikülastus • Tõenditele põhinev hindamine

9. Assessori töö ja vastutus • Saada ülevaade organisatsiooni toimimisest tervikuna, sõnastada võtmefaktorid, küsimused organisatsioonikülastuse läbiviimiseks ja tugevused/parendusvaldkonnad • Aidata kaasa kooli esindajaga kohtumise ja organisatsioonikülastuse ettevalmistamisele ning läbiviimisele • Osaleda ja aidata kaasa konsensuse saavutamisele • Osaleda ja aidata kaasa tagasisideraporti koostamisele • Pidada kinni kõikidest meeskonnaga kokkulepitud ajakavadest • Nautida õppimiskogemust

10. Välishindamise hea tava • Kompetentne assessor • Põhimõtted • Olulised hindamise juhtimise aspektid erinevates protsessi etappides

11. Välishindamise hea tava1. Assessori kompetentsid • Järgib välishindamise hea tava • Mõistab Kutseõppeasutuste Kvaliteediauhinna mudeli rakendamist ja selle sisemisi seoseid • Valdab RADAR hindamisraamistiku kasutamist • Mõistab erinevaid organisatsioone/ funktsioone & omab ülevaadet organisatsiooni toimimisest tervikuna • Annab tipptasemel meeskonna liikmena positiivse ja efektiivse panuse, omades head suhtlemisoskust kõnes ja kirjas • Kogub, ühtlustab ja analüüsib dokumentaalseid ning arutelude käigus saadud tõendeid ja kasutab neid põhjendatud hinnangute andmiseks

12. Välishindamise hea tava2. Põhimõtted • Professionaalne sõltumatus • Isiklike huvide ja hindamise lahus hoidmine • Konfidentsiaalsuse hoidmine • Faktidele tuginemine • Faktid • Konsensuslik nägemus / hinnang • Tähelepanekute tõendamine • Kontekst ja seostatus • Terviklikkus • Visioon, missioon, eesmärgid • Konkurentsieelis ja selle kommunikeerimine • Väljakutsed • Kriitilised edukuse tegurid

13. Välishindamise hea tava3. Olulised juhtimise aspektid • Ettevalmistus • Mudeli ja protsessi tundma õppimine • Eelinfo kogumine ja faktide kontrollimine • Kontekst ja seotus ning oma hüpoteeside ning küsimuste ette valmistamine • Konsensuslik nägemus / hinnang • Läbi viimine • Kontekst ja seostatus • Usalduse saavutamine ja hoidmine • Järelduste kontrollimine • Meeskonna töö ja kommunikatsioon • Tagasiside • Kontekst ja seostatus • Võtmeteemad • Selge ja kontrollitud faktidele tuginev • Taktitundeline ja julgustav • Oma tegevuse hindamine ja parendamine • Enda tegevuse hindamine • Tagasiside andmine ja saamine • Parendusplaani tegemine

14. EFQM Education Vision(European Foundation for Quality Management) “Organisatsioonilise täiuslikkuse filosoofia, meetodid ja tööriistad on juhtimise, õppekavade ja kultuuri võtmeelementideks Euroopa kõikide tasemete haridus- ja koolitusasutustes.” “The philosophy, methods, tools and techniques of Business & Organisational Excellence are key elements of the management, curricula and culture at all levels of Education & Training in Europe”

15. Organisatsiooniline täiuslikkus (excellence) Üldine töötamise viis, mille tulemuseks on • huvipoolte • kliendid, • töötajad, • partnerid, • ühiskond, • omanikud • tasakaalustatud rahulolu, • suurendades organisatsiooni pikaajalise edukuse tõenäosust.

16. Organisatsioonilise täiuslikkuse põhimõtted Eestvedamine ja eesmärgi ühtsus Töötajate arendamine ja kaasamine Sotsiaalne vastutus Tulemustele orienteeritus Protsessidele ja faktidele tuginev juhtimine Pidev õppimine, innovatsioon & parendamine Partnerluse arendamine Kliendikesksus (õpilasekesksus)

17. Eesti kutseõppeasutuste kvaliteediauhinna kriteeriumid

18. Rakendatus (Do) Kuidas kokkulepitu on ellu viidud? Lähenemisviis (Plan) Kokkulepitud lähenemised ja tegevused Tulemused (Check) Milline on toimimise tase? Ülevaatus(Act) Kuidas lähenemisviiside ja rakendatuse tulemusi üle vaada- takse ja parendatakse? Deming’i tsükkel: Plan-Do-Check-Act

19. Mida annab kvaliteediauhinna mudel? • terviklik ja süsteemne lähenemine organisatsiooni juhtimisele • hea alus enesehindamiseks • hea alus võrdlusanalüüsiks • esindab ühtset, maailmas aktsepteeritud arusaama ‘täiuslikust’ organisatsioonist • kaalutud kriteeriumide süsteem • kvantitatiivselt mõõdetav ja võrreldav • ei välista teisi lähenemisi, pigem integreerib • paindlik ja adapteeritav • parendamisele ja õppimisele orienteeritud

20. Kriteeriumide struktuur: tulemused 6 Klientidega seonduvad tulemused 6a (75%) Arvamused 6b (25%) Toimenäitajad 7a (75%) Arvamused 7b (25%) Toimenäitajad 7 Töötajatega seonduvad tulemused 8 Arvamused ja toimenäitajad 8 Ühiskonnaga seonduvad tulemused 9 Toimivuse võtmetulemused 9a (50%) Peamised majandus-tulemused 9b (50%) Toimivuse võtmenäitajad

21. 6. Klientidega seonduvad tulemused • Milliseid tulemusi on organisatsioon • saavutanud seoses oma (väliste) • klientidega. • Tulemuste ja näitajate trendid ning • võrdlused eesmärkide ja • teiste organisatsioonidega on • olulised hindamispõhimõtted.

22. 6a Klientide arvamused • Klientide arvamused võivad olla seotud: • - õpilastelt ja tööandjatelt kogutud tagasiside tulemustega • - õpilaste rahuloluga õppekorralduse, õppimis-, praktika- ja • olmetingimuste osas • - õpilaste rahuloluga õppekava ja spetsialiseerumis- • võimaluste osas • - õpilaste rahuloluga õpetajate ja töötajatega suhtlemise ja • tunnustamise osas • - tööandjate rahuloluga praktilise väljaõppe (sh praktika) osas • - tööandjate rahuloluga õppekavade ja kutseõppeasutuse • lõpetajate osas • - tööandjate rahuloluga kutseõppeasutuse töö tulemuste • osas • - kutseõppeasutuse mainega õpilaste ja tööandjate seas • - . . .

23. 6b Toimenäitajad • Toimenäitajad võivad olla seotud: • õpilaste arvu dünaamikaga • riigitellimuse (õpilaste vastuvõtu plaanide) ja konkursiga kutseõppeasutusse astumisel • õpilaste väljalangevusega • õpilaste ja tööandjate kaebustega ja nende käsitlemise tulemustega • õpilasomavalitsuse tegutsemise tulemustega • erinevate (tööandjate poolsete) tunnustustega • üldise imagoga, ajakirjanduses kajastatusega

24. 7 Töötajatega seonduvad tulemused Milliseid tulemusi on organisatsioon saavutanud seoses oma töötajate rahuloluga. Tulemuste ja näitajate trendid ning võrdlused eesmärkide ja teiste organisatsioonidega on olulised hindamispõhimõtted.

25. 7a Töötajate arvamused • Töötajate arvamused võivad olla seotud: • töötajate rahuloluga isikliku arengu võimaluste ja töömotivatsiooni osas • töötajate teadlikkusega kutseõppeasutuses toimuvast ja • kutseõppeasutuse positsioonist haridusmaastikul • töötajate rahuloluga töötingimuste ja -tasustamise osas • töötajate rahuloluga kasutatavate motivatsiooni- ja • tunnustussüsteemidega ning karjääri- ja koolitusvõimalustega • töötajate rahuloluga juhtkonnaga suhtlemise võimaluste ning üldise teabeleviku osas kutseõppeasutuses • töötajate rahuloluga kutseõppeasutuse väärtuste, poliitika, • eesmärkide ja strateegiate ja kaasahaaramise osas nende kujundamisse • töötajate rahuloluga neile võrdsete võimaluste tagamise osas • töötajate rahuloluga administratiivpersonali töö täpsuse suhtes • töötajate rahuloluga kutseõppeasutuse maine ja ühiskondliku rolli osas • . . .

26. 7b Toimenäitajad Toimenäitajad võivad olla seotud: • töötajate osalemise määraga kutseõppeasutuse juhtimisel ja otsustusprotsessides • õpetajate ja töötajate poolt avaldatud publikatsioonide, osalemise ja esinemisega konverentsidel/seminaridel/ koolitustel/konkurssidel • kutseõppeasutuse konkurentsivõimelisusega tööturult heade spetsialistide leidmisel • kutseõppeasutuse vajaduste täitmise tulemustega tööjõu värbamise osas • tööjõu voolavuse, tööõnnetuste, töölt puudumiste (sh haiguspäevad), töövaidluste ja kaebustega • tööalaste arusaamatuste arvu ja kommunikatsiooni efektiivsusega • töötajate ettepanekute arvuga • koolituste tulemuslikkusega • õpetajate omavahelise koostöö, sh meeskonnatöö kasutamise määraga õppetöös • koolitus- ja arenguplaanide täitmise tulemustega • . . .

27. 8 Ühiskonnaga seonduvad tulemused • Milliseid asjakohaseid tulemusi on organisatsioon saavutanud seoses panusega ühiskonna arengusse. • Tulemuste ja näitajate trendid ning võrdlused eesmärkide ja teiste organisatsioonidega on olulised hindamispõhimõtted.

28. 8 Ühiskonnaga seonduvad tulemused Ühiskonda puudutavad tulemused võivad olla seotud: • kutseõppealaste vajaduste täitmisega piirkonnas • kutseõppeasutuse oma tegutsemispiirkonnaga seotuse määraga • kutseõppeasutuse mõjuga oma tegevuspiirkonnas ja avatusega • kutseõppeasutuse juhtide ja töötajate piirkonna avalikus elus osalemise tulemustega • kajastatusega massimeedias ja mainega ühiskonnas • säästliku majandamise, jäätmekäitluse ja muu keskkonnahoiuga seonduva tulemustega • õppimis- ja töötingimuste vastavusega töötervishoiu ja -ohutuse nõuetele • õppijate õppetöövälise tegevuse tulemustega piirkonnas • võimaluste pakkumisega sportimiseks ja vaba aja veetmiseks piirkonnas • suhetega riiklike ja kohalike võimuorganitega • kutseõppeasutuse poolt saadud auhindade ja tunnustustega • . . .

29. 9 Toimivuse võtmetulemused Milliseid tulemusi onorganisatsioon oma toimimisega saavutanud võrreldesplaneerituga. Tulemuste ja näitajate trendid ning võrdlused eesmärkide ja teiste organisatsioonidega on olulised hindamispõhimõtted.

30. 9a Peamised majandustulemused Tulemused võivad olla seotud: • eelarve täitmisega, võrreldes kutseõppeasutuse strateegiliste eesmärkidega, sealhulgas omateenitud vahendite osas väljatöötatud finantsstrateegiate rakendamise tulemustega kutseõppeasutuse eesmärkide suhtes • investeeringute tõhususega õppe- ja töötingimuste parendamisse • kutseõppeasutuse finantseerimise tasemega (sh omafinantseerimise osas) • finantsriskide maandamise tulemuslikkusega • õppeasutuse majandusliku seisuga • . . .

31. 9b Toimivuse võtmenäitajad • Võtmenäitajad võivad olla seotud: • õppetulemuste ja õppetööst osavõtu tasemega • õpilaste toimetulekuga õppekavade osas • kutseõppeasutuse lõpetajate tööhõivega • õpilaste tulemustega konkurssidel ja kutsevõistlustel • õppetöö tulemuste parendamiseks ettevõetud tegevuste tulemustega • õpilaste väljalangevuse vähendamiseks ettevõetud tegevuste tulemustega • enesehindamise tulemustega • välishindamise, sh õppeasutuse inspekteerimiste ja kontrollimiste, auhinnakonkurssidel osalemise tulemustega • õpilaste kutseõppeasutuse juhtimisse (sh parendustegevustesse) kaasamise tulemustega • …

32. Tulemuste kvaliteedi hindamine

33. RADARi ülevaade • RADARi loogika näitab, et organisatsioon peab: • kindlaks määrama tulemused (Results), mida soovib oma poliitika ja strateegia osana saavutada • planeerima ja välja töötama integreeritud kogumi põhjendatud lähenemisviise (Approaches)vajalike tulemuste saavutamiseks nii praegu kui tulevikus • neid lähenemisviise süstemaatiliselt rakendama (Deploy)nende täieliku elluviimise kindlustamiseks • neid lähenemisviise hindama (Assess)ja üle vaatama (Review), tuginedes saavutatud tulemuste seirele ja analüüsile ning pidevale õppimisele. Samuti määratlema, valima prioriteetseimad, planeerima ja viima ellu vajalikud parandustegevused.

34. RADAR – elemendid ja atribuudid Trendid • i Tulemus Eesmärgid Võrdlused TULEMUS Põhjuslikkus Asjakohasus Fookus Segmenteeritus

35. Tulemused: tulemuste täiuslikkus • Tulemused hõlmavad seda, mida organisatsioon saavutab. • Skooris arvestatakse järgmisi omadusi: • Trendid – tulemused näitavad positiivseid trende ja/või jätkusuutlikku head toimivust • Eesmärgid – püstitatud eesmärgid saavutatakse või isegi ületatakse • Võrdlused – toimivust võrreldakse teiste organisatsioonidega, eriti parimatega omas tegevusharus ja/või maailmaklassi kuuluvate organisatsioonidega, kusjuures võrdlused on organisatsioonile positiivsed • Põhjuslikkus – põhjuse ja tagajärje seos kasutatud lähenemisviiside ja saavutatud tulemuste vahel on selge.

36. Kriteeriumide ja allkriteeriumide vahelised seosed (põhjuslikkus) 6a protsessi kaudne tulemus (tajunäitajad) 7a protsessi kaudne tulemus (tajunäitajad) 3b protsess (lähenemisviisid) 7b protsessi väljund (toimenäitajad) Kompetentside katmata alade väljaselgitamine Töötajate arendamine Kompetentside grupeerimine ja ülevaatamine Hindamine ja abistamine Koolituse efektiivsus Koolituspäevade arv Kompetentside/ oskuste katmata alad Töötajate tulemuslikkus Meeskonnatöö edukuse määr • Töötajate rahulolu koolituse/arenduse: • võimalustega • efektiivsusega • Töötajate rahulolu • meeskonnatööga • töö iseloomuga • karjäärivõimalustega • eesmärkide püstitamisega • Klientide rahulolu: • töötajate suutlikkuse ja käitumisega • nõustamise jatoetusega • kaebuste käsitlemisega • jms Samuti teised kriteeriumid (6b, 8, 9)

37. Mudeli dünaamika Võimaldajad Tulemused 1. 2. • i Ajaline viivitus Juhtnäitajad Viivitusnäitajad 6a 6b 7a 7b 8a 8b 9a 9b

38. Radari hindamismaatriks: tulemused • j

39. Tulemuste hindamine – trendid • Trendid või saavutatud ja säilitatud hea tase • üle 50% maksimumskoorist saab anda vaid 3 aasta positiivsete trendide puhul paljudes tulemustes; • üle 25% maksimumskoorist saab anda 3 aasta positiivsete trendide puhul mõningates tulemustes; • negatiivsed trendid peavad olema põhjendatud ja näidatud, et põhjustest on aru saadud ja on võetud ette tegevusi põhjuste kõrvaldamiseks

40. Tulemuste hindamine – võrdlused • Võrdlused oma eesmärkidega • tulemused, mida organisatsioon mõõdab, peavad olema planeeritud • eesmärgid peavad olema põhjendatud ja saavutatud • Võrdlused teiste organisatsioonidega • võrdlused konkurentide või oma ala parimatega, sektori keskmistega • kui ei ole võimalik saada konkurentide andmeid, võib võrrelda ka teiste tegevusvaldkondade organisatsioonidega

41. Tulemuste hindamine –põhjuslikkus • Tulemuste põhjustatus lähenemisviisist • heade tulemuste põhjuseks võivad olla välised asjaolud või hea õnn; seepärast peab olema näidatud, kuidas tulemused on saavutatud • esitatud tulemusi peab saama seostada poliitika ja strateegiaga ning valitud lähenemisviisidega

42. Tulemused: Ulatus • Ulatushõlmab seda, mida organisatsioon mõõdab. • Skooris arvestatakse seda, kas tulemused: • katavad organisatsiooni kõiki olulisi valdkondi • tulemused on asjakohaselt segmenteeritud • Tulemusi võib segmenteerida klientide või osakondade lõikes, kui see aitab kaasa nende mõistmisele ja parendusvõimaluste leidmisele.

43. Tulemuste ulatus Asjakohasus • lõpphinnangu andmisel arvestatakse kuivõrd esitatud tulemused katavad organisatsiooni kõiki asjakohaseid valdkondi • kui ulatuslikult on tulemusi esitatud hinnatava allkriteeriumi seisukohalt • kuivõrd on selge esitatud tulemuste olulisus • esitatud tulemuste sisu peab vastama võimaldajates viidatud lähenemisviisidele, sh langetatud strateegilistele valikutele Segmenteeritus • Kas esitatud tulemused on asjakohaselt segmenteeritud (kliendigruppide, üksuste vms lõikes)

44. Tulemuste hindamine Ulatus Tulemuste täiuslikkus • i 0% 25% 50% 75% 100% 0% 25% 50% 75% 100%

45. Tulemuste tugevuste kindlaksmääramine Otsige: • positiivseid trende • eesmärkide saavutamist • võrdlusi teiste (sisemiste ja/või väliste) organisatsioonidega • tulemuste põhjustatust lähenemisviisist • mõõdikute ulatust, mis katab olulisi valdkondi

46. Tulemuste parendusvaldkondade kindlaksmääramine Juhul, kui leiate: • negatiivseid trende (arvestades ka konteksti) • püsivalt madala tulemuslikkuse taseme • asjakohaste eesmärkide puudumise • asjakohaste võrdluste puudumise • et puudub selge seos tulemuste põhjustega • et oluliste võimaldajate osas ei ole esitatud asjakohaseid tulemusi • et esitatud tulemustel puudub selge seos strateegia ja poliitikaga • selge seose puudumist võtmenäitajate ja võtmetulemuste või tajuga seonduvate näitajate ja toimenäitajate vahel • ... siis tuleb sõnastada asjakohased parendusvaldkonnad.

47. Täiuslikkusmudeli kolm dimensiooni • Põhiprintsiibid = vundament • 8 põhiprintsiipi • Sisu= struktuur • 9 ‘kasti’ on ainultüks dimensioon • Võrdlusalus = mõõtesüsteem • RADAR -vaid 2 lehekülge, agavõimaldab võrreldavust teiste organisatsioonidega

48. ÜLEVAADE JA TULEMUSED 15 lehekülge Esimene infokogum, mille alusel saab assessorite meeskond hakata teie organisatsiooni tundma õppima Sisaldab võtmefaktorid ja andmed tulemuste kriteeriumite kohta (6.- 9.) VÕIMALDAJATE KAART 10 lehekülge Tulemuste saavutamist toetavate lähenemisviiside esitamine – võimaldajate kriteeriumid (1.- 5.) Võimaldajate ja tulemuste vahelised põhjus-tagajärg seosed Taotlusdokumendi struktuur

49. Praktiline töö: • Tutvuge allkriteeriumi kirjeldusega õppejuhtumist. Grupp 1 võtab hindamiseks 6a allkriteeriumiGrupp 2 võtab hindamiseks 7a allkriteeriumiGrupp 3 võtab hindamiseks 6b allkriteeriumiGrupp 4 võtab hindamiseks 7b allkriteeriumi • 2. Koostöös oma meeskonna liikmetega otsige oma allkriteeriumi osas seoseid RADARi maatriksis esitatud omadustega: • 2.1. Loetlege eristatavad tulemused • 2.2. Tooge välja, milliseid RADARi maatriksi omadusi saab nende tulemuste põhjal hinnata • Tooge välja, mida protsessi käigus õppisite ja kas mingis valdkonnas on vaja täiendavaid selgitusi

50. Praktiline töö: • Tutvuge allkriteeriumi kirjeldusega õppejuhtumist. Grupp 1 võtab hindamiseks 8 allkriteeriumiGrupp 2 võtab hindamiseks 9a allkriteeriumiGrupp 3 võtab hindamiseks 8 allkriteeriumiGrupp 4 võtab hindamiseks 9b allkriteeriumi 2. Koostöös oma meeskonna liikmetega sõnastage oma allkriteeriumi osas RADARi maatriksi omaduste põhjal: • 2.1. Esitatud tulemustega seonduvad tugevused • 2.2. Esitatud tulemustega seonduvad parendusvaldkonnad • 2.3. Andke eelneva põhjal skoor RADARi maatriksi alusel (nii hindamisparameetrite kaupa eraldi kui ka koondina) • Tooge välja, mida protsessi käigus õppisite ja kas mingis valdkonnas on vaja täiendavaid selgitusi