Kompetencevurdering metoder

1. Kompetencevurdering metoder

2. Hvornår lærer vi af vejledning ? Vejledning - Læring Undervisning Undervisning

3. Vejledning - Læring Afhænger af udgangspunktet Modificeres efter klinisk erfaring Træningens mål ændres konstant Vygotski’s nærmeste udviklingszone: KAN LÆRER KAN IKKE

5. Hvorfor kompetencevurdering ? LÆRINGSSPIRAL NY læringsaktivitet planlægges Forberede Refleksion og analyse Ud- føre Feedback Læringsaktivitet Vurdering af resultat

6. Kompetencevurdering- metodernes kvalitet Valid: Måler den valgte test lige det, man faktisk ønsker at måle? Reproducerbar: Vurderingen er stabil ved gentagelse (inter-, intravariabilitet) Gennemførbar: Acceptabel mht tid, ressourcer inkl. økonomi

7. Kompetencevurdering - kontekst Del af lærings proces (formativ vurdering) Refleksion Check på indlæring efter træningssituation Check på læringsmetode efter træningssituation Del af produkt kontrol (summativ vurdering) Er kompetencemålet nået? Kan man stå inde for at kompetencen besiddes? Undervisningsmonitorering Er målet det rigtige, det ønskede? Er læringsmetoden god?

8. Vurderingsmetoder Struktureret Klinisk Bedømmelse (SKB) Struktureret observation: direkte at se hvordan en uddannelsessøgende læge udfører en færdighed og udfra i forvejen opstillede kriterier vurdere dennes færdighedsniveau. Struktureret interview:samtale mellem den uddannelsessøgende og vejlederen der afhandler i forvejen definerede områder, men som ikke har præg af overhøring. 360 graders feedback Vurdering der bliver udført af flere sundhedsfaglige medarbejdere, og mod i forvejen opstillede kriterier.

9. Vurderings metoder OSKE (Objektiv Struktureret Klinisk Examination) Audit struktureret bedømmelse af kvaliteten af journaler mod i forvejen opstillede kriterier. Video MCQ (Mutiple choice Questionnaire) Essay Kursusgodkendelse

10. Vurderings metoder Vejledersamtale Gennemgang af læringsdagbog/logbog/portefølge en samtale mellem den uddannelsessøgende læge og vejlederen med udgangspunkt i læringsdagbogen med henblik på at fastlægge hvor langt den uddannelsessøgende er kommet i uddannelsesforløbet og planlægge det videre forløb.

11. Læringsdagbog/portefølje/ logbog Læringsportefølje - formativ vurdering - til optegnelser (refleksion og dialog) af Læringsdokumentation - summativ vurdering - logbogen er juridisk dokumentation af godkendte kompetencer

12. Kompetencevurdering af ”De 7 lægeroller” Medicinsk ekspert Kommunikator Samarbejder Leder/administrator Sundhedsfremmer Akademiker Professionel

13. Hvem vurderer ? Den uddannelsessøgende selv Supervisor/kliniske vejledere Hoved/uddannelses vejleder Andre fagpersoner

14. Kompetencevurdering – samlet set Vurderingen er en proces OG et produkt Vurdering er et vigtigt redskab i læringsprocessen Det er afgørende at overveje hvilke vurderingsmetoder, der passer til hvilke kompetencer Summativ vurdering har konsekvenser og SKAL derfor være af god kvalitet.

15. Spørgsmål

16. OSKE O - Objektiv S - Struktureret K - Klinisk E - Eksamination 16

17. Baggrund Historie Indført i 2002 på Syddansk Universitet Anvendes ved bl.a. Medicinsk Embedseksamen i Gynækologi og Obstetrik, Medicin og Pædiatri Anvendes postgraduat til vurdering af kliniske færdigheder 17

18. Metode En metode til observation af den uddannelsessøgende læge i en bred vifte af delkompetencer Stationer Tidsbestemte opgaver En observatør vurderer den uddannelsessøgende læge ud fra et standardiseret observations- og scoringsskema. Summativ kompetencevurdering (bestået/ikke-bestået) 18

19. OSKE - egenskaber 19 Standardiserer og objektiviserer vurderingen af lægen under uddannelse Kompetencevurderingen baseres på observation af, hvad den uddannelsessøgende læge rent faktisk gør

20. Eksempler Anamneseoptagelse Fokuseret objektiv undersøgelse f.eks. gynækologisk undersøgelse, knæundersøgelse Tekniske procedurer f.eks. lumbal punktur, ascites drænage, venflon Tolkning af parakliniske resultater f.eks. faboratorieundersøgelser, røntgenbilleder 20

21. Fordele Høj reliabilitet og validitet Evaluerer teoretisk viden Evaluerer praktiske færdigheder Evaluerer kommunikative kompetencer Kompetencegivende Antallet af opnåede kompetencer øges 21

22. Ulemper Personalekrævende (eksaminator ved hver station) Ressourcekrævende (f.eks. Fantom, computerprogrammer, video, skuespiller) Tidskrævende forberedelse Vanskeligt at konstruere simulationsscenarier for de mere komplicerede procedurer Vanskeligt at standardisering procedurer og nedbrydning til objektivt vurderbare delkomponenter 22

23. Spørgsmål i plenum HVORDAN/HVORNÅR/HVOR OFTE vil I lave en OSKE i jeres afdeling? HVAD skal der til for at lave en station i jeres afdeling? 23

24. Litteratur Ugeskr. Læger 2004. 17;166(21):2002-4. Ugeskr. Læger 2004. 17;166(21):2023-25. Med. Educ. 1996. 30(1):38-43. Med. Educ. 1990. 24(3):219-23. Med. Educ. 1981. 15(1):46-52. 24

25. Øvrige vurderingsmetoder Kursusgodkendelse Video Essay MCQ Vejledersamtale – ikke formelle vurderingssamtaler Vejledersamtaler – formelle vurderingssamtaler 25

26. Kursusgodkendelse Fordele: Kan anvendes til kompentencer man ikke vil forventes at se i klinikken Tidsbesparende = mere tid til at bruge andre vurderingsmetoder af andre kompetencer Ulemper: Man ved reelt ikke, hvad kursusudbyttet har været 26

27. Video – anvendelse Velegnet til vurdering af mange lægeroller: - Kommunikator: konsultation - Sundhedsfremmer: livsstilssamtale med patient - Medicinsk ekspert: evaluerer specifikke færdigheder: fx. undersøgelses- eller operationsteknikker. Anvendes som dokumentation for udførte procedurer: - Skopier, ekkokardiografier, ultralydsundersøgelser Bruges i færdighedslaboratorier 27

28. Video - fordele Uddannelsessøgende læge får lejlighed til at bruge helikoptorsyn Vejleder kan vurdere kliniske situationer, hvor han/hun ikke var til stede - Videoen kan gennemses flere gange - Videoen kan indgå som arbejdsredskab i brugen af andre vurderingsmetoder 28

29. Video - ulemper Kræver udstyr Forudsætter patienternes accept Tidskrævende 29

30. Essay Eksempler: Præ- og postgraduat eksamination, undermetode i ex OSKE station God til at vurdere integration og syntese af information, kritisk tænkning og problemløsning Træner formulering og argumentation God til formativ vurdering 30

31. Essay - fordele Frihedsgrader for den uddannelsessøgende læge Mulighed for fordybelse Mulighed for argumentation Nemt og hurtigt at stille opgaver 31

32. Essay - ulemper Tidskrævende for vejledte og vejleder Inkonsistent og subjektiv Dækker kun delområder 32

33. MCQ – multiple choice questionnaires Metode: Flere valgmuligheder (options), kun et rigtigt svar (the key) men plausible alternativer (distractors) Blev skabt i forbindelse med intelligens-tests Bruges ex. prægraduat og evt. som delelement i OSKE 33

34. MCQ – multiple choice questionnaires Fordele: Tester paratviden (medicinsk ekspert) Let at vurdere resultat Objektivt Kommer bredt omkring Kan bruges som selv-evaluering 34

35. MCQ – multiple choice questionaries Ulemper: Tillader ikke argumentation Tester ikke højere kognitive processer og forståelse Promoverer overfladisk indlæring Det er svært at lave virkelig gode MCQ-tests 35

36. Vejledersamtaler Ikke formelle Formelle Vejlederforum 36

37. Vejledersamtaler – ikke formelle/ formelle Fordele: - Ikke formelle: Kræver ikke nødvendigvis forberedelse Let realiserbar Vejlederforum: ensarter vurdering i afdelingen, sætter fokus på vejledning 37

38. Vejledersamtaler – ikke formelle/ formelle Ulemper: Risiko for manglende struktur Kræver et møde 38

39. Kompetencevurderings metoder Struktureret klinisk bedømmelse OSKE 360 graders observation Audit Video Essay MCQ Kursusgodkendelse Vejledersamtaler – ikke formelle/ formelle 39