Tıp Eğitiminde Program Değerlendirme

1. Tıp Eğitiminde Program Değerlendirme Dr. İskender Sayek Emekli Öğretim Üyesi Hacettepe Üniversitesi Tıp Fakültesi Kocaeli Üniversitesi Tıp Fakültesi Tıp Eğitimi Seminerleri 9 Nisan 2013

2. Terminoloji • Evaluation/Assessment/Appraisal ... • Değerlendirme/ Ölçme-değerlendirme/Değerlendirme • Evaluation/Research • Değerlendirme/Araştırma • Output/Outcome • Ürün/Çıktı • Curriculum/Programme • Müfredat/Program

3. Eğitimde Değerlendirme/Araştırma • Değerlendirme: Yerel olarak kullanılacak veri ve bilgiyi üretmek için yapılan ve genellikle etik kurul onayına gerektirmeyen ancak etik ilkelere uygun olarak yapılması gereken (sonuçların kullanılabilirliğini arttırmak için) çalışmalar • Araştırma: Genelleştirilebilir sonuçları üretmek için yapılan, akran değerlendirmesi olan bir dergide yayınlanması hedeflenen, etik kurul onayı gerektiren çalışmalar Morrison J BMJ 2003; 326:385-87

4. Tıp Eğitiminin Özellikleri • Karmaşık (Kompleks) bir sistem • Farklı komponentleri ve komponentler arası etkileşim vardır • Değerlendirme bütüncül bir yaklaşım gerektirir: Bireysel komponentlerin değerlendirilmesi yararlı değildir • Programın tümü komponentlerinin toplamından fazladır Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

5. Tıp Eğitimini Etkileyen Faktörler Program katılımcıları Eğitim ortamı İç ve dış faktörler Program özellikleri Bileşenler ve düzenleyicilerin etkisi Mesleki uygulamalar Alan ile ilgili bilgi değişimi Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

6. Tıp Eğitiminde Program Değerlendirme • Tıp eğiticisi/eğitimcisinin sorumluluğudur • Eğitimde değişimin anahtarıdır • Program geliştirme için önemli • Eğitim programının durumunu ve bunu sağlayan faktörleri belirler • Program geliştirme ya da eğitim programlarının incelenmesi ile ilgilenenler değerlendirme ile ilgili teorik ilkeler çerçevesinde daha yapıcı ve etkin değerlendirme yöntemlerini kullanır Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

7. Tıp Eğitiminde Program Değerlendirme Nedir? • Bir eğitim programının kavramsallığı, tasarımı, uygulamaları ve yararı ile ilgili verilerin toplaması, analizi ve yorumunu sağlayan sistematik bir yaklaşımdır. • Bir kurs veya eğitim programı ile ilgili eleştirel değerlendirme yapma ve karar vermek için bilgi toplama sürecidir. Wall D; in Understanding Medical Education 2010

8. Tıp Eğitiminde Program Değerlendirme Nedir? • Eğitim programlarına bir ‘’değer biçme’’ sürecidir • Eğitim programının tasarımı, uygulanması ve ürün/çıktılarının niteliğinin izlenmesi ve geliştirilmesi ile etkililiğini değerlendirmek amacıyla kullanılacak verilerin sitematik toplanması ve analizidir (ACGME) Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

9. TEPDAD : Program Değerlendirme • Eğitim programının değerlendirilmesi, program geliştirme ve öğretim tasarımı sürecinin bir parçasıdır. • Eğitim programının değerlendirilmesi, programın geliştirilmesi ve/veya etkinliğinin gösterilmesi amacına yönelik olarak eğitimle ilgili tüm ögeler üzerinden kesitsel ve/veya sürekli veri toplanması, analizi ve yorumlanması süreci olarak tanımlanabilir.

10. Program Değerlendirme İçin Nedenler İç Nedenler Dış Nedenler Akreditasyon kurumları Kaynak sunucular Eğiticilerin sorumlu olduğu kurumlar Program çıktılarının ölçümlenmesi Program geliştirme Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

11. Tıp Eğitiminde Program Değerlendirme Amaçları? • Eğitimin öğrenenin beklentilerini karşıladığının güvencesini vermek • Eğitimde düzeltilmesi gereken alanları belirlemek • Kurum kaynaklarının uygun kullanımını sağlamak • Eğiticilere geri bildirim vermek ve teşvik etmek/ödüllendirmek: Eğiticinin gelişimini sağlamak • Tıp fakültelerinin ‘‘değerlerini’’ ortaya çıkarmak • Müfredat geliştirilmesini kolaylaştırmak Morrison J BMJ 2003; 326:385-87

12. Tıp Eğitiminde Program Değerlendirme Amaçlar ? Gelişme amaçlı değerlendirme Tanınırlık amaçlı değerlendirme Bilgi amaçlı değerlendirme

13. Tıp Eğitiminde Program Değerlendirme Amaçlar ? Müfredat ilişkili Ölçme-Değerlendirme ilişkili Eğitim ve Öğrenme ilişkili

14. Tıp Eğitiminde Program Değerlendirme Amaçlar ? • Müfredat • Müfredat/Program geliştirme • Öğrenim amaç ve hedeflerine uygunluğun değerlendirilmesi • Program çıktılarının değerlendirilmesi • Eğitim ve Öğrenme • Öğrenenin gereksinimlerinin karşılanma güvencesi • Kötü/Uygun olmayan eğitimin belirlenmesi • Eğitim programlarının onaylanması • Eğitici ve kurumlara geri bildirim verilmesi • Eğiticilere yıllık değerlendirme • Yükselme ve kariyer geliştirme

15. Tıp Eğitiminde Program Değerlendirme Amaçlar ? • Ölçme-Değerlendirme • Ölçme-Değerlendirme çıktılarını değerlendirme : sınavların değerlendirilmesi (Kurumsal , Ulusal) • Değerendirme araçları geliştirme: Değerlendirme araçlarının geçerliliği ve güvenirliğinin değerlendirilmesi • Değerlendirme stratejilerinin uygunluğunu belirleme

16. Program Değerlendirme Planlaması Değerlendirme sonuçları kime verilecektir? Değerlendirmenin amaç ve hedefleri nedir? Hangi analiz, yorumlama ve karar verme süreç kuralları uygulanacaktır? Sorumlu kimdir? Kimden ve nasıl bir veri toplanacaktır? Verileri kim toplayacak ve analiz edecektir? Wall D; in Understanding Medical Education 2010

17. Program Değerlendirme Çeşitleri Biçimlendirici Değerlendirme Tanılayıcı Değerlendirme Düzey Belirleyici Değerlendirme Program çıkışında yapılan değerlendirme Programa girişte yapılan değerlendirme Program sürecinde yapılan değerlendirme Demirel Ö Kuramdan Uygulamaya 2002

18. Tıp Eğitiminde Program Değerlendirme Tanılayıcı Değerlendirme (Diagnostic Evaluation) Düzey Belirleyici Değerlendirme (Summative Evaluation) Programa girişte yapılan değerlendirme: bilişsel davranışları, duyuşsal özellikleri ve devinişsel becerileri değerlendirir Biçimlendirici Değerlendirme (Formative Evaluation) Program sonunda yapılan değerlendirme: Kazanılmış davranış, özellik ve becerileri ölçmeye yararan değerlendirme Program sürecinde yapılan değerlendirme: Öğrenme güçlüklerini ortaya çıkarmak ve gerekli düzeltmeler ve planlama yapılması amaçlanır Demirel Ö Kuramdan Uygulamaya 2002

19. Değerlendirme Modelleri • Deneysel/ Yarı-deneysel modeller: Yeni uygulamalar ile eski uygulamaları karşılatırmak; uygulanması zor • Kirkpatrick’in dört-düzey değerlendirme modeli: Program çıktıları ile ilgili değerlendirme • Mantık modeli: Değişim sürecine odaklı; eğitimde yenileşim (inovasyon) içerikli • CIPP (context/input/process/product) modeli

20. Kirkpatrick’in Değerlendirme Hiyerarşisi Wall D; in Understanding Medical Education 2010

21. Tıp Eğitiminde Kirkpatrick’in Hiyerarşisi Wall D; in Understanding Medical Education 2010

22. Kirkpatrick‘in Değerlendirmede Odaklanma Düzeyleri • Düzey 1— Öğrenenlerin memnuniyet ve tepkileri • Düzey 2a—Tutum ve algıların modifikasyonu • Düzey 2b—Bilgi ve becerilerin edinilmesi • Düzey 3—Davranış değişikliği • Düzey4a— Kurumsal uygulamalarda değişim • Düzey4b— Hasta yararı Morrison J BMJ 2003; 326:385-87

23. Mantık (Logic) Modeli Girdi Etkinlikler Çıktı (Outputs) Ürün (Outcomes) Girişimler Stratejiler Yenileşimler Hedeflenen değişimler Eğitilenin bilgi veya becerileri Yeni bilgi ve becerilerin uygulanması Hasta yararı Kaynaklar Alt yapı İnsangücü Kurum kültürü Eğitilen sayısı Eğitici özelliği Üretilen modül sayısı

24. CIPP Modeli • CIPP (context/input/process/product) modeli • (Bağlam/ girdi/ süreç/ürün) • Program geliştirme odaklı , programın başarısını ya da başarısızlığını göstermeyi hedeflemez • Programın kısımlarının karmaşık, dinamik ve lineer olmayan bir ilişkide olduğunu fark eden yaklaşımlar için güçlü bir model

25. CIPP Modeli • Bağlam/ girdi/ süreç değerlendirmesi iyi leştirme odaklı : Biçimlendirici değerlendirme (Formative) • Ürün değerlendirmesi düzey yükseltici değerlendirme (Summative) • Bağlam Değerlendirilmesi: Yeni program planmada ya da planlı değişimlerde yararlı • Programın amaç ve hedeflerini gereksinimlere, sorunlara ve olanaklara göre belirler • Girdi Değerlendirilmesi: Eğitim planlamasında kaynak kullanımı ile yeni program planlanması ve önerisinde yararlı, sürekli veri sağlar- tıp eğitiminde çok etkili

26. CIPP Modeli • Süreç Değerlendirilmesi: program uygulanmalarını değerlendirmede etkili, çıktının değerlendirilmesini sağlar ve bir program değişiminde yararlı (Sürekli gelişim) • Program sonu değerlendirmede kullanılabilir • Program bileşenlerine tanınırlık sağlar • Ürün Değerlendirmesi: Program çıktılarına odaklı değerlendirme • Olumlu-olumsuz, kısa-uzun dönem, beklenen-beklenmeyen çıktıları değerlendirir, • Eğitim gereksinimlerinin ne kadar karşılandığını belirler

27. Değerlendirme Modellerinin Karşılaştırılması

28. Değerlendirme Evreleri Wall D; in Understanding Medical Education 2010

29. Eğitim Programlarında Etkililik Değerlendirmesi Evreleri Demirel Ö Kuramdan Uygulamaya 2002

30. Değerlendirme Yöntemleri • Subjektif ve objektif ölçütler içerebilir • Niteliksel ve niceliksel yaklaşımlar olabilir • Fazla veri toplamaktan kaçınmak gerekir • Kolay uygulanabilir ve hızla kullanılabilir bilgi üretmesi gerekir Morrison J BMJ 2003; 326:385-87

31. Yöntemler • Görüşmeler • Mülakatlar • Odak grup görüşmeleri • Kurum ziyaretleri • Anketler • Grup görüşmeleri • Kar topu inceleme (Snowball review) : Grup üyeleri tartışarak sonuca varır • Nominal grup tekniği: Grup üyelerinin hepsi görüş bildirir • Öğrenci performans değerlendirmeleri • Öğrenim çıktılarının değerlendirilmesi • Gözlemler

32. Öğrenci Değerlendirmeleri • Geribildirimler, anket uygulamaları • En sık kullanılan yöntem • Çok değerli bilgi verir • Tek başına kullanılmamalı

33. Değerlendirme Örnekleri Morrison J BMJ 2003; 326:385-87

34. Değerlendirme Araçları • Öğrenci değerlendirmeleri • Uzman değerlendirmeleri • Dış değerlendirmeler • Öz-değerlendirme • Eğitim video kayıtları • Öğrenci görüşmeleri-mülakatları • Mezunların değerlendirmeleri • İşveren değerlendirmeleri • Yönetici değerlendirmeleri • Eğitim Bursları/ Ödüllendirmeleri • Eğitim çıktılarının ölçümlenmesi • Eğitim portfolyoları Wall D; in Understanding Medical Education 2010

35. Değerlendirmede yanlı tutumu azaltmak için öğrenciler, eğiticiler, diğer klinisyen ve hastalar gibi gruplardan birden çok kişiden görüş alınmalıdır.

36. Müfredatın tam etkililiği öğrencilerin mezun olmasından belli bir süre geçtikten sonra ancak belirlenebilir.

37. İdeal bir Değerlendirme • Güvenirlik • Geçerlik • Değerlendiren ve değerlendirilen tarafından kabul edilirlik • Düşük maliyetli

38. TEPDAD: UTEAK Standartları • 5. PROGRAM DEĞERLENDİRME 5.1. Program değerlendirme sistemi TS.5.1.1. Tıp fakültelerinde, eğitim programını ve öğrencilerin gelişimini izleyen, programa ilişkin görüş ve önerilerin tanımlanması ve ele alınmasını sağlayan bir program değerlendirme sistemi mutlaka olmalıdır. Program değerlendirme sistemi, mutlaka, düzenli olarak toplanan öğretim üyesi ve öğrenci geribildirimleri ve eğitim programı hedefleriyle ilişkilendirilmiş öğrenci performansı izlemlerini kapsamalıdır.

39. GS.5.1.1. Tıp fakülteleri evrensel eğitim programı değerlendirme modellerinden yararlanarak, fakülteye özgü kapsamlı bir eğitim programı değerlendirme sistemi geliştirilmelidir. • GS.5.1.2. Program değerlendirme kapsamında programın bağlamı, girdileri, süreci ve çıktılarına yer verilmeli, mezunların tıbbi kariyerlerine ilişkin bilgiler değerlendirilmelidir.

40. 5.2. Program değerlendirme sonuçlarının paylaşım ve kullanımı • TS.5.2.1. Tıp fakülteleri program değerlendirme sonuçlarını mutlaka fakülte yönetimi, akademik görevliler, öğrenciler ile paylaşmalı ve programın iyileştirilmesi yönünde kullanmalıdır. • GS.5.2.1. Tıp fakülteleri, program değerlendirme süreci ve sonuçlarının geçerlik ve güvenirlik kanıtlarını toplamalı ve göstermelidir. • GS.5.2.2. Tıp fakülteleri dış değerlendirme yöntem ve süreçlerini kullanmalıdır.

41. Özet • Değerlendirme: • Müfredat geliştirmede kullanılabilmeli • Tıp fakültesinin akademik gelişimine pozitif süreç olarak katkı sunmalı • Değerlendirme hedefleri • Açıkça tanımlanmalı • Öğretim çıktıları ile ilişkilendirilmeli • Değerlendirme yapılırken: • Birden çok kaynaktan bilgi toplanmalı • Sonuçlar tüm katılımcılarla paylaşılmalı

42. Öğrenenler: • Değerlendirme geliştirilirken mutlaka katkı sunmalı • Görüşlerine değer verilmeli • Değerlendirenler: • Değerlendirme sonuçlarına göre eksikliklerin düzeltilmesi, yöntemlerin ve içeriğin iyileştirmesi ve güncellenmesi sağlanmalı • Süreç tekrar edilebilmeli

43. Tıp Eğitiminde Program Değerlendirme Eğitim süreçlerinin önemli öğelerinden birisidir. Uygulanan eğitim programının etkililiği hakkında karar verme Eğitim araçlarının niteliği ile ilgili sistematik bilgi toplama aracı Eğitim hedeflerinin karşılanma derecesini tayin etme Eğitim programına devam, değiştirme ya da yeni bir aşamaya geçme ile ilgili karar verme

44. Teşekkür ederim .....