Prestatie-indicatoren en de invloed van toeval

1. Prestatie-indicatoren en de invloed van toeval Focus op statistische betrouwbaardheid Prof.dr. E.W. Steyerberg Drs A.M. van Dishoeck Center for Medical Decision Making Maatschappelijke Gezondheidszorg, Erasmus MC, Rotterdam

2. Zorg in de schijnwerpers “The best hospitals”

3. En uitgedrukt in winnaars en verliezers

4. Prestatie-indicatoren IGZ

6. Definitie Indicator Een indicator is een meetbaar aspect van geleverde zorg waarvan, op basis van wetenschappelijk onderzoek of door middel van consensus tussen experts, is komen vast te staan dat het een aanwijzing geeft over de kwaliteit van die zorg (Campbell, 2002).

7. Type Indicatoren • Structuurindicatoren • Betreffen de organisatie van en de voorwaarden voor een goede zorgverlening (hartfalenpoli, stroke unit e.d.) • Procesindicatoren • Betreffen het handelen van professionals (volume risicovolle interventies, door-to-needle time bij trombolyse) • Uitkomstindicatoren • Betreffen de effecten die met de zorg bij patiënten wordt bereikt (mortaliteit, heropname e.d.) Donabedian, 1988

8. Conceptueel kader

9. Performance estimates unreliable with small samples • Stel: echte mortaliteit 10% • Hoe variabel zijn schattingen met n=20, n=50, n=200?

10. Performance estimates unreliable with small samples

11. Vraagstelling • Zijn er significante verschillen tussen de Nederlandse ziekenhuizen? • Hoe verschillen te visualiseren?

12. Alle Nederlandse ziekenhuizen Site Nederlandse Vereniging van Ziekenhuizen, www.ziekenhuizentransparant.nl Indicatoren Decubitusprevalentie Mortaliteit AMI Mortaliteit CVA Populatie en indicatoren

13. Vraagstelling • Zijn er significante verschillen tussen de Nederlandse ziekenhuizen? • Hoe verschillen te visualiseren?

14. Verschillen tussen ziekenhuizen

15. Vraagstelling • Zijn er significante verschillen tussen de Nederlandse ziekenhuizen? • Hoe verschillen te visualiseren? • Basis: onzekerheid moet worden weergegeven, in tegenstelling tot traditionele IGZ presentatiea) Forrest plotb) Funnel plotc) Rank plot

17. Pressure ulcer prevalence 2005 Forest plot

18. Pressure ulcer prevalence 2005Funnel plot

19. Pressure ulcer prevalence 2005Rank Plot

20. Methods • Forest plot if y=0 • Funnel plot: exact CI • Rank plot: bootstrap resampling, • Estimating distribution, with one sample (N;µ,σ) • Random draw with replacement • Data simulation, 1000 times

21. CVA 2005 Forest Plot

22. CVA 2005 Funnel Plot

23. CVA 2005 Rank Plot

24. AMI 2005 Forest Plot

25. AMI 2005 Funnel Plot

26. AMI 2005 Rank Plot

27. Conclusies • Er zijn significante verschillen bij ruwe vergelijking van de Nederlandse ziekenhuizen, maar het identificeren van individuele ziekenhuizen die het goed of slecht doen is moeilijk, en heel onzeker • Forest plots, funnel plots en rank plots laten de invloed van toeval goed zien; mn een funnel plot is aantrekkelijk • Voor sommige indicatoren zijn de aantallen zo klein, dat er overwegend ruis te zien is • Rangordening is heel onzeker • Overinterpretatie is een belangrijk risico van openbaarmaking van prestatie-indicatoren

28. Implicaties • Weergave altijd met indicatie van onzekerheid • Bij keuze uitkomstindicatoren meer rekening houden met toeval • Schrappen van enkele uitkomstindicatoren? • Meer focus op procesindicatoren? • Advanced statistische analyse • Multilevel • Groepen uitkomstindicatoren • NB: nog vele andere problemen, mn registratie en case-mix