Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België

1. Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België Deel 2 : evaluatie van een bestuursovereenkomst 21/02/2005 Evaluatie van een bestuursovereenkomst Pagina 1

2. 1. Inleiding Evaluatie van een bestuursovereenkomst Pagina 2

3. Kader van de evaluatie • Art.8§4 KB 3 april 1997 • Over de eerste bestuursovereenkomst wordt door de Voogdijminister verslag uitgebracht aan de Ministerraad gedurende de zevenentwintigste maand na de inwerkingtreding ervan. • Uitvoerder • FOD Sociale Zekerheid (DGSOC) • Met behulp van • Het Instituut voor de Overheid • Deloitte & Touche • Periode : februari – juni 2004 • Doelstellingen van de evaluatie • Opmaak van een evaluatiemethodologie • Opmaken van een stand van zaken van de uitvoering van de bestuursovereenkomst • Aanreiken van aandachts- en verbeterpunten m.b.t. het proces en het instrument van de bestuursovereenkomsten Evaluatie van een bestuursovereenkomst Pagina 3

4. Context van de evaluatie • De eerste bestuursovereenkomsten zijn nog lopend • Nog één jaar • Voorlopige realisatiegraad • De bestuursovereenkomsten werden voor de eerste keer afgesloten • Leerproces nodig en aan de gang • Verbeteringsgerichtheid van de evaluatie • De bestuursovereenkomsten hebben betrekking op het beheer van de instellingen • Geen beleidsdoelstellingen • Wel beheersdoelstellingen • Niet alle activiteiten van de OISZ gedekt door de evaluatie Evaluatie van een bestuursovereenkomst Pagina 4

5. Resultaten van de evaluatie • Verslaggeving • Een verslag instelling, over de uitvoering van de Bestuursovereenkomst 2002-2004 ; • Bijlage 1: Overzicht van de beschikbare en gehanteerde documenten • Bijlage 2: Stand van zaken van de uitvoering van de bestuursovereenkomst • Bijlage 3: Overzicht van aangehaalde interveniërende factoren bij de uitvoering van de bestuursovereenkomst • Bijlage 4: Overzicht van de belangrijkste feiten en data m.b.t. het afsluiten en uitvoeren van de bestuursovereenkomst • Bijlage 5: Budgettaire cyclus - beheerskredieten • Een syntheseverslag met een aantal overkoepelende vaststellingen en aandachtspunten met betrekking tot de eerste bestuursovereenkomsten afgesloten door tien openbare instellingen van sociale zekerheid . • De Ministerraad heeft akte genomen van de verslagen op 3 december 2004 Evaluatie van een bestuursovereenkomst Pagina 5

6. 2. De theoretische model Evaluatie van een bestuursovereenkomst Pagina 6

7. De doelmatigheidscyclus Behoeften • Besluitvormingproces binnen een overheidsorganisatie • Modellen in 8 fasen Strategische doelstellingen Operationele doelstellingen Input/middelen Activiteiten Prestaties Effecten Werkingsprincipes Omgevingsfactoren Evaluatie van een bestuursovereenkomst Pagina 7

8. Het principe van de strategische cascade • Beleid van een organisatie wordt gerelateerd in concrete geplande acties via cascade van doelstellingen • Strategische doelstellingen • Operationele doelstellingen • Acties • Definities • SD : algemene richtlijnen die richting geven aan de activiteiten van een organisatie op een min of meer lange periode • OD : concrete en meetbare resultaten die ter verwezenlijking van de SD bereikt moeten worden op korte termijn • Acties : dagelijkse activiteiten die gevoerd moeten worden om de OD-resultaten te bereiken Evaluatie van een bestuursovereenkomst Pagina 8

9. De model toegepast op een OISZ Omgevings-behoeften prognose Politieke wensen tijdens de onderhan-delingen Toegewezen opdrachten • Behoefteanalyse iets moeilijker • 3 evaluaties nodig • Welke kiezen ? Algemene strategische planning Evaluatie Strategische verbintenissen (BO) Algemene resultaten / effecten Operationele doelstellingen (BO) Resultaten Actieplannen bij bestuursplan Prestaties Planning Uitvoering Evaluatie van een bestuursovereenkomst Pagina 9

10. 3. Fundamentele keuzen bij de methode en gevolgen Evaluatie van een bestuursovereenkomst Pagina 10

11. De nood voor een focus voor de evaluatie : de eis van operationalisering 3 evaluaties mogelijk • Strategische engagementen vs algemene resultaten • Grote interpretatiegraad mogelijk • Invloed van omgevingsfactoren • Actieplannen vs gevoerde acties • Inbreuk op autonomie van OISZ • Operationele doelstellingen vs resultaten • Interpretatiegraad beperkt • Meestal bij BO • Invloed van omgevingsfactoren meetbaar Gevolgen : aanwezigheid van OD in de bestuursovereenkomst Evaluatie van een bestuursovereenkomst Pagina 11

12. De nood van een ideaal type : de eis van normering • Nood aan een ideaal type • Ideale resultaat • Als geplande middelen beschikbaar en gebruikt zijn • Als omgevingsfactoren geen invloed uitoefenen • Norm : prisma om resultaten te bekijken en te beoordelen • Criteria • SMART • S (specifiek), M (meetbaar), A (achievable : realiseerbaar), R (relevant), T (tijdsgebonden) • Verhoest & Voets • Systematiek • Niet bureaucratisch (beheersbaar & zuinig) • Flexiebel • Toekomstgericht • Rekening houdend met beschikbare middelen • Gevolgen : aanwezige OD moeten deze criteria respecteren Evaluatie van een bestuursovereenkomst Pagina 12

13. De nood aan een evaluatieobject : de eis van kwaliteit bij de rapportering • Voldoende informatie over wat geëvalueerd zal worden • Criteria • Leesbaarheid & duidelijkheid • Consistentie : validiteit, nauwkeurigheid & volledigheid • Betrouwbaarheid : betrouwbare, constante en pertinente PMS die de termijnen respecteert • Gevolgen : rapporteringdocumenten van OISZ en verslagen van de RC moeten deze criteria respecteren Evaluatie van een bestuursovereenkomst Pagina 13

14. Gevolgen voor de analyse Omgevings-behoeften prognose Politieke wensen tijdens de onderhan-delingen Toegewezen opdrachten • Evaluatie = vergelijking tussen een ideaal type en een evaluatie-object • 3 kwaliteits-vereisten Evaluatieobject Ideaal type Opdrachten Strategische verbintenissen (BO) Algemene resultaten / effecten Operationele doelstellingen (BO) Norm(en) 27de maand verslag Resultaten Actieplannen bij bestuursplan Prestaties Planning Uitvoering Evaluatie van een bestuursovereenkomst Pagina 14

15. 4. Uitvoering van de evaluatie Evaluatie van een bestuursovereenkomst Pagina 15

16. Procedure • Fase 1 : herstructurering • Strategische verbintenis • Operationele doelstelling • Norm(en) • Fase 2 : invoeging resultaatsgegevens • Fase 3 : evaluatie • Jaar per jaar • Voor beide jaren • Gerealiseerd • Niet gerealiseerd • Voorwaardelijk gerealiseerd • Partiële informatie • Fase 4 : verslaggeving Evaluatie van een bestuursovereenkomst Pagina 16

17. Resultaat : de evaluatiefiche Evaluatie van een bestuursovereenkomst Pagina 17

18. Succesfactoren • Overleg met geëvalueerde OISZ • Uitleg • Maar ook deelname aan evaluatie • Maar ook antwoordmogelijkheid • Validatie van de resultaten • 2 soorten • Extern vs intern • Nauwkeurigheid, geldigheid, betrouwbaarheid • 3 validatie ronden • Validatieround 3 : • door een andere evaluator • betrouwbaarheid • Validatieround 1 : • door de OISZ / RC • nauwkeurigheid & geldigheid • Validatieround 2 : • door de OISZ / RC • nauwkeurigheid & geldigheid Fase 1 : herstructurering Fase 2 : resultaat-gegevens Fase 3 : evaluatiescores Fase 4 : verslaggeveing Evaluatie van een bestuursovereenkomst Pagina 18

19. Succesfactoren (vervolg) • Flexibele methode • Oog voor opmerkingen van OISZ • Te veranderen naargelang tegemoet problemen • Verbeteringsgerichtheid • Voorwaardelijk gerealiseerd ? • Wat is de doelstelling van de evaluatie ? Evaluatie van een bestuursovereenkomst Pagina 19

20. Ondervonden problemen • Operationaliseringsgraad • BO niet voldoend • Bestuursplan >< autonomie van de OISZ • Aanpassingen • Probleem bij de procedure • Visum van RC voldoend ? • Geen auditsysteem • Vertrouwen in professionalisme van OISZ is voldoend ? • Omgevingsfactoren • Verbintenis van de Staat • Maar • Geen risicoplanning • Geen veiligheidsmarge • Geen alternatieve verbintenissen Evaluatie van een bestuursovereenkomst Pagina 20

21. 5. Conclusies Evaluatie van een bestuursovereenkomst Pagina 21

22. Evaluatie van de evaluatie • Pluspunten • Er is een evaluatie • Mate van realisatie vastgesteld • Dynamiek voor onderhandelingen / verbetering volgende BO • Minpunten • Gebrek aan kwaliteitsgaranties • 15 à 20 % doelstellingen niet geëvalueerd ! • Omgevingsfactoren • Toekomst • Kwaliteit BO / rapportering • Kwaliteitscriteria • Kwaliteit-check • Audit • Aanpassingsprocedure Evaluatie van een bestuursovereenkomst Pagina 22

23. Voor meer info Amaury Legrain FOD Sociale Zekerheid – DGSOC amaury.legrain@minsoc.fed.be Voorlopige adres: CENTRUM 58 C930Zwarte Lievevrouwstraat 3C1000 BRUSSEL Toekomstige adres (vanaf 07 maart 2005) : Victor Hortaplein 40, bus 201060 Brussel Evaluatie van een bestuursovereenkomst Pagina 23