Ex-durante-evaluatie van wetgeving en beleid

• 1. Introductie

  Er is de laatste tijd veel te doen over de rol van de overheid in de steeds meer complexe en dynamische samenleving. De overheid heeft duidelijk moeite om op deze omstandigheden in te spelen. De crises en probleemdossiers stapelen zich op en lijken de overheid steeds meer boven het hoofd te groeien. Beleid en wetgeving lopen geregeld achter de feiten aan, doordat de turbulente samenleving, mede door de internationale ontwikkelingen en de meerdere crises, veel minder maakbaar blijkt dan gehoopt. Daarnaast maakt de politieke versnippering het lastig om uitdagingen te adresseren die op langere termijn spelen (bijvoorbeeld klimaat, vergrijzing). De ‘waan van de dag’ domineert het verder vooruitkijken.¹x Zie ook S. van Teutem, ‘Uit de crisis? Nederland snakt naar politici die 20 jaar vooruit denken’, De Correspondent 13 september 2022. Mede door beperkte politieke interesse in de uitvoering blijft veelal lang onbekend welke problemen zich intussen in de uitvoeringspraktijk ontwikkelen. In combinatie met de overheersende neiging om bij problemen naar schuldigen te zoeken wordt elk relevant onderwerp daardoor zo langzamerhand een potentiële politieke brandhaard.
  Door deze bestuurlijke onmacht om de samenleving bij te benen komen de geloofwaardigheid en legitimiteit van de overheid steeds verder onder druk te staan. Het vertrouwen in de landelijke politiek is inmiddels op een uiterst laag niveau beland.²x J. den Ridder e.a., Burgerperspectieven. Bericht 1, Den Haag: Sociaal en Cultureel Planbureau 2022. Burgers hebben meer en meer het gevoel dat de samenleving stuurloos is, juist door de discrepantie tussen de belofte van maakbaarheid en de gerealiseerde werkelijke waarde voor de samenleving. Er lijkt sprake van een substantiële en groeiende mismatch tussen de relatief bureaucratische en starre wijze van beleid en regels maken en uitvoeren enerzijds en de toenemende complexiteit en dynamiek in de samenleving anderzijds. Dit probleem heeft momenteel al serieuze negatieve gevolgen, en die zullen waarschijnlijk alleen maar toenemen als hier niet fundamenteel iets aan gebeurt.³x Zie bijv. ook de conclusies in Staat van de Uitvoering 2022, 2023 (www.staatvandeuitvoering.nl).

  De grote uitdaging voor het openbaar bestuur is om deze ontwikkeling om te draaien en ervoor te zorgen dat de overheid ook onder deze lastige omstandigheden structureel haar missie voor het algemeen belang vervult en haar doelen realiseert.
  Voor herstel van vertrouwen is het belangrijk dat de overheid anticipeert op de complexiteit en dynamiek in de samenleving, zicht en greep houdt op wat zich daar afspeelt, hoofd- en bijzaken beter gaat scheiden en de samenleving intensief betrekt bij signaleringen, analyses en oplossingen voor bestaande en toekomstige vraagstukken.

  In eerdere artikelen hebben De Bree en Dees suggesties gedaan voor innovatie in de processen van beleid en wetgeving, en een nieuwe bestuurscultuur. In hun eerste bijdrage wezen zij op de implicaties van de complexiteit en dynamiek in de samenleving voor de manier waarop de overheid (wettelijke) regels maakt en uitvoert.⁴x M.A. de Bree & M. Dees, ‘Complexiteit vraagt om een andere manier van regels maken’, TPC 2019, afl. 6, p. 14-18. Zij maakt vaak nog regels op basis van een overwegend lineair en top-down proces en inzet op ex-ante-evaluatie, met weinig aandacht voor hoe de regels in de praktijk uitwerken. Door de complexe omgeving is het echter onzeker of aannames over de uitwerking van regels die gedaan zijn bij het ontwerpen ervan, wel opgaan. Hierbij is voorgesteld inspiratie te putten uit lessen die de private sector heeft getrokken bij innovatie.⁵x Mede indachtig de uitspraak van oud-president van de Algemene Rekenkamer Saskia Stuiveling onder haar portret in de Erasmus Universiteit Rotterdam: ‘(…) De publieke sector zou moeten leren van de private sector. Ik denk dat de dingen sneller gaan in de private sector. Zij zijn meer gefocust. En het beste ervan zou moeten worden benut voor de publieke sector.’ Innovatieve bedrijven betrekken stakeholders in een open leerproces bij de ontwikkeling van nieuwe producten en diensten en gebruiken onder meer doorlopend feedback uit de markt.⁶x Vergelijkbaar met de Open Multi Stakeholder BeleidsOntwikkeling (OMSBO), zoals voor complexe contexten bepleit in P. van Hoesel & M. Herold, Beleidsontwikkeling in de 21e eeuw, Den Haag: Boom bestuurskunde 2020.
  Er worden drie uitgangspunten benadrukt. Ten eerste het belang van voldoende variëteit in deskundigheid om recht te doen aan de variëteit in aspecten van complexe vraagstukken (requisite variety). Ten tweede is het van belang dat processen niet sequentieel (stap voor stap) verlopen, maar dat de relevante disciplines gelijktijdig met elkaar samenwerken, waarbij ontwerpen, toepassen en evalueren simultaan en voortdurend plaatsvinden. Vanwege de onvoorspelbaarheid van beleidsinterventies is het zaak dat kortcyclisch wordt geleerd van ervaringen tijdens de uitvoering (simultaneous coupling). Een laatste belangrijk uitgangspunt is dat voldoende ruimte wordt gelaten aan professionals, zodat maximaal van hun kennis en ervaring gebruik kan worden gemaakt. Dit principe geldt zowel voor het ontwerpproces van wetgeving en beleid als voor beleid en wetgeving als producten (minimum critical specification).
  In een tweede artikel betogen De Bree en Dees dat het essentieel is dat de bestuurscultuur het leerproces ondersteunt, een cultuur waarin een open en continu lerende benadering van beleid en wetgeving maatgevend is⁷x Zie A.F.A. Korsten, Wat ervan terecht komt. Zicht op beleidsevaluatie (achtergronddocument), 8 april 2013, p. 112 e.v. voor aanbevelingen voor een op leren gerichte cultuur. en politici en ambtenaren acteren op basis van vertrouwen. Hierbij zou de overheid zich met oprechte belangstelling en overtuiging moeten begeven in de ‘mensenwereld’, en daarin de grondrechten en principes van goed openbaar bestuur⁸x Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, Nederlandse code voor goed openbaar bestuur; Beginselen van deugdelijk overheidsbestuur 2009, juni, 20522/1722-GMD32. werkelijk centraal stellen.⁹x M.A. de Bree & M. Dees, ‘Maatschappelijke dynamiek en complexiteit vergen meer innovatie in beleid en Wetgeving’, TPEdigitaal, januari 2022.
  In dit artikel gaan we een stap verder in deze lijn om te komen tot groter lerend vermogen en bepleiten we een hoofdrol voor ex-durante-evaluatie. Onder ex-durante-evaluatie verstaan wij de evaluatie die tijdens de uitvoering van beleid en wetgeving plaatsvindt¹⁰x P. van der Knaap, V. Pattyn & D. Hanemaayer, Beleidsevaluatie in theorie en praktijk 2020, Den Haag: Boom bestuurskunde. en daardoor mogelijkheden biedt om sneller conclusies te trekken over de uitwerking van beleid en wetgeving, zodat deze waar nodig tijdig kunnen worden bijgestuurd. In de eerste paragraaf lichten we toe wat lerende organisaties zijn. In de tweede en derde paragraaf bespreken we wat evalueren is en de rol die ex-durante-evaluatie hierbij zou kunnen spelen. In de vierde paragraaf bespreken we de condities voor ex-durante-evalueren. In de vijfde paragraaf verkennen we welke opties er zijn om dit te realiseren en doen we een concrete aanbeveling. In de zesde en laatste paragraaf komen we tot een conclusie.

• 2. De (overheid als) lerende organisatie

  Al in 1994 werd het leervermogen van overheden geproblematiseerd.¹¹x F.L. Leeuw, R.C. Rist & R.C. Sonnichsen, Can Governments Learn? Comparative Perspectives on Eval­uation & Organizational Learning, New Brunswick/Londen: Transaction Publishers 1994. De auteurs stellen: ‘De uitdaging voor democratische regeringen is om adaptief, flexibel, innovatief en creatief te worden. Kortom, ze moeten leerorganisaties worden.’ Ook de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) pleitte eerder voor een inhoudelijke oriëntatie waarin leren en experimenteren een centrale rol spelen.¹²x WRR, Lerende overheid. Een pleidooi voor probleemgerichte politiek (WRR Rapporten aan de Regering nr. 75), Amsterdam: Amsterdam University Press 2006. Meer recent hebben Johan Remkes¹³x J. Remkes, Wat wel kan. Uit de impasse en een aanzet voor perspectief, 2022. en de Onderzoeksraad voor Veiligheid¹⁴x Onderzoeksraad voor Veiligheid, Aanpak coronacrisis. Deel 2: september 2020 tot juli 2021, Den Haag, oktober 2022. kritiek geuit op en het belang onderstreept van het lerend vermogen van de overheid in het kader van respectievelijk de stikstofproblematiek en het coronabeleid. Van der Knaap¹⁵x P. van der Knaap, ‘Lerende overheid, intelligent beleid’, TPC public audit 2006, afl. 6, p. 24-27. stelt dat een lerende overheid nodig is om intelligente, betaalbare en bovenal steeds effectievere oplossingen voor taaie maatschappelijke uitdagingen te kunnen bieden.

  Wat wordt eigenlijk verstaan onder een lerende organisatie? Noordhoek geeft aan dat organisatorisch leren een collectief proces is waarin leerervaringen met betrekking tot de verbetering van de prestaties van de organisatie en/of doelen worden doorvertaald naar organisatorische routines, processen en structuren, die op hun beurt het toekomstige leren beïnvloeden.¹⁶x M. Noordhoek, Municipal Benchmarking. Organisational Learning and Network Performance in the Public Sector (diss. Aston University), 2013. Barrados en Mayne wijzen,¹⁷x M. Barrados & J. Mayne, ‘Can Public Sector Organisations Learn?’, OECD Journal on Budgeting (3) 2003, afl. 3, p. 87-103. refererend aan Lipshitz en Popper,¹⁸x R. Lipshitz & M. Popper, ‘Organisational Learning in a Hospital’, Journal of Applied Behavioral Science (36), 2000, afl. 3, p. 345-361. op het belang van leermechanismen binnen organisaties als noodzakelijke, maar niet voldoende voorwaarden voor leren. Naast deze systematische arrangementen voor het verzamelen, analyseren en gebruiken van informatie over hun daadwerkelijke prestaties is ook een leergerichte cultuur onontbeerlijk.
  De meest gangbare leermechanismen binnen publieke organisaties zijn prestatiemeting en -monitoring, evaluatie van programma’s en beleid, en externe rapportage van prestaties. Het succes van deze activiteiten is veelal beperkt vanwege problemen met betrekking tot de grote hoeveelheid, het type, de geloofwaardigheid en de tijdigheid van de geproduceerde informatie. Van stelselmatig gebruik van deze meetsystemen is daardoor nauwelijks sprake. Bovendien dragen ze typische kenmerken van veel publieke organisaties, zoals een grote mate van hiërarchie, risico­avers gedrag en een voorkeur voor het volgen van regels en procedures. Deze sluiten niet goed aan bij experimenteren en leren en zorgen ervoor dat de leermechanismen als corvee worden ervaren. Zij pleiten voor stelselmatige reviewmechanismen als integraal onderdeel van het management, om leren te bewerkstelligen en de noodzakelijke leerwaarden aan te leren.

  Het is duidelijk dat leren essentieel is voor innovatieve organisaties. In een steeds veranderende en complexe wereld moeten organisaties, om hun missie te bewaken en hun doelen te kunnen blijven realiseren, doorlopend volgen of wat ze bereiken nog wel overeenkomt met hun missie en doelen. Ook moeten ze discrepanties, die onvermijdelijk optreden, zo snel mogelijk detecteren en gebruiken om bij te sturen. Organisaties die dit leren goed onder de knie hebben, zeg maar de innovatieve (of adaptieve) organisaties, zijn doorgaans de meest succesvolle.¹⁹x Zie bijv. M.G. Russell & N.V. Smorodinskaya, ‘Leveraging Complexity for Ecosystemic Innovation’, Technological Forecasting and Social Change (136) 2018, p. 114-131.
  Lerende organisaties beseffen dat inconsistenties tussen missie, doel en resultaat niet moeten worden weggestopt, maar dat ze een wezenlijke bron van informatie zijn om de noodzakelijke aanpassingen te doen teneinde effectief te kunnen blijven. Hoe sneller duidelijk wordt of een bepaalde aanpak effectief is, des te sneller (en dus met zo weinig mogelijk schade of verspilling) kan worden bijgestuurd of zelfs een einde gemaakt aan een project.²⁰x Dit wordt in het design-denken ook wel fast fail genoemd. Leren vergt dus naast de leermechanismen een open leercultuur, waarin men proactief op zoek gaat naar eventuele discrepanties, zodat deze kunnen worden gebruikt voor continue verbetering. Het is in dat verband ook belangrijk om niet alleen binnen de eigen organisatie een open cultuur te creëren, maar juist ook geregeld extern het net op te halen bij degenen die met het beleid en de regelgeving te maken hebben.²¹x Peter Senge spreek ook wel van participative openness en reflective openness. P. Senge, The fifth discipline; The art and practice of the learning organization, New York: Doupleday Currence 1990. Juist signalen van externe partijen kunnen heel relevant zijn om problemen vroeg in kaart te brengen, voordat deze escaleren.²²x E.G. Guba & Y.S. Lincoln, Fourth Generation Evaluation, Newbury Park, CA: Sage Publishing 1989.

  Er is nog meer te zeggen over waar leren in essentie uit bestaat. Argyris en Schon maken onderscheid tussen single loop learning en double loop learning.²³x C. Argyris, Organization Learning, Oxford: Blackwell Publishers 1994; C. Argyris & D.A. Schön, Organizational Learning, Reading, MA: Addison-Wesley 1978. Single loop learning vindt plaats als mismatches worden gecorrigeerd door acties, vanuit de vraag ‘Doen we de dingen goed?’ Double loop learning vindt plaats als fouten worden gedetecteerd en gecorrigeerd die betrekking hebben op de onderliggende aannames, normen, beleidslijnen en doelstellingen van een organisatie, vanuit de vraag ‘Doen we de goede dingen?’ Dit double loop-leren is van groot belang voor het vermogen van organisaties om zich aan te passen aan veranderende omstandigheden, maar veel organisaties hebben er moeite mee.²⁴x C. Argyris & D. Schön, Organizational Learning: a Theory of Action Perspective, Reading, Mass.: Addison-Wesley 1978. Een nog diepere vorm van leren bestaat eruit dat de vraag aan de orde komt of het systeem wel voldoet (triple loop learning).

  Leren in organisaties²⁵x C. Argyris, ‘Single-loop and double-loop models in research on decision making’, 1976, AdministrativeScience Quarterly (21) 1976, p. 363–375; G.L. Romme, & A. van Witteloostuijn, ‘Circular organizing and triple loop learning’ (12) 1999, Journal of Organizational Change Management, (5), p. 439-454.
  

• 3. Evalueren

  Evalueren is het beoordelen van een onderwerp, oftewel iets op waarde beoordelen of schatten.²⁶x A. Korsten, Wat ervan terecht komt. Zicht op beleidsevaluatie, 2013. Newcomer rekent tot evaluatie zowel een mindset als het toepassen van instrumenten voor het stellen van vragen over activiteiten en resultaten. Evalueren kan onder meer vooraf (ex ante) en achteraf (ex post) worden gedaan.²⁷x K.E. Newcomer, ‘Foreword’, in: B. Perrin & T. Tyrell (red.), Changing Bureaucracies: Adapting to Uncertainty, and How Evaluation Can Help, New York: Routledge 2021. Beleidsevaluatie kan worden omschreven als het op basis van gericht verzamelde informatie en aan de hand van specifieke criteria systematisch beoordelen van beleid.²⁸x P. van der Knaap, V. Pattyn & D. Hanemaayer, Beleidsevaluatie in theorie en praktijk, Boom bestuurskunde 2020. De Nederlandse School voor Openbaar Bestuur (NSOB) benoemt beleidsevaluatie als essentieel en integraal onderdeel van het beleidsproces, met functies van verantwoording én van leren.²⁹x NSOB, Leren institutionaliseren. Reflecties bij het leren door de Rijksoverheid in de deal-aanpak, 2020.

  Het huidige systeem van beleidsontwikkeling en wetgeving leunt sterk op ex-ante- en ex-postevaluatie. Zo spelen bij wetgeving onder meer het kabinet, het ambtelijk apparaat, de Tweede Kamer, de Eerste Kamer en de Raad van State een nadrukkelijke rol in het ontwerp. Het is uiteraard op zichzelf zinvol en wenselijk om aan de tekentafel goed na te denken over de consequenties van een voorgenomen interventie. Maar een essentieel kenmerk van complexe systemen is nu juist dat ze onvoorspelbaar reageren. Dit impliceert dat ex-ante-evaluatie vaak niet kan volstaan, omdat de aannames die zijn gedaan tijdens de ex-ante-evaluatie over de werkingsprincipes van een interventie waarschijnlijk (deels) ongeldig of onvolledig zijn. Het gevolg hiervan zal niet zelden zijn dat de interventie niet het gewenste effect heeft of schadelijke bijeffecten heeft.
  Deels wordt het vorenstaande geadresseerd doordat ook ex-postevaluaties worden uitgevoerd. De werking van beleid en wetten wordt dan na een aantal jaren geëvalueerd.³⁰x Ingevolge de CW 2016 moeten ministers hun beleid periodiek onderzoeken op doeltreffendheid en doelmatigheid. Deze verplichting is uitgewerkt in de Regeling periodiek evaluatieonderzoek. Maar deze evaluaties, die niet bij alle wetgeving plaatsvinden, zijn in de praktijk veelal too little, too late; ze worden mondjesmaat uitgevoerd, komen vaak als mosterd na de maaltijd, en er is weinig interesse om uit de evaluaties lessen te trekken.³¹x M. de Jong, ‘Leren van beleidsevaluatie. De beperkingen van de bril van de controller’, TPC 2007, juni, p. 16-19.
  Er is nog een derde vorm van evalueren, namelijk tijdens de uitvoering. Dit wordt ex durante evalueren genoemd.³²x Er zijn in de literatuur aan ex-durante-evaluatie verwante begrippen bekend zoals reflexive evaluation, real-time evaluation, lerend evalueren en monitoring, waarop we in verband met de scope van dit artikel niet verder in zullen gaan. In dit artikel bedoelen we met ex-durante-evaluatie een formatief leerproces gedurende de uitvoering bestaande uit het periodiek verzamelen van data over de uitwerking van wetgeving en beleid, het interpreteren van deze data, het trekken van conclusies, het rapporteren hierover en het gevolg geven hieraan.³³x Zie Van der Knaap e.a. 2020 voor een verdere toelichting op de drie hoofdvormen van evalueren.

  In dit artikel betogen we dat het verstandig zou zijn om in deze turbulente tijden beleid en wetgeving vooral ex durante, dus tijdens de uitvoering, te evalueren. Door structureel juist ex-durante-evaluatie (hierna: EDE) op beleid en regels toe te passen en te leren van de resultaten daarvan zou het lerend vermogen van de overheid een stevige impuls kunnen krijgen, althans dat deel van de overheid dat zich bezighoudt met beleidsvorming en regulering.³⁴x L. Verwoerd, P. Klaassen & B.J. Regeer, ‘De waarde van lerend evalueren in de praktijk: ervaringen van onderzoekers en beleidsbetrokkenen van de lerende evaluatie van het Natuurpact (2014-2017)’, Beleidsonderzoek Online november 2020. Daardoor kan de overheid in tijden van dynamiek en complexiteit sneller, gerichter en dus effectiever interveniëren en problemen voorkomen die later tot kostbare en tijdrovende juridische procedures kunnen leiden.
  Er wordt op verschillende plaatsen wel geëxperimenteerd met EDE van beleid,³⁵x Zie bijv. de ervaringen bij het Planbureau voor de Leefomgeving (R. Folkert, L. Verwoerd & F. Verwest, ‘Lerend evalueren: navigeren tussen verantwoorden en leren’, Beleidsonderzoek Online juli 2018) en het ministerie van VWS (www.rijksoverheid.nl/documenten/rapporten/2022/03/28/eindrapport-ed-evaluatie-pilot-lerend-evalueren-regioplan). maar dit betreft vooralsnog losse initiatieven zonder institutionele samenhang. Er zijn wel enkele hoopgevende signalen dat de overheid de meerwaarde van EDE begint te zien. Zo is ten aanzien van het Beleidskompas, ofschoon dit instrument als opvolger van het Integraal afwegingskader voor beleid en regelgeving (IAK) primair aan de beleidsvoorbereiding gekoppeld blijft, gesteld dat de aandacht voor de beleidskwaliteit ook in de andere fasen van de beleidscyclus behouden moet blijven.³⁶x Brief van de Minister voor Rechtsbescherming van 20 oktober 2022 over het kompas voor kwaliteit in de beleidsvoorbereiding: IAK wordt Beleidskompas.

  Naar aanleiding van het rapport Ongekend onrecht stelt het kabinet voor een invoeringstoets te ontwikkelen. De invoeringstoets is een ‘lichtvoetige bestudering van nieuwe regelgeving in de praktijk, met bijzondere aandacht voor de gevolgen voor de doelgroep en de uitvoering’.³⁷x Brief van de Minister van Justitie en Veiligheid aan de Tweede kamer d.d. 21 april 2022. Deze invoeringstoets beoogt daarmee deels invulling te geven aan EDE. Hoewel er eerste stappen zijn gezet, is nog veel onbekend over hoe de toets zal worden uitgevoerd, wie dat gaat doen, op welk moment en volgens welke kaders. Ook is onduidelijk of er toezicht op een juiste uitvoering wordt gehouden, en zo ja, door wie.
  Op zichzelf is het een prima idee om via dergelijke initiatieven impulsen te geven aan het lerend vermogen bij de ministeries zelf. Dat zijn immers de organisaties die direct iets kunnen doen met de uitkomsten van de evaluaties. Toch zijn er enkele kanttekeningen bij deze opzet te maken. Ten eerste is onzeker of kritische signalen serieus worden opgevangen en opgevolgd. Voor wat betreft de signalen van binnen de ministeries lijkt het niet erg waarschijnlijk dat dit spontaan en voldoende grondig gebeurt. Zo wees Enthoven op de ophef die in de jaren negentig ontstond doordat ambtenaren zich te vrijmoedig uitlieten over het beleid van de minister.³⁸x G.M.W. Enthoven, Hoe vertellen we het de Kamer? Een empirisch onderzoek naar de informatierelatie tussen regering en parlement, Utrecht: Eburon 2011. De Stichting Beroepseer stelt dat rijksambtenaren in beleid, uitvoering en toezicht de laatste decennia steeds meer ondergeschikt zijn geraakt aan de Haagse politieke wil³⁹x T. Jansen e.a., Het recht op ambtelijk vakmanschap, Culemborg: Stichting Beroepseer 2022. en I&O Research concludeert dat rijksambtenaren behoefte hebben aan een meer ontvankelijke cultuur in het geval dat zij vragen hebben over de wenselijkheid of uitvoerbaarheid van beleid.⁴⁰x E. van der Mark, C. van Miltenburg & P. Kanne, Morele vragen van rijksambtenaren (rapportnr. 2022/128), Amsterdam: I&O Research 2022. Het IAK⁴¹x OECD, Ex Ante Regulatory Impact Assessment: Netherlands, Parijs 2020. en de ex-postevaluaties worden slechts matig geïmplementeerd.⁴²x F.L. Leeuw, Gedragsmechanismen achter overheidsinterventies en rechtsregels, Maastricht: Océ 2008. Betwijfeld kan worden of een puur ambtelijke EDE de wetgever en het omringende politieke krachtenveld voldoende in beweging zal zetten om de leercyclus werkelijk te voltooien.⁴³x Zie ook www.pbl.nl/publicaties/verkennen-waar-wat-werkt.

  Voor wat betreft de kritische signalen van buiten de ministeries zijn de verwachtingen niet veel hoger, zoals al eerder opgemerkt door Remkes⁴⁴x J. Remkes, Wat wel kan; Uit de impasse en aanzet voor perspectief, 2022. en Van Kreveld.⁴⁵x N. van Kreveld, Consultatie bij fiscale wetgeving, Den Haag: Sdu Uitgevers 2016. Het gemak waarmee het evaluerende werk van de Algemene Rekenkamer, onderzoeksinstituten en uitvoeringsorganisaties regelmatig terzijde wordt gelegd, stemt in dit opzicht niet hoopvol.⁴⁶x Zie o.a. de gezamenlijke paper van de vicepresident van de Raad van State, de president van de Algemene Rekenkamer en de Nationale ombudsman t.b.v. de formatiegesprekken, 3 november 2021.
  Een tweede punt is dat het beoogde instrument invoeringstoets niet naar de realisatie van het beoogde doel kijkt, maar vooral naar de praktische knelpunten in de uitvoering. Een reflectie op vervulling van de missie in termen van goed openbaar bestuur en doelbereiking ontbreekt hierdoor. Het is met deze beperkte scope bovendien onmogelijk om meta-analyses uit te voeren, die wel hard nodig zijn om tot double of zelfs triple loop learning te komen.
  Vaak zijn blikken van buitenaf nodig om blinde vlekken zichtbaar te maken en onbevooroordeeld naar het eigen functioneren te kunnen kijken. De bereidheid en het vermogen om een ex-duranteproces adequaat uit te voeren zullen per ministerie verschillen. Omdat de slaagkans van EDE, althans een vorm die werkelijk tot leren leidt, sterk afhangt van de condities, gaan we op deze condities nader in.⁴⁷x Het ligt voor de hand dat het evaluatieproces een functie is van het soort uitdaging. Zo vergen complexe problemen een andere aanpak dan relatief eenvoudige.

• 4. Condities voor EDE van beleid en wetgeving

  Om een EDE te realiseren die in het hart van de processen van beleid en wetgeving functioneert en daardoor werkelijk toegevoegde waarde kan bieden voor de kwaliteit van beleid en wetgeving stellen wij voor dat aan de volgende voorwaarden wordt voldaan:

  1. De evaluatie zal deskundig, professioneel en integraal moeten worden uitgevoerd om de materie goed te kunnen doorgronden en met zinvolle aanbevelingen te komen. Natuurlijk is het van belang dat er voldoende middelen en capaciteit beschikbaar zijn om de continuïteit te waarborgen.

  2. De evaluatie zal in het beleidsproces moeten zijn ingebed en vergezeld moeten gaan van een open leercultuur. Voor een goed werkende evaluatie die ook daadwerkelijk in de politieke arena serieus wordt genomen, is het noodzakelijk dat de evaluatie met gezag en maatschappelijk draagvlak wordt overgebracht. Hierbij horen ook passende bevoegdheden, zoals informatie opvragen en gevraagd en ongevraagd advies geven.

  3. Er is een oprechte interesse van de politiek in en affiniteit met de uitvoering en effecten op burgers noodzakelijk. Ook zou de evaluatie onbevooroordeeld moeten worden uitgevoerd. Ruimte geven aan een kritische blik en tegenvallende resultaten is essentieel om van te leren en tot een goede inventarisatie van goed werkende en minder goed werkende aspecten te komen.⁴⁸x P. van der Knaap & R. Turksma, ‘Oog voor succes: een pleidooi voor positieve zelfevaluatie’ (25) 2016, Bestuurskunde, afl. 2, p. 57-67. Een belangrijk aandachtspunt is ook dat mét (en niet over) burgers en betrokkenen wordt gepraat en te bezien waar zij de grootste problemen mee hebben en hoe die opgelost kunnen worden. Daarnaast zouden klachten moeten worden bijgehouden en geïnventariseerd. Snelheid en responsiviteit zijn belangrijke factoren vanwege de eerdergenoemde complexiteit en dynamiek in de samenleving en de eventuele negatieve gevolgen bij langer dan noodzakelijk volgehouden beleid en regulering. In wezen zou de evaluatie- en bijsturingspraktijk de dynamiek in de samenleving moeten kunnen weerspiegelen.

  4. Gelet op het eerder geschetste gemak waarmee adviezen van de Hoge Colleges van Staat terzijde worden gelegd, is het noodzakelijk maatregelen in te stellen die waarborgen dat de bevindingen van de EDE passend en adequaat worden opgevolgd. Dit zou bijvoorbeeld kunnen door naast de verplichte ex-postevaluatie een wettelijke verplichting op te nemen die dit stipuleert.

  5. Gebruik van een breed kader van evaluatiecriteria, zoals hoger recht en de Code Goed Openbaar Bestuur, is nodig om te voorkomen dat de blik te eenzijdig wordt gericht op doelmatigheid en doeltreffendheid. Zorgvuldigheid en een menselijke maat dienen eveneens continu te worden bewaakt.

  6. Ook moet er sprake zijn van selectiviteit. De focus zou moeten liggen op complexe situaties met grote afbreukrisico’s. Niet elk dossier is voldoende relevant om uitgebreid gevolgd te worden.

• 5. Welke opties zijn er om dit concreet te organiseren?

  Kijkend naar de condities en het doel van EDE zijn verschillende opties denkbaar voor een onafhankelijke, prominente en solide externe positionering daarvan, in aanvulling op versterking van de zelfevaluatie binnen de ministeries zelf. In deze paragraaf bespreken we deze opties. Bij het doordenken van de opties is het van belang stil te staan bij de verwachte effectiviteit, de haalbaarheid en de mate van acceptatie.

  Op het eerste gezicht lijkt het voor de hand te liggen om de externe EDE-taak neer te leggen bij een van de bestaande onafhankelijke instituties, meer in het bijzonder de Raad van State, de Algemene Rekenkamer of de Nationale ombudsman. Zij zijn vanuit hun respectieve wettelijke taken immers reeds belast met het beoordelen van elementen van wetgeving, beleid en uitvoering. De Raad van State richt zich vooral op de ex-antetoetsing van wetgeving. De Algemene Rekenkamer verricht op grond van de Comptabiliteitswet 2016 (CW 2016) onder meer onderzoek naar de doelmatigheid en doeltreffendheid van het beleid. De Nationale ombudsman behandelt klachten van burgers en bedrijven over de bejegening door de overheid.
  Hoewel de genoemde instituties zijn belast met taken die inhoudelijk zijn gerelateerd aan de evaluatie van wetgeving en beleid, lijkt geen van de drie genoemde partijen qua rol en omvang bedoeld en toegerust om de rol van ex-durante-evaluator op zich te nemen. Zij leveren alle drie informatie die relevant kan zijn voor EDE, maar hebben algehele EDE niet als taak.
  Een andere optie die te overwegen valt om EDE als wenselijk nieuw normaal overtuigend tot bloei te brengen, is om een nieuw onafhankelijk orgaan in het leven te roepen, bijvoorbeeld naar het model van de Onderzoeksraad voor Veiligheid, en dit orgaan te voorzien van adequate bevoegdheden en middelen om die taak continu en voor potentieel het geheel aan beleid en wetgeving uit te voeren. De onafhankelijkheid van zo’n orgaan dat EDE als corebusiness heeft, lijkt ons het best gewaarborgd als het niet alleen mentaal, maar ook fysiek midden in de samenleving is gepositioneerd. Verwacht mag worden dat belanghebbenden vanwege deze nabijheid sterk geneigd zullen zijn om relevante signalen te delen met een dergelijk orgaan dat zijn antennes bij uitstek richt op uitvoering en burgers.
  De opdracht zou kunnen zijn:

  1. vaststellen in welke mate het doel van beleid of wetgeving in de praktijk wordt gerealiseerd, in welke mate de aannames die zijn gedaan ten aanzien van de werking van de interventie in de praktijk geldig blijken te zijn en welke positieve en negatieve neveneffecten optreden;

  2. toetsen of recht wordt gedaan aan de principes van variëteit van noodzakelijke deskundigheid (requisite variety), simultaan interactief ontwerpen (simulta­neous coupling) en het beperken van regels tot een minimum noodzakelijk niveau (minimum critical specification);

  3. bepalen of in de praktijk sprake is van conflicten met hoger recht en principes van goed openbaar bestuur;

  4. identificeren van algemene patronen in het proces van ontwerpen en toepassen van beleid en wetgeving die bevorderlijk (best practices) zijn dan wel niet bevorderlijk (bad practices) zijn voor effectiviteit en zorgvuldigheid;

  5. doen van aanbevelingen voor verbetering op zowel casusniveau als algemeen niveau (de praktijk van het ontwerpen en vaststellen van beleid en wetgeving) en het doen van suggesties voor nieuw beleid en wetgeving, daar waar maatschappelijke ontwikkelingen hierom vragen.

• 6. Conclusie

  Continu en snel leren van zowel positieve als negatieve gevolgen van beleid en wetgeving is in deze complexe en dynamische wereld essentieel. De huidige praktijk, die vooral leunt op ex-ante-evaluatie en beperkte ex-post-evaluatie, schiet daartoe welhaast per definitie tekort, gelet op de ervaringen van de afgelopen tijd, zoals bijvoorbeeld met de toeslagenaffaire.
  Daarom pleiten wij in dit artikel voor substantiële inzet op ex-durante-evaluatie van beleid en wetgeving, waarbij niet alleen gedurende de eerste periode na invoering, maar ook daarna gedurende de uitvoering geregeld wordt nagegaan of beleid en wetgeving effectief zijn en geen ongewenste neveneffecten hebben, en of de gedane aannames ten aanzien van de werkingsprincipes valide zijn. Om ten volle te kunnen profiteren van de snelle feedback die ex-durante-evaluatie kan opleveren, is het noodzakelijk dat geborgd wordt dat de aanbevelingen snel en adequaat worden omgezet naar ambtelijke verwerking en politieke besluitvorming.
  Ministeries zouden de ex-durante-evaluatie moeten willen en kunnen oppakken, maar de verwachtingen hierover zijn bescheiden. Daarom geven wij in overweging om een onafhankelijke organisatie op te richten die deze ex-durante-evaluaties op kritische en adequate wijze uitvoert. Belangrijk is dat deze organisatie constructief en stimulerend acteert, zodat leren in het ambtelijk apparaat wordt bevorderd. Ook is het van belang dat deze substantiële activiteit zich duidelijk zichtbaar midden in de samenleving afspeelt, zodat zij de aandacht krijgt die het verdient.

Noten

• * De auteurs danken Ewald de Bruijn, Bert-Jan Houtzagers, Maarten de Jong, Peter van der Knaap, Nils Nijdam, Munish Ramlal, Lieke Schuurman, Lisa Verwoerd en Bas Wakkerman voor hun waardevolle commentaar op een eerdere versie van dit artikel.

• 1 Zie ook S. van Teutem, ‘Uit de crisis? Nederland snakt naar politici die 20 jaar vooruit denken’, De Correspondent 13 september 2022.

• 2 J. den Ridder e.a., Burgerperspectieven. Bericht 1, Den Haag: Sociaal en Cultureel Planbureau 2022.

• 3 Zie bijv. ook de conclusies in Staat van de Uitvoering 2022, 2023 (www.staatvandeuitvoering.nl).

• 4 M.A. de Bree & M. Dees, ‘Complexiteit vraagt om een andere manier van regels maken’, TPC 2019, afl. 6, p. 14-18.

• 5 Mede indachtig de uitspraak van oud-president van de Algemene Rekenkamer Saskia Stuiveling onder haar portret in de Erasmus Universiteit Rotterdam: ‘(…) De publieke sector zou moeten leren van de private sector. Ik denk dat de dingen sneller gaan in de private sector. Zij zijn meer gefocust. En het beste ervan zou moeten worden benut voor de publieke sector.’

• 6 Vergelijkbaar met de Open Multi Stakeholder BeleidsOntwikkeling (OMSBO), zoals voor complexe contexten bepleit in P. van Hoesel & M. Herold, Beleidsontwikkeling in de 21e eeuw, Den Haag: Boom bestuurskunde 2020.

• 7 Zie A.F.A. Korsten, Wat ervan terecht komt. Zicht op beleidsevaluatie (achtergronddocument), 8 april 2013, p. 112 e.v. voor aanbevelingen voor een op leren gerichte cultuur.

• 8 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, Nederlandse code voor goed openbaar bestuur; Beginselen van deugdelijk overheidsbestuur 2009, juni, 20522/1722-GMD32.

• 9 M.A. de Bree & M. Dees, ‘Maatschappelijke dynamiek en complexiteit vergen meer innovatie in beleid en Wetgeving’, TPEdigitaal, januari 2022.

• 10 P. van der Knaap, V. Pattyn & D. Hanemaayer, Beleidsevaluatie in theorie en praktijk 2020, Den Haag: Boom bestuurskunde.

• 11 F.L. Leeuw, R.C. Rist & R.C. Sonnichsen, Can Governments Learn? Comparative Perspectives on Eval­uation & Organizational Learning, New Brunswick/Londen: Transaction Publishers 1994.

• 12 WRR, Lerende overheid. Een pleidooi voor probleemgerichte politiek (WRR Rapporten aan de Regering nr. 75), Amsterdam: Amsterdam University Press 2006.

• 13 J. Remkes, Wat wel kan. Uit de impasse en een aanzet voor perspectief, 2022.

• 14 Onderzoeksraad voor Veiligheid, Aanpak coronacrisis. Deel 2: september 2020 tot juli 2021, Den Haag, oktober 2022.

• 15 P. van der Knaap, ‘Lerende overheid, intelligent beleid’, TPC public audit 2006, afl. 6, p. 24-27.

• 16 M. Noordhoek, Municipal Benchmarking. Organisational Learning and Network Performance in the Public Sector (diss. Aston University), 2013.

• 17 M. Barrados & J. Mayne, ‘Can Public Sector Organisations Learn?’, OECD Journal on Budgeting (3) 2003, afl. 3, p. 87-103.

• 18 R. Lipshitz & M. Popper, ‘Organisational Learning in a Hospital’, Journal of Applied Behavioral Science (36), 2000, afl. 3, p. 345-361.

• 19 Zie bijv. M.G. Russell & N.V. Smorodinskaya, ‘Leveraging Complexity for Ecosystemic Innovation’, Technological Forecasting and Social Change (136) 2018, p. 114-131.

• 20 Dit wordt in het design-denken ook wel fast fail genoemd.

• 21 Peter Senge spreek ook wel van participative openness en reflective openness. P. Senge, The fifth discipline; The art and practice of the learning organization, New York: Doupleday Currence 1990.

• 22 E.G. Guba & Y.S. Lincoln, Fourth Generation Evaluation, Newbury Park, CA: Sage Publishing 1989.

• 23 C. Argyris, Organization Learning, Oxford: Blackwell Publishers 1994; C. Argyris & D.A. Schön, Organizational Learning, Reading, MA: Addison-Wesley 1978.

• 24 C. Argyris & D. Schön, Organizational Learning: a Theory of Action Perspective, Reading, Mass.: Addison-Wesley 1978.

• 25 C. Argyris, ‘Single-loop and double-loop models in research on decision making’, 1976, AdministrativeScience Quarterly (21) 1976, p. 363–375; G.L. Romme, & A. van Witteloostuijn, ‘Circular organizing and triple loop learning’ (12) 1999, Journal of Organizational Change Management, (5), p. 439-454.

• 26 A. Korsten, Wat ervan terecht komt. Zicht op beleidsevaluatie, 2013.

• 27 K.E. Newcomer, ‘Foreword’, in: B. Perrin & T. Tyrell (red.), Changing Bureaucracies: Adapting to Uncertainty, and How Evaluation Can Help, New York: Routledge 2021.

• 28 P. van der Knaap, V. Pattyn & D. Hanemaayer, Beleidsevaluatie in theorie en praktijk, Boom bestuurskunde 2020.

• 29 NSOB, Leren institutionaliseren. Reflecties bij het leren door de Rijksoverheid in de deal-aanpak, 2020.

• 30 Ingevolge de CW 2016 moeten ministers hun beleid periodiek onderzoeken op doeltreffendheid en doelmatigheid. Deze verplichting is uitgewerkt in de Regeling periodiek evaluatieonderzoek.

• 31 M. de Jong, ‘Leren van beleidsevaluatie. De beperkingen van de bril van de controller’, TPC 2007, juni, p. 16-19.

• 32 Er zijn in de literatuur aan ex-durante-evaluatie verwante begrippen bekend zoals reflexive evaluation, real-time evaluation, lerend evalueren en monitoring, waarop we in verband met de scope van dit artikel niet verder in zullen gaan.

• 33 Zie Van der Knaap e.a. 2020 voor een verdere toelichting op de drie hoofdvormen van evalueren.

• 34 L. Verwoerd, P. Klaassen & B.J. Regeer, ‘De waarde van lerend evalueren in de praktijk: ervaringen van onderzoekers en beleidsbetrokkenen van de lerende evaluatie van het Natuurpact (2014-2017)’, Beleidsonderzoek Online november 2020.

• 35 Zie bijv. de ervaringen bij het Planbureau voor de Leefomgeving (R. Folkert, L. Verwoerd & F. Verwest, ‘Lerend evalueren: navigeren tussen verantwoorden en leren’, Beleidsonderzoek Online juli 2018) en het ministerie van VWS (www.rijksoverheid.nl/documenten/rapporten/2022/03/28/eindrapport-ed-evaluatie-pilot-lerend-evalueren-regioplan).

• 36 Brief van de Minister voor Rechtsbescherming van 20 oktober 2022 over het kompas voor kwaliteit in de beleidsvoorbereiding: IAK wordt Beleidskompas.

• 37 Brief van de Minister van Justitie en Veiligheid aan de Tweede kamer d.d. 21 april 2022.

• 38 G.M.W. Enthoven, Hoe vertellen we het de Kamer? Een empirisch onderzoek naar de informatierelatie tussen regering en parlement, Utrecht: Eburon 2011.

• 39 T. Jansen e.a., Het recht op ambtelijk vakmanschap, Culemborg: Stichting Beroepseer 2022.

• 40 E. van der Mark, C. van Miltenburg & P. Kanne, Morele vragen van rijksambtenaren (rapportnr. 2022/128), Amsterdam: I&O Research 2022.

• 41 OECD, Ex Ante Regulatory Impact Assessment: Netherlands, Parijs 2020.

• 42 F.L. Leeuw, Gedragsmechanismen achter overheidsinterventies en rechtsregels, Maastricht: Océ 2008.

• 43 Zie ook www.pbl.nl/publicaties/verkennen-waar-wat-werkt.

• 44 J. Remkes, Wat wel kan; Uit de impasse en aanzet voor perspectief, 2022.

• 45 N. van Kreveld, Consultatie bij fiscale wetgeving, Den Haag: Sdu Uitgevers 2016.

• 46 Zie o.a. de gezamenlijke paper van de vicepresident van de Raad van State, de president van de Algemene Rekenkamer en de Nationale ombudsman t.b.v. de formatiegesprekken, 3 november 2021.

• 47 Het ligt voor de hand dat het evaluatieproces een functie is van het soort uitdaging. Zo vergen complexe problemen een andere aanpak dan relatief eenvoudige.

• 48 P. van der Knaap & R. Turksma, ‘Oog voor succes: een pleidooi voor positieve zelfevaluatie’ (25) 2016, Bestuurskunde, afl. 2, p. 57-67.