Kans of valkuil?

door drs. T.K. Grimmius en drs. A. Oostdijk*

In het verlengde van de operatie 'Van Beleidsbegroting tot Beleidsverantwoording' formuleert de 'Regeling prestatiegegevens en evaluatieonderzoek rijksoverheid' uitgangspunten voor het monitoren en evalueren van rijksbeleid. Enkele van deze uitgangspunten worden in dit essay gespiegeld aan ervaringen uit de praktijk van het beleids(evaluatie)onderzoek. Als zodanig lijkt de Regeling een goede basis voor het in de toekomst beter verantwoorden van beleid. Beleidsmakers worden aangezet van te voren beter na te denken over het waarom en het hoe van het beleid, over de in te zetten middelen en het monitoren van de voortgang en het evalueren van de beleidseffecten. De Regeling houdt echter ook een risico in dat beleidsmakers gefixeerd raken op de meetbaarheid van beleidsdoelstellingen en -effecten.

Met ingang van het begrotingsjaar 2002 zijn de departementale begrotingen op een meer beleids- en minder op een middelgeoriënteerde leest geschoeid. Dit is een uitkomst van het project Van Beleidsbegroting tot Beleidsverantwoording (VBTB) dat tot doel heeft op rijksniveau te komen tot een resultaatgericht sturingsmodel. De begrotingen 'nieuwe stijl' dienen antwoord te geven op drie vragen.

1. Wat willen we bereiken? Doelen van het beleid worden zoveel mogelijk vertaald in concreet te bereiken effecten in termen van doelgroepen, streefwaarden en eindtermijnen.
2. Wat gaan we daarvoor doen? Aangegeven wordt welke activiteiten worden ondernomen en welke instrumenten worden ingezet om de doelen te bereiken.
3. Wat mag dat gaan kosten?

De departementen leggen verantwoording af over het gevoerde beleid en de behaalde resultaten in jaarverslagen die op de derde woensdag in mei - inmiddels ook bekend als Woensdag gehaktdag - in de Tweede Kamer worden besproken.

Prestatiegegevens en evaluatieonderzoek
VBTB vraagt nog meer dan voorheen aandacht voor het systematisch monitoren en evalueren van beleid. De uitgangspunten hiervoor zijn neergelegd in de Regeling prestatiegegevens en evaluatieonderzoek rijksoverheid (hierna kortweg 'Regeling' genoemd).
Kernbegrippen bij de evaluatie van beleid zijn doelbereik, doeltreffendheid en doelmatigheid. De Regeling onderscheidt twee belangrijke evaluatie-instrumenten: systemen van reguliere prestatiegegevens (monitoringsystemen) en periodiek evaluatieonderzoek, waaronder ex ante en ex post evaluaties.
Voor nieuw beleid geldt de verplichting af te wegen of evaluatieonderzoek ex ante zinvol is en dient plaats te vinden. In de begroting en het jaarverslag opgenomen doelstellingen van beleid dienen in de regel tenminste eens in de vijf jaar te worden geëvalueerd door evaluatieonderzoek ex post.

Van input naar doelen
Nieuw aan VBTB is dat niet de beleidsinput, maar concrete beleidsdoelen primair uitgangspunt zijn voor de beleidsverantwoording: zijn de doelen behaald met een efficiënte inzet van middelen? De Regeling biedt een kader voor de wijze waarop deze verantwoording wordt vormgegeven. Evaluatief-inhoudelijk biedt de Regeling op zich weinig nieuws. Reeds voor VBTB waren met name monitoring en evaluatieonderzoek ex post veel gebruikte evaluatie-instrumenten. Evaluatieonderzoek ex ante en doelmatigheids- of te wel kosteneffectiviteitsonderzoek zijn tot nog toe veel minder wijdverbreid. Veel zogenaamde 'evaluaties ex ante' blijken eerder verkennend en diagnostisch van aard dan dat ze zijn gericht op een systematische afweging van beleidsalternatieven. Een goed voorbeeld van 'echte' evaluaties ex ante zijn milieueffectrapportages waarin de milieueffecten van beleidsalternatieven naast elkaar worden gezet. Ook doelmatigheidsonderzoek in de strikte zin van het woord wordt betrekkelijk weinig uitgevoerd. Enerzijds heeft dit ermee te maken dat in het pré-VBTB tijdperk minder aandacht was voor de relatie tussen effecten en kosten. Anderzijds is er ook een zeer pragmatische reden, namelijk dat het dikwijls niet mogelijk blijkt de aan het gevoerde beleid gerelateerde kosten boven tafel te krijgen, zodat de vraag naar de kosteneffectiviteit doorgaans in kwalitatieve en indicatieve termen wordt beantwoord.
Uiteraard is het onontkoombaar dat een document als de Regeling monitoring en evaluatie van beleid op een schematische wijze beschrijft. Desondanks kunnen wij ons niet aan de indruk onttrekken dat monitoring van beleid en de bepaling van de beleidseffecten door evaluatieonderzoek worden opgevat als rationele, formele processen, die - mits goed uitgevoerd - leiden tot het gewenste inzicht in de voortgang en doeltreffendheid van beleid. Deze visie gaat er van uit dat het proces van beleidsformulering en -uitvoering een rationeel en planmatig gebeuren is, dat beleidsdoelstellingen eenduidig gedefinieerd en in meetbare grootheden geoperationaliseerd kunnen worden en dat beleidseffecten ondubbelzinnig zijn te benoemen.
De veronderstelling dat aan de Regeling een dergelijke rationele visie op beleidsevaluatie ten grondslag ligt wordt nog eens versterkt door de nadruk op het kwantitatieve karakter van evaluatie. In die zin is het illustratief dat in de begrippenlijst kwantitatief en kwalitatief evaluatieonderzoek nader worden omschreven als respectievelijk 'rationeel-analytisch' en 'constructivistisch' evaluatieonderzoek. Zoals we verderop laten zien valt constructivisme buiten het gedachtegoed van de Regeling.
In het vervolg willen we illustreren dat beleidsformulering en -uitvoering niet als zuiver rationele processen zijn op te vatten, doelstellingen niet altijd eenduidig en/of meetbaar zijn en het meten van beleidseffecten een uiterst gecompliceerde aangelegenheid is waarbij gebruik wordt gemaakt van zowel kwantitatieve als kwalitatieve onderzoeksmethoden.

Rationaliteit en onderhandeling
In het zogenoemde rationele beleidsmodel worden beleidsformulering en -uitvoering gezien als een rationeel proces. Op basis van volledige informatie worden op voorhand beleidsdoelen geformuleerd waarna stap voor stap op controleerbare wijze wordt gewerkt aan de realisatie daarvan. Aan deze opvatting is het in de Regeling weerklinkende 'mechanische model' input proces output (prestaties) outcome (effect) ontleend.
Een tegenovergestelde opvatting huldigt het zogenoemde onderhandelingsmodel dat beleid opvat als een proces met een vage, veelal achteraf zichtbare ordening waarbij concepten als invloed, draagvlak en multicausaliteit een belangrijke rol spelen. Het gevoerde beleid is niet zozeer de resultante van een rationeel proces, maar uitvloeisel van een complex aan onderhandelingen, compromissen en omgaan met onzekerheden.
De beleidspraktijk bevat elementen van beide visies. In principe of misschien beter, idealiter, wordt beleid van tevoren zoveel mogelijk doordacht en gepland, alhoewel de noodzaak van een project als VBTB aantoont dat tot nog toe onvoldoende is gedacht in termen van doelen en doelbereik. Een dergelijke systematische aanpak kan echter de zojuist genoemde onzekerheden niet uitsluiten, maar dient ze juist een plaats te geven in het beleidsproces. Zo zijn in onze spreekwoordelijke polder dikwijls meerdere ingelanden betrokken bij de formulering en/of uitvoering van beleid. Te denken valt aan (verschillende departementen binnen) de rijksoverheid, decentrale overheden en/of belangengroeperingen. De betrokkenheid van meerdere actoren kan voortvloeien uit de behoefte aan draagvlak voor het te voeren beleid en/of uit de sturingsfilosofie, bijvoorbeeld rijksbeleid uitgevoerd door meerdere departementen of door gemeenten. In een dergelijke beleidscontext blijken de verschillende participanten (ook binnen de rijksoverheid en zelfs binnen departementen) dikwijls eigen doelen te hanteren en er onrealistische verwachtingen op na te houden over elkanders rol en mogelijkheden.
De constatering dat beleid theoretisch gezien niet rationeel is wil overigens niet zeggen dat actoren in hun concrete handelen niet rationeel te werk zouden gaan. Dat beleid op zijn minst elementen bevat van het onderhandelingsmodel heeft vanuit het perspectief van de evaluator echter wel tot gevolg dat doelen niet altijd eenduidig te benoemen zijn, dat de instrumentkeuze niet de theoretisch optimale behoeft te zijn, dat financiële middelen eindig en mogelijk van verschillende participanten afkomstig zijn.

Meetbaarheid en meten
Ten behoeve van monitoring en evaluatie dienen de input-, output- en effectindicatoren te worden geoperationaliseerd in meetbare grootheden, de zogenoemde prestatiegegevens. Bij het benoemen van deze gegevens lopen we in evaluatieonderzoek regelmatig tegen inhoudelijke en structurele problemen aan.

Inhoudelijk gezien kan het moeilijk, zo niet onmogelijk zijn doelen en effecten in meetbare prestatie-indicatoren te operationaliseren. Illustratief is een voorbeeld uit de praktijk van de wetshandhaving. Doel van de handhaving is het bevorderen van de naleving van wet- en regelgeving. Naleving is een uiterst lastig te meten variabele. Immers, overtreders zullen niet geneigd zijn dit van zichzelf toe te geven. Men zal de naleving dus vooral moeten vaststellen door middel van controles. Vervolgens is de diepgang van deze controles weer van invloed op het gemeten nalevingsniveau: hoe beter wordt gecontroleerd, hoe groter de kans dat een overtreding wordt geconstateerd. In handhavingsland heeft men zich jaren het hoofd gebroken over hoe een betrouwbaar nalevingsniveau te berekenen. Soms heeft dit geleid tot het aanpassen van de handhavingsuitvoering. Om zo effectief en efficiënt mogelijk te handhaven werken veel handhavingsorganisaties volgens het principe van prioritering. Kort gezegd houdt dit in dat men zich vooral richt op segmenten van de doelgroep waarin de grootste effecten van de handhaving te verwachten zijn. Dit betekent dat men minder actueel zicht heeft op de minder risicovol geachte segmenten. Om de naleving voor de gehele doelgroep toch 'wetenschappelijk' te kunnen meten is het voorgekomen dat men naast de inhoudelijk gefundeerde prioritaire handhavingsaanpak een apart controletraject heeft opgezet.

De Regeling constateert dat al heel veel gegevens structureel in de reguliere managementsystemen aanwezig zijn. Dat mag zo zijn, maar waar we bij evaluatieonderzoek dikwijls tegen aanlopen is dat deze gegevens niet goed bruikbaar zijn voor de evaluatie. Meer dan eens komen opdrachtgevers van evaluatieonderzoek tot hun verrassing tot het inzicht dat gegevens waarvan ze verondersteld hadden dat deze dienstig zouden kunnen zijn voor de monitoring en/of evaluatie meer of minder onbruikbaar blijken. Dit verbaast niet, omdat zoals ook de Regeling opmerkt de gegevens vaak sturingsgegevens zijn gericht op procesbeheersing. Daar komt nog bij dat als gevolg van de al eerder gememoreerde betrokkenheid in het beleidsproces van meerdere actoren met al dan niet eigen doelstellingen, prestatiegegevens zich niet alleen in verschillende bestanden bevinden, maar ook op verschillende manieren zijn gedefinieerd en worden onderhouden. Gevolg is dat gegevens vanwege technische, inhoudelijke en/of kwaliteitsverschillen niet zijn te koppelen. Andere ervaringen zijn dat actoren niet bereid zijn hun gegevens beschikbaar te stellen, dat de discipline om sturingsgegevens bij te houden niet altijd aanwezig is, dat gegevens vervuilen en systemen van prestatiegegevens een zekere inertie in zich hebben. Eerst duurt het enige tijd een systeem te realiseren, waarna het vervolgens een zekere levensduur heeft en moeilijk is aan te passen aan zich wijzigende behoeften.

Quasi-experimenteel versus constructivisme
Als we er dan al in geslaagd zijn een goed doordacht beleidsprogramma te formuleren en uit te voeren en heldere gekwantificeerde prestatiegegevens hebben benoemd, staan we voor de opgave de effectiviteit van het beleid te meten. Met andere woorden: we stellen ons de vraag in hoeverre een beleidsdoel is bereikt en wat de bijdrage van het beleid daaraan is geweest. In de evaluatiepraktijk blijkt dit steeds weer een lastig probleem omdat doorgaans naast het beleid een veelheid van maatschappelijke factoren invloed heeft op het te bereiken effect. Het vraagstuk van de relatie tussen beleidsinspanningen en beleidseffecten heeft tot een aantal stromingen geleid in het evaluatieonderzoek. Aan de ene kant van het spectrum staat de 'klassieke' methode van het quasi-experiment, waarbij - om kort te gaan - onderscheid wordt gemaakt tussen een experimentele en een controlegroep. Deze groepen verschillen niet anders van elkaar dan dat de experimentele groep wel en de controlegroep niet wordt blootgesteld aan het beleid. Voorafgaand aan en volgend op de introductie van het beleid worden de effectvariabelen gemeten. Een verschil in de effectvariabelen tussen beide groepen na de introductie van het beleid wordt toegeschreven aan het beleid. Immers, het al dan niet blootgesteld zijn aan het beleid is het enige verschil tussen beide groepen en derhalve de verklaring voor een verschil in score op de effectvariabele. Doorgaans blijkt deze opzet inadequaat en de evaluator niet in staat het effect van het beleid op deze wijze uit zijn onderzoeksresultaten te destilleren. Oorzaak hiervoor is dat niet kan worden voldaan aan de eisen van het design, dat er primair op is gericht alle relevante verschillen - behalve het al dan niet blootgesteld zijn aan het beleid - tussen de experimentele en controlegroep uit te schakelen. Het blijkt vrijwel ondoenlijk op deze wijze voor alle relevante variabelen te controleren. Bovendien ontbreekt dikwijls de mogelijkheid van een nulmeting en houdt het design geen rekening met tussentijdse beleidswijzigingen. Tot slot wordt door de focus op allerlei andere (constant te houden) variabelen weinig inzicht geboden in de wijze waarop het beleid (door)werkt, waardoor de evaluatie beleidsinhoudelijk gezien weinig leerpunten oplevert.
Tegenover dit klassieke evaluatiemodel staan aan de andere kant van het evaluatiespectrum zogenoemde 'constructivistische' evaluatiemethoden. Constructivistische beleidsevaluatie gaat er vanuit dat waarneming berust op interpretatie, de werkelijkheid dus een construct en derhalve altijd subjectief is. Ergo: beleidseffecten zijn niet objectief vast te stellen. De beleidsevaluator treedt vooral op als procesfacilitator, die in een open dialoog met alle betrokkenen hun interpretaties boven water probeert te krijgen om op grond hiervan een onderhandelingsagenda te construeren. Het behoeft geen betoog dat binnen de Regeling geen ruimte is voor het constructivistische gedachtegoed.

Missing link: de beleidstheorie
De vraag die zich opwerpt is of de effectiviteit van beleid wel vast te stellen is. Het antwoord daarop is 'ja'. Naar ons idee vormt de zogenoemde beleidstheorie - de veronderstelde relatie tussen de in te zetten middelen en de beoogde doelstellingen - het uitgangspunt voor beleid en de evaluatie daarvan. Doorgaans is deze theorie weinig expliciet doordacht. Zelfs wanneer dit wel het geval is raakt de theorie gedurende het beleidsproces geleidelijk op de achtergrond. De evaluator dient dan ook te beginnen met de reconstructie ervan.
Analoog aan het wetenschappelijk onderzoek vormt de beleidstheorie de basis voor het evaluatieonderzoek. Immers, deze theorie bestaat uit een aantal hypothesen over de wijze waarop de gestelde doelen moeten worden bereikt. De evaluator vraagt derhalve niet alleen of de doelen zijn bereikt, maar ook of de uitvoering is verlopen zoals voorzien, welke knelpunten zijn opgetreden, wat best practices zijn enzovoort. Dergelijke evaluatie sluit aan bij de hierboven gedane constatering dat beleid elementen bevat van het onderhandelingsmodel. Dit gegeven impliceert dat bruikbare evaluaties zich niet alleen richten op de beleidsprestaties en -effecten maar ook op het uitvoeringsproces, of te wel op de verbindende schakels tussen beleidsinput en -doelen. Op deze wijze levert de evaluatie ook leerpunten voor de uitvoeringspraktijk.
Tot slot beperkt evaluatie zich niet, zoals de Regeling suggereert, tot kwantitatieve methoden. Door de koppeling van enerzijds kwantitatief aan rationeel-analytisch en anderzijds kwalitatief aan constructivistisch onderzoek, relateert de Regeling begrippen van verschillende orde aan elkaar. 'Rationeel-analytisch' en 'constructivistisch' hebben te maken met de filosofische oriëntatie van de onderzoeker, kwantitatief en kwalitatief met de methode van onderzoek. Wij onderschrijven de 'rationeel-analytische' benadering van evaluatieonderzoek in die zin dat de onderzoeker werkt vanuit een set te toetsen hypothesen, waarbij hij al naar gelang de informatiebehoefte en de aard en beschikbaarheid van de gegevens gebruik maakt van kwantitatief dan wel kwalitatieve onderzoeksmethoden. Vaak zal juist een combinatie van kwantitatief en kwalitatief onderzoek het inzicht vergroten.

Kans of valkuil?
De Regeling biedt belangrijke aanknopingspunten voor de hierboven geschetste visie op evaluatie omdat ze oproept tot het tijdens de voorbereiding en uitvoering goed (blijven) doordenken van het te voeren beleid. Op deze wijze opgevat, vraagt de Regeling aandacht voor de beleidstheorie. Het van te voren goed expliciteren van het beleid - en de rol en mogelijkheden van daarbij te betrekken partijen - levert al een eerste moment van toetsing, of zo men wil verantwoording: is de theorie consistent, zijn de doelen helder en realistisch, is het beleid uitvoerbaar? De tot nu toe wat ondergeschoven evaluatie ex ante kan hierbij een rol spelen.
Pas nadat men een in maatschappelijk opzicht goed beleidsmodel heeft ontworpen, is de vraag aan de orde hoe de doelstellingen en effecten kunnen worden gemeten. Gezien het voorafgaande wekt het geen verbazing dat zich ook na de introductie van VBTB en de Regeling situaties zullen voordoen waarin doelstellingen niet of slechts bij benadering te meten zijn.
Het gevaar van de Regeling is er in onze optiek in gelegen dat ze tot de onterechte conclusie kan leiden dat beleidsvorming is op te vatten als een rationeel proces, dat prestatiegegevens altijd zijn te operationaliseren in meetbare grootheden en dat effecten van beleid eenduidig kunnen worden benoemd. Wanneer de Regeling in de beleidspraktijk zodanig wordt geïnterpreteerd zal dit kunnen leiden tot blikvernauwing: een fixatie op het meetbaar maken van prestatiegegevens. Niet het waartoe van het beleid en de wijze waarop de gestelde doelen kunnen worden bereikt, maar de meetbaarheid van doelstellingen en effecten dreigt dan voorop te komen te staan. In dat geval bestaat het risico dat, om te kunnen voldoen aan de eis van meetbare doelstellingen, vanuit maatschappelijk oogpunt sprake is van sub-optimale beleidsvorming.

Om kort te gaan: VBTB en de Regeling moeten niet primair leiden tot meetbare beleidsdoelstellingen maar tot een goed doordacht beleid, dat zoveel mogelijk is uitgedrukt in meetbare en te evalueren doelstellingen.

Dit artikel, dat eerder verscheen in Basis, 2002, nr. 2, is een bewerking van een voordracht voor de Interdepartementale begeleidingsgroep prestatie-gegevens en beleidsevaluatie op 20 september 2001.

* Ton Grimmius en André Oostdijk zijn respectievelijk werkzaam als lid van het directieteam en projectleider bij Research voor Beleid.