Beleidsevaluatie

Beleidsevaluatieonderzoek focust op de relatie tussen de beleidsdoelen, het gevoerde beleid en de uiteindelijke beleidseffecten (effectiviteit of doeltreffendheid). Centrale vraag is of beleidseffecten in overeenstemming zijn met de vooraf gestelde doelen en of sprake is van eventuele niet voorziene (positieve dan wel negatieve) effecten. Wanneer tevens de vraag wordt gesteld of de effecten tegen aanvaardbare kosten zijn bereikt, is sprake van efficiëntie- of doelmatigheidsonderzoek.

Doorgaans is het niet eenvoudig de effecten van beleid te meten omdat deze effecten moeten worden gerealiseerd in een complexe, multi-causale maatschappelijke werkelijkheid. Er is dan ook sprake van een continu debat over de methodologie van beleidsevaluaties. Research voor Beleid en zusterorganisatie IOO nemen actief deel in dit debat om zo hun ervaringen opgedaan in vele evaluatieonderzoeken met een breder publiek te delen. Zo werd in 2006 en 2004 een Special van onze periodiek Basis-tijdschrift voor Beleidsonderzoek gewijd aan de theorie, methoden en praktijk van beleidsevaluatieonderzoek. Daarnaast geven we regelmatig lezingen, verzorgen we cursussen en adviseren we opdrachtgevers bij het opzetten van door hun zelf uitgevoerde evaluaties.

Kenmerkend voor door Research voor Beleid en IOO uitgevoerde evaluaties is de aandacht voor:

• de beleidstheorie: is sprake van adequate probleemanalyse en een plausibele relatie tussen de te bereiken doelen en het beleidsontwerp?
• de daadwerkelijke beleidsuitvoering: wordt het beleid uitgevoerd zoals beoogd?
• vergelijking van de doel/effectvariabelen: is sprake van de gewenste maatschappelijke verandering?
• de vraag of er alternatieve verklaringen zijn voor deze veranderingen
• de effectiviteit van het beleid: is gegeven de antwoorden op de vorige vragen sprake van een beleidseffect?

Gezien deze uitgangspunten, bestaat ons evaluatieonderzoek doorgaans uit een combinatie van kwantitatief en kwalitatief onderzoek zodat inzicht ontstaat in de ontwikkeling van maatschappelijke indicatoren, de beleidsuitvoering en de relatie tussen beide. Deze insteek voorkomt de typische ‘model driven’ black-box-aanpak van veel evaluatieonderzoek. In zo’n aanpak staat de (kwantitatieve) voor- en nameting van de doelvariabelen, bij voorkeur in een experiment- en controlegroep centraal, maar is weinig aandacht voor het beleid zelf. Behalve dat deze opzet in de praktijk veelal niet haalbaar blijkt, biedt ze weinig inzicht in de vraag waarom beleid wel of niet effectief is en daarmee in aangrijpingspunten om de effectiviteit te vergroten.

Het verschil tussen deze en onze aanpak wordt geïllustreerd door een opmerking van een klant naar aanleiding van twee evaluaties, waarvan één door ons werd uitgevoerd. De ene evaluatie was ‘mopperig’ blijven steken in de constatering dat het beleid niet had voldaan aan allerlei eisen inzake doelformulering en nulmeting waardoor de effectiviteit niet kon worden vastgesteld, terwijl de studie van Research voor Beleid ondanks dat, zicht bood op de effectiviteit van het beleid en aangrijpingspunten voor verbetering daarvan.