|
door drs. B. Bulder*
De praktijk van het beleidsonderzoek bestaat naast het explorerende en monitoronderzoek uit evaluatieonderzoek. In Basis zijn daarvan vele voorbeelden te zien in de vorm van ex ante toetsen, procesanalyses, tevredenheidsmetingen en andere effectiviteitonderzoeken. Hoewel een evaluatie heel verschillende vormen kan aannemen, zijn er toch enkele algemene principes die men kan toepassen om evaluaties te verbeteren. In dit artikel volgt een zevental opmerkingen over de strategie van effectieve evaluaties.
Reconstrueren komt vóór evalueren
Een onderzoeker krijgt de opdracht het beleid te evalueren. Zijn eerste vraag is: Wat is het beleid? Het is verbazingwekkend hoe vaak beleidsmakers er zondermeer van uitgaan dat het antwoord op die vraag duidelijk is. Voor sommigen is het beleid een pakket wetten en regels, zwart op wit. Voor anderen is het een historisch overzicht van de inspanningen van hun organisatie. In bijna alle gevallen ontbreekt een systematisch en volledig overzicht van beleidsdoelen, beleidsinstrumenten en de argumentatie waarom het beleid tot het bereiken van de gewenste doelen zal leiden.
Het is dan nodig eerst een reconstructie van het beleid op te stellen. Door studie van nota's en notulen en gesprekken met verschillende direct betrokkenen verzamelt de evaluator de benodigde informatie. Deze wordt dan bij voorkeur gepresenteerd in een schema dat de veronderstelde relaties tussen doelen en instrumenten toont. Bijzondere aandacht gaat uit naar de dynamiek in het beleid: zijn doelen meer of minder belangrijk geworden, is sprake van doelverschuiving en zijn er verschillende betrokkenen met verschillende doelen en prioriteiten?
Zoek houvast bij het evaluatiekader
Bij evaluatiekaders doen zich twee valkuilen voor. De eerste is dat een machtig evaluatiekader wordt uitgebouwd, dat vervolgens niet kan worden waargemaakt bij de dataverzameling. De vlieger gaat niet op omdat hij te zwaar is. De tweede valkuil is dat het evaluatiekader te weinig is uitgewerkt zodat de gegevensverzameling stuurloos verloopt. De vlieger heeft geen staart en is niet in balans.
Bij het opstellen van het evaluatiekader bewijst de reconstructie zijn nut. Het evaluatiekader specificeert op welke thema's het onderzoek zich gaat richten en hoe op basis van de uitkomsten het oordeel wordt opgemaakt. Tot het evaluatiekader kunnen zowel operationele omschrijvingen van de implementatie van beleid behoren ("Er is een kwaliteitszorg programma opgesteld") als concretiseringen van de doelen van het beleid ("Het gaat in 2001 beter met de doelgroep in termen van het aantal dagen ziekteverzuim").
Vergelijken is de basis, maar er is meer…
Iedere evaluator zoekt de vergelijking. Voor en na, hier en daar. Vergelijkingen worden vaak beschouwd als de ultieme toets. In de praktijk valt het vaak tegen. Er zijn 'storende' variabelen, gewijzigde omstandigheden of de meting van de indicatoren is net iets anders. De werkelijkheid van een beleidsmaker is nu eenmaal geen laboratorium waarin alle omstandigheden zijn te controleren. Het 'design volgens het boekje' levert dan verassend weinig op. Boekje weggooien? Niet nodig. Vergelijkend onderzoek is een prima basis maar meestal niet het einde. Het moet worden gevolgd door onderzoek waarbij naar aanleiding van de vergelijking van gegevens wordt doorgevraagd. Waar is wel verschil, waar niet? Is daarvoor een verklaring? Vaak is die vraag niet te beantwoorden met de beschikbare gegevens zodat een aanvullende slag in het onderzoek nodig is.
Evaluatie geeft een blik op het mechanisme
Onderzoekers maken gebruik van reeds beschikbare statistieken en verzamelen ook zelf informatie over indicatoren. Die indicatoren zijn vaak van allerlei invloeden afhankelijk. Niet alleen van het beleid dat wordt geëvalueerd. De kans is groot dat op basis van deze statistieken de concrete werking van het beleid onvoldoende zichtbaar wordt. Wie een organisatorische maatregel in de thuiszorg evalueert kan het aantal zorguren in de beschouwing betrekken. Terecht. Toch is de kans groot dat op basis van dit getal alleen geen conclusies mogelijk zijn. Het onderzoek blijft teveel aan de oppervlakte en geeft geen blik onder de motorkap. Eigenlijk willen we laten zien wat het concrete gevolg is van die maatregel voor het gedrag van concrete managers en concrete zorgverleners. Ook willen we zo direct mogelijk registreren welke veranderingen dit eventueel voor de cliënt heeft. En vervolgens ook van binnenuit begrijpen waarom de maatregel wel of niet effect heeft op het aantal uren. Om dit te realiseren nemen we in het design onderdelen op die ons direct of indirect brengen op de plek waar het gebeurt of zou moeten gebeuren.
Het onderzoeksdesign moet de blik verruimen en niet beperken
Iedere onderzoeker is gehouden aan een plan. Hij moet dus keuzen maken. Bepaalde gegevens en invalshoeken blijven ongebruikt. Dit moet echter niet zover gaan dat onderzoekers zichzelf een blikvernauwing opleggen. Zij doen dit als zij menen dat alle interessante variabelen vooraf bedacht kunnen worden en in een design verwerkt. Waarna dat design zonder rechts of links te kijken wordt gevolgd. Zo sluiten zij hun ogen voor onbedoelde effecten en voor de outcomes van beleid in bredere zin. In een ideaal onderzoek moet daarom ook ergens een 'groothoekcamera' zijn opgesteld die over een breed spectrum aanvullende waarnemingen kan doen. Zo'n 'camera' kan natuurlijk ook bestaan uit een groter aantal waarnemers, die samen het spectrum bestrijken. In sociaal beleidsonderzoek kan bijvoorbeeld een goed gekozen panel van externe personen zo'n camera vormen. Maar er zijn ook andere mogelijkheden om de vensters open te houden.
Kwalitatief en kwantitatief versterken elkaar
Het onderscheid tussen kwalitatief en kwantitatief was voorheen inzet van een methodestrijd op leven en dood. Ik stel voor dat we de slachtoffers aan beide zijden herdenken door te streven naar een combinatie van beide. Daarbij kunnen we ons realiseren dat kwantitatief of kwalitatief onderzoek op zichzelf niet zo verschillend zijn, in zoverre dat het altijd gaat om zorgvuldig en systematisch registreren. Het verschil zit eerder in het gebruik van de gegevens als argument. We kunnen argumenteren op basis van tellen en argumenteren op basis van vertellen. Wie beide kan, kan meer.
Evalueren loopt uit op leren
Benutting van onderzoek vraagt dat de beleidsmakers de rol van leerling op zich kunnen nemen en op dat moment de onderzoeker de rol van leermeester gunnen. Wie alleen maar de baas kan spelen en ook wil dat onderzoekers onderdanig zijn in de manier waarop zij hun werk uitvoeren en presenteren zal weinig van hun werk opsteken. Onderzoekers moeten dit spel ook willen en kunnen spelen. Als zij te bescheiden zijn of te arrogant frustreren zij van hun kant het spel.
Dit spel krijgt geen kans in een organisatie die beheerst wordt door 'powerplay'. In zo'n organisatie is men bang voor elkaar en worden onderzoeksgegevens als een bedreiging gezien of als een stok om elkaar te slaan. Hiertegenover staat het model van een lerende organisatie waarin men in staat is op zijn tijd een lerende houding aan te nemen.
Dit artikel verscheen eerder in Basis, 2000, nr. 4.
* Bert Bulder was als projectleider werkzaam bij Research voor Beleid
| 
