Faalfactoren in evaluatieonderzoek

door drs. B. Dekker*

Zo'n twintig jaar geleden ergerde A.D. de Groot, goeroe van het onderwijskundig evaluatie-onderzoek, zich aan modieuze trends en hypes in zijn vakgebied. Hij vergeleek ze met paddestoelpopulaties: zo overwoekeren ze het veld, en zo zijn ze plots weer weg. Het is een nog steeds ter harte te nemen waarschuwing. Geen fixatie op het nieuwe, maar een focus op het bestaande en vooral wat daar aan te verbeteren is. In dit artikel daarom geen overzicht van nieuwe trends in beleidsevaluatieonderzoek, maar van valkuilen die evaluator en opdrachtgever moeten zien te mijden.

De Groot waarschuwde ook tegen "onvoldoende 'hard' doordenken, voordat men begint". Dat is zowel voor evaluator als beleidsmaker misschien wel de grootste valkuil.

Ondoordacht beleid
Om met de laatste te beginnen: evaluatie behoeft beleid. Daarmee wordt niet een evaluatiebeleid bedoeld, maar beleid als object of onderwerp van evaluatie. Dat klinkt simpeler dan het is. Niet alles wat zo wordt genoemd, kwalificeert zich ook als beleid. Duidelijke en haalbare doelstellingen zijn minimale basisvoorwaarden. Beleidsevaluatie wordt zinvoller naarmate vooraf meer in de kwaliteit van het beleid is geïnvesteerd. De beleidsmaker moet 'hard' nadenken over onder meer:

• de relatie tussen de in te zetten beleidsmiddelen en de beoogde doelstellingen (beleidstheorie)
• volledigheid en consistentie van het beleid
• praktische uitvoerbaarheid
• samenhang of interferentie met ander beleid
• ervaringen in het verleden of in vergelijkbare situaties (andere landen of beleidsvelden)
• de tijd die het beleid nodig heeft om tot bloei en resultaten te komen

De lakmoesproef voor dit harde nadenken is het uitvoeren van een ex ante evaluatie voordat het beleid op burgers en uitvoerders wordt losgelaten.

Ondoordachte evaluatie
Over de evaluatie (ex post) dient eveneens van te voren goed te worden nagedacht. In eerste instantie gaat het daarbij om wat er in de evaluatie moet worden vastgesteld: het evaluatiekader. Beleidsmaker en evaluator dienen hierbij letterlijk en figuurlijk communicerende vaten te zijn. Naarmate de beleidsmaker in bovenstaande zin harder heeft nagedacht over het beleid, is de evaluator beter in staat het evaluatiekader uit te werken. Hoe dan ook blijft intensieve communicatie nodig om zeker te weten dat beiden het over hetzelfde hebben.
In toenemende mate wordt het vooraf bereiken van een gedeelde visie op de evaluatie bemoeilijkt. Vaak ontbreekt de tijd voor de nodige afstemming (de offerte wordt binnen een week ingewacht), soms zelfs de interesse (de evaluatie is een 'verplicht nummer'). Ook het verschijnsel van de openbare aanbesteding van evaluatie-onderzoek, met soms een verbod op directe interactie tussen opdrachtgever en opdrachtnemer, maakt de noodzakelijke afstemming er niet eenvoudiger op.
Een tweede belangrijk element waarover met name de evaluator zijn hoofd mag breken, is hoe de evaluatie moet worden uitgevoerd: het design. Daarbij dient hij zich te hoeden voor de keuze van weinig realistische designs.

Quasi-experimentele designs
Om effect van beleid vast te stellen wordt vaak een variant van De Groots favoriete empirisch-wetenschappelijke ofwel quasi-experimentele methode gehanteerd. Idealiter vinden voor en na de introductie van het nieuwe beleid metingen plaats. Bij voorkeur gebeurt dit zowel bij een groep personen (of instellingen) die met het beleid in aanraking is gekomen, als bij een voor het overige gelijksoortige groep, die dat (nog) niet is geweest. Door een vergelijking van de verschillende metingen zouden dan de effecten van het beleid kunnen worden uitgefilterd.
Doorgaans leveren dergelijk opgezette onderzoeken op dat het niet goed mogelijk is effecten van het beleid vast te stellen. Vaak blijkt niet te zijn voldaan aan de basiseisen van het design. Een goede 'baseline' of nul-meting is niet mogelijk, omdat het beleid eerder van start ging of feitelijk een bevestiging is van een al langer bestaande praktijk. Of de groep die tijdens het onderzoek met het beleid in aanraking is gekomen, blijkt niet representatief voor de gehele doelgroep, bijvoorbeeld omdat de uitvoerders van het beleid in eerste instantie gemotiveerden of makkelijk bereikbaren hebben geselecteerd of vanwege uitval van deelnemers. Bijzonder ergerlijk voor de quasi-experimentele evaluator wordt het wanneer beleidsmaker of uitvoerder het beleid gaande het onderzoek aanpassen. Verschillen tussen metingen - of juist het ontbreken daarvan - zijn dan immers mogelijk ook aan de veranderingen in het beleid toe te schrijven. De evaluator kan deze 'storende' factor echter niet isoleren en staat met zijn mond vol tanden wanneer de beleidsmaker vraagt of het beleid nu werkt of niet.

Constructivistische designs
Er zijn onderzoekers die graag toch overal een antwoord op willen hebben. Omdat de 'harde' methodologie van De Groot niet werkt, kiezen zij voor een alternatieve benadering. Er zijn vele variëteiten van deze paddestoelenfamilie, die wel als de 'constructivistische' benadering wordt aangeduid. Uitgangspunt is dat een 'objectieve' meting van de effectiviteit van beleid niet mogelijk is. Waarneming is interpretatie, subjectief, situatiegebonden: "what you see depends on where you stand" en, zo wordt daar wel eens aan toegevoegd, "where you stand depends on where you sit" - varianten hierop zal ik u besparen. In constructivistische beleidsevaluaties zet de onderzoeker zijn interpretatie van de beleidswerkelijkheid in een dialoog tegenover constructies van betrokkenen (beleidsmaker, uitvoerders, belanghebbenden), in de hoop zo een Habermasiaans rationele consensus te bereiken. Maar wanneer de constructivistische onderzoeker met iedereen is uitgebabbeld, bestaat er geen enkele garantie dat zijn interpretatie beter is dan, of zelf maar iets toevoegt aan andere constructies. Strikt geredeneerd leidt constructivisme tot een vorm van beleidssolipsisme: "ik heb het zo geconstrueerd, dus het zal wel goed wezen". Consequente constructivisten geven de inherente 'waardeloosheid' van hun interpretaties toe. Het gaat hen dan ook niet om de constructie als zodanig, maar om de activerende, motiverende werking ervan. Niet wat er gebeurt, maar dat er wat gebeurt is van belang. De beleidsevaluator heeft zich aldus getransformeerd tot procesbegeleidende facilitator, zo niet tot stiekeme beleids(mee)maker. Constructivisten zijn dan ook vooral in de advieswereld te vinden.

Een derde weg?
Is er een derde weg tussen de Scylla van de quasi-experimenten en de Charibdis van de constructen? Zeker, zelfs meer dan dat. In de eerste plaats is er de pragmatische tegenpool van het constructivisme: de onderzoeker als 'scout', de oren en ogen van de beleidsmaker in het veld. Hij beschrijft hoe de uitvoering van het beleid in de praktijk verloopt, signaleert knelpunten en spoort 'best practices' op. Constructivisten zullen tegensputteren dat zo'n pragmatisch empirisme ook een vorm van constructie is. Ongetwijfeld, maar zonder dezelfde pretentie en met tenminste evenveel waarde. En onderschat het niet: goed scouten is een vak apart. In het veld bevinden zich immers per definitie de meeste valkuilen!
Het tweede alternatief, de tegenpool van de quasi-experimentele traditie, zet zijn tanden in de fundamentele vraag of beleid werkt. Realistische evaluatie fixeert zich niet op het vaststellen van empirische invarianties. In een multicausale wereld kan dat tot pijnlijke misverstanden leiden. Effectief werkloosheidsbeleid hoeft niet per se in een daling van het aantal werklozen zichtbaar te worden. Misschien was dat aantal zonder het beleid aanzienlijk toegenomen. Omgekeerd hoeft het nog steeds functioneren van uw en mijn computer niet het effect te zijn van de miljoenenbestedingen die Van Boxtel en zijn Milleniumplatform ooit hebben aangezwengeld.
In de realistische benadering zijn beleid en beleidsinstrumenten geen 'constructen', maar werkelijk bestaande mechanismen en structuren, waarvan de werking echter niet in alle omstandigheden gewaarborgd en zichtbaar hoeft te zijn. De realistische evaluator verdiept zich meer in de 'black box' van het beleid zelf (waarom zou het moeten werken, wat zijn de werkzame bestandsdelen) en in de 'context' (in welke omstandigheden en voor welke doelgroepen werkt het beleid wel of juist niet). Sollicitatieclubs bleken een succesvol arbeidsmarktinstrument voor werklozen met een administratief beroep of een hogere opleiding, omdat de opzet ervan (na een aantal trainingen elke dag in een groepsruimte proberen een target van een aantal sollicitaties te halen) goed aansluit bij de eigenschappen van deze doelgroepen.

Gemakzuchtig survey-onderzoek
Ook de evaluator die een pragmatisch of realistisch design kiest, moet bedacht zijn op de val-
kuilen die bij dataverzameling op de loer liggen. Gemakzuchtige keuzes voor survey- en opinie-onderzoek moeten worden vermeden. Respons en representativiteit van dergelijk onderzoek staan immers onder druk van de drie 'O's':

1. Ontbrekende adequate steekproefkaders door enerzijds sociale atomisering en versplintering (bijna iedereen een mobieltje, maar zonder dekkende telefoongids) en anderzijds door soms doorgeslagen privacybescherming.
2. Onbereikbare respondenten vanwege antwoordapparaten, voice mails en nummerherkenning.
3. Onwelwillende respondenten vanwege enerzijds het geringe belang bij en de eenzijdigheid van het survey en anderzijds de grotere belasting door marktonderzoek en direct marketing.

Bovendien neigt survey-onderzoek snel naar het vaststellen van meningen en opinies in plaats van feitelijk gedrag of daadwerkelijke effecten van beleid. Bij het bepalen van het design moet de evaluator voorkomen in de makkelijke valkuil te stappen van het peilen van de mening en tevredenheid van de doelgroep over het beleid. Lastigere vormen van gegevensverzameling, zoals observatie, inhoudsanalyse en analyse van registratiebestanden, verdienen serieuze overweging. Survey-onderzoek zal een belangrijke plaats blijven houden, maar in aangepaste vormen: webinterviewing, multichanneling en databasebenaderingen, waarbij het belang van de respondent meer aandacht krijgt en terugkoppeling van de resultaten een noodzaak wordt.

Ongewenste politisering
Tenslotte is de ongewenste politisering van de evaluatie een belangrijke valkuil. De discussie hierover is onder meer gevoerd naar aanleiding van het boekje de 'Onwelkome Boodschap': een zeldzaam voorbeeld van een onderzoek dat doet waar het zich tegen afzet, namelijk naar de gewenste boodschap toe redeneren. Daardoor mist het de kern van het probleem. Iets in de doofpot stoppen bergt grote ambtelijke en politieke risico's in zich. Die zijn er niet wanneer het vuur uitblijft: wanneer beleid niet wordt geëvalueerd of hoogstens 'gereconstrueerd'. Een belangrijke valkuil is beleid om politieke redenen niet te evalueren. Of een evaluatie niet voor een beleidsmatig debat, maar voor een politiek steekspel te gebruiken.
Een voorbeeld was de discussie, weliswaar niet over een evaluatie, maar over een internationaal vergelijkend onderzoek naar criminaliteit. De discussie ging niet over de beleidsmatig interessante vragen, zoals: werkt de criminaliteitsbestrijding in Nederland slechter dan elders en zo ja, waarom? Wordt gegeven de Nederlandse omstandigheden wel het juiste beleid gevoerd? Welke elementen uit buitenlands beleid zouden in de Nederlandse condities een wezenlijk verschil kunnen opleveren? In plaats daarvan ging de discussie over de vraag of er wel of niet meer budget voor Justitie moet komen.
De politieke setting van beleidsevaluaties is niet te ontkennen of zelfs negatief te waarderen. In een pluriform, democratisch systeem zijn belangentegenstellingen en politieke compromissen onafwendbare bronnen van, om het eufemistisch te zeggen, suboptimale rationaliteit. Evaluatie kan - juist in het belang van de geloofwaardigheid en acceptatie van de politiek - een beslissende bijdrage leveren aan de rationalisering van beleid. Tenzij beleidsmaker en evaluator onderweg in één van de bovengenoemde valkuilen stappen.

Dit artikel verscheen eerder in Basis, 2000, nr. 1, en is een bewerking van een lezing die werd gehouden tijdens de Conferentie Beleidsgericht Onderzoek hoger onderwijs van het ministerie van Onderwijs, Cultuur en Wetenschappen op 24 november 1999.

* Bart Dekker is algemeen directeur van Research voor Beleid Holding