|
Het wetenschapstheoretisch debat van de jaren zestig en zeventig, verbonden met de namen van Popper en Kuhn, heeft ook in het beleidsonderzoek geleid tot een "methodisch pluralisme". De experimentele school blijft in de positivistische traditie en wil beleidseffecten vaststellen door te trachten empirische invarianties te meten. Mede omdat dit doorgaans weinig oplevert, heeft een "post-moderne" stroming aan invloed gewonnen. Deze beschouwt beleidsonderzoek net als beleid en andere sociale verschijnselen als niets meer dan interpretatie of "constructie" van mensen. De beleidsonderzoeker kan zich met zijn interpretaties als "bemiddelaar" tussen beleidsmakers, uitvoerders en andere belanghebbenden en hun interpretaties mengen, maar er is geen inherente reden waarom zijn "constructie" van de realiteit beter is of een meerwaarde heeft. Uitgaande van een realistische wetenschapsfilosofie hebben de Britse sociologen Pawson en Tilley een alternatief voor beide stromingen geformuleerd. "Realistic Evaluation" is de titel van een ironisch, strijdvaardig en zeer lezenswaardig boek (Sage, 1997). Een interview, via E-mail, met Ray Pawson, verbonden aan Leeds University.
Wat is het meest karakteristieke van de realistische evaluatiemethodologie?
Het komt allemaal neer op de vraag die wordt gesteld. Nick Tilley en ik hebben een 'slogan' ontwikkeld die door het hele boek heen wordt gebruikt en die de realistische benadering zijn specifieke karakter geeft. Evaluatieonderzoek zou zich niet langer moeten richten op de kwestie 'wat werkt?', maar zou moeten proberen een meer informatieve vraag te behandelen, en wel 'wat werkt voor wie in welke omstandigheden?'.
Waarom zouden opdrachtgevers om realistische evaluatie moeten vragen?
Het zou me verbazen als velen van hen dat doen! Methodologisch nieuws verspreidt zich langzaam, met name in het evaluatieonderzoek dat sterk is gesegmenteerd naar beleidssectoren. Opdrachtgevers zouden echter naar realistisch evaluatieonderzoek moeten vragen omdat het antwoorden verschaft die aansluiten op enerzijds het subtiliteitsniveau van de beleidsvoorbereiding en anderzijds op het complexiteitsniveau van de velden waarin beleid wordt toegepast.
Wat houdt de realistische aanpak in de praktijk in? In hoeverre verschilt het van gewoon je gezond verstand gebruiken en je ogen en oren openhouden? Wat doen realistische evaluatoren anders dan anderen?
Moet je horen, ik ben natuurlijk helemaal voor ogen en oren open houden! Ik ben er trouwens ook voor dat evaluatoren hun mond houden totdat ze weten waar ze over praten. Oren, ogen, mond, ze zijn echter allemaal verbonden met de hersenpan. Wat er mis is met een aanpak van waarneming op basis van gezond verstand, is dat dit altijd talloze onvergelijkbare interpretaties van een beleidsprogramma oplevert. Onderzoek moet gestoeld zijn op een aantal basisregels. Die regels moeten worden gevormd in een voortdurend proces van heen-en-weer gaan tussen methodische principes en praktijk. Realistische evaluatie is anders, niet vanwege de gebruikte waarnemingstechnieken, maar omdat de basisregels anders zijn. De nadruk op het begrijpen van mechanismen waardoor, en de context waarin een programma 'werkt', maakt de realistische benadering bijzonder.
Hoe kwam u ertoe dit boek te schrijven?
Een samenspel van toeval en onvermijdelijkheid. Ik maakte deel uit van een team dat opdracht had gekregen een cursus voor hoger opgeleiden te verzorgen binnen de muren van een zwaar bewaakte gevangenis in Groot-Brittannië. Onderdeel van de opdracht was het programma te evalueren. En hoewel ik mijzelf in eerste instantie als methodoloog beschouw, had ik niet veel over evaluatie gelezen en wist ik werkelijk niet waar te beginnen. Toen ik mij door al die boeken van uitgeverij Sage worstelde, vond ik dat er iets ontbrak. In diezelfde tijd was Nick begonnen evaluaties uit te voeren voor de Home Office. Hij was niet echt onder de indruk van de standaardpraktijk. Het boek markeert dus het moment dat wij van doe-het-zelvers veranderden in handboekschrijvers.
Wat heeft uw boek teweeggebracht en wat zal het teweegbrengen in de onderzoekswereld?
De ervaring leert dat je daar bescheiden over moet zijn. Sociaal-wetenschappelijk onderzoek is als een nerveus dier dat in staat is een totaal andere kant op te springen dan je eigenlijk zou willen. Hoe het ook zij, we hebben dit boek geschreven omdat we overtuigd zijn van het nut van de realistische benadering. Ons onbescheiden doel is evaluatoren te bekeren tot deze aanpak.
Het is dan ook erg bevredigend uit alle hoeken van de wereld vele brieven, telefoontjes en e-mailtjes te ontvangen, die zeggen: "Ja, wij herkennen de problemen die jullie uiteenzetten en we proberen nu jullie methode uit". Opvallend genoeg zijn de meeste van deze berichten afkomstig van mensen die relatief fris tegenover de materie staan. Ik ben wat minder overtuigd van onze impact op de grote, gevestigde orde. Is dit trouwens niet hoe Thomas Kuhn het paradigma-verhaal heeft beschreven?
Wat is er mis met de (post-)moderne aanpak?
Alles, maar dan ook werkelijk alles. Ik ben een socioloog en in de sociologie wemelt het van de post modernisten. Ik moet zeggen dat ik geschokt was te zien dat deze aanpak binnen het evaluatieonderzoek aanhangers heeft. De notie van postmoderne evaluatie lijkt mij een contradictio in terminis. Wat mij ergert is de claim dat 'geen enkel discours belangrijker is dan een ander', en dat dan beargumenteerd in pagina's en pagina's vol esoterisch, gezwollen en zelfingenomen discours.
In Nederland is er een stroming die pleit voor doelmatigheidsonderzoek, waarin interpretatie en het verwerven van inzicht in hoe dingen werken wordt gewantrouwd. Onderzoek moet beperkt zijn tot het registreren of de van tevoren geformuleerde beleidsdoelstellingen gehaald zijn. Wat vindt u daarvan?
Eerlijk gezegd ben ik niet bekend met deze stroming in Nederland, dus kan ik (van een veilige afstand) zeggen dat ze het bij het verkeerde eind hebben. Beleidsvoering is niet eenduidig. Er is altijd onenigheid over wat de doelstellingen zijn en hoe ze moeten worden gemeten. Nog belangrijker, beleid werkt in het ene geval wel en in het andere geval niet. Elke momentopname die aantoont dat de beleidsdoelstellingen niet zijn verwezenlijkt, kan dus heel goed succes over het hoofd zien. Bijvoorbeeld wanneer er op een iets andere manier zou zijn gemeten. Of wanneer andere subpopulaties zouden zijn onderzocht, waarin het beleid wel werkt. In mijn visie is beleid het maken van incrementele, doelgerichte verschuivingen in voorzieningen. Hiervoor is het belangrijker te weten wat de balans net doet omslaan, dan enkel te kijken naar het balans-totaal van dat moment.
Is de "context-mechanism-outcome" benadering een pleidooi voor meer kwalitatieve methoden van onderzoek? Kwantitatieve methoden leveren per slot van rekening hoogstens statistisch bewijs voor samenhang. Ze monden zelden uit in een goede, inzichtelijke beschrijving van hoe mechanismen werken.
Het antwoord op deze vraag is onherroepelijk 'nee!'. Evaluatieonderzoek dat uitsluitend handelt over programmaresultaten of de redenaties van de belanghebbende belicht slechts één kant van de zaak. Beide kanten zijn altijd nodig. Punt, uit.
Zijn de ideeën over realistische evaluatie toe te passen op beleidsprogramma's met een grootschalig karakter, waar onderliggende mechanismen en de diversiteit van de betrokken partijen een uiterst complex beeld opleveren? Voorbeelden van dergelijk macrobeleid zijn de decentralisatie van politiekorpsen, het invoeren van een nieuw stelsel voor de studiefinanciering en het milieubeleid inzake de uitstoot van CO2.
Dat is een goede vraag! Realistische evaluatie zit vol met voorbeelden van relatief kleine programma's die complex blijken te zijn als het gaat om hoe ze werken en waar ze werken. Wanneer dit naar macrobeleid wordt geëxtrapoleerd, zou het onderzoek waarschijnlijk verzuipen in het uiteenrafelen van duizenden mechanismen en contexten. Er is een realistische oplossing, namelijk: bescheidenheid! Programma's zijn altijd onder te verdelen in verschillende lagen. Het is heel goed mogelijk het wat-werkt-voor-wie-en-in-welke-omstandigheden te onderzoeken via de verschillende 'vaste haltes' van de beleidsvoering. Zo zou je een programma kunnen evalueren vanaf het begin van de beleidsformulering tot aan de feitelijke start van de uitvoerders in het veld. Het is een grote fout aan te nemen dat we beleid en programma's in hun geheel kunnen evalueren. In plaats van grote, alles-in-één onderzoeken, zou de realist een reeks van kleinere onderzoeken voorschrijven, waarbij hij naar vergelijkbare fasen en processen in de beleidscyclus kijkt.
In uw boek pleit u voor een leraar-leerlingrelatie tussen de evaluator en de belanghebbende. Is dat wel realistisch in de relatie tussen onderzoeker en minister?
Realisten kunnen soms ook cynisch zijn. Ik zal de eerste zijn toe te geven dat beleid kan worden gestart en weggevaagd door een enkele pennen-
streek van de minister en dat evaluatoren soms moeilijk boven het politieke gekrakeel uit kunnen komen. Ik kan hier slechts over zeggen dat zolang enig belang wordt gehecht aan gefundeerd beleid, een leraar-leerlingrelatie daar dan deel van moet uitmaken. Tenminste, zolang men enige vooruitgang wil boeken. Dit zal moeten beginnen bij een realistisch begrip van hetgeen met evaluatieonderzoek kan worden bereikt. Evaluatoren moeten ministers het belang bijbrengen van bescheiden antwoorden op complexe vragen. We zijn de hoogdravende antwoorden op makkelijke vragen namelijk meer dan zat.
In Nederland wordt veel gediscussieerd over de institutionele relatie tussen evaluator en opdrachtgever. De evaluator zou onafhankelijk moeten zijn in zijn onderzoek en oordeelsvorming, terwijl feitelijk vaak sprake is van institutionele of financiële afhankelijkheid. Speelt een dergelijke discussie ook in het Verenigd Koninkrijk?
Ik huldig de ouderwetse mening dat evaluatoren onafhankelijk moeten zijn omdat ze streven, ik herhaal streven, naar objectiviteit. Dit doel wordt echter niet gewaarborgd door de institutionele locatie van de onderzoeker. Vandaag de dag spant niemand zich zo hard in voor dollar, pond of gulden als de universiteit. Evaluatiemarionetten kom je nu eenmaal overal tegen. De oplossing is dat evaluatie meer en meer deel uit gaat maken van de openbare discussie. Zo blijkt maar dat realisten ook idealisten kunnen zijn!
* Dit artikel verscheen eerder in Basis, 1998, nr. 3. | 
