basis>2004>beleidsevaluatiespecial

Een marktgang met onduidelijke effecten

Is het inkoopmodel reïntegratie al te evalueren?

Reïntegratietrajecten voor werklozen en arbeidsgehandicapten worden sinds 1995 in toenemende mate ingekocht bij private ondernemingen. Tegenwoordig is marktwerking via 'inkoop' dé manier om de werkloosheidsbestrijding aan te sturen. Er is ruimschoots praktijkervaring mee opgedaan. De privatisering van reïntegratie heeft nog steeds veel weg van een marktgang met onduidelijke effecten. Evaluaties betroffen tot nu toe steeds delen van het inkoopproces. De vraag is in hoeverre intussen evaluatieve uitspraken over het inkoopmodel zelf mogelijk zijn.

Een stukje geschiedenis
Ideeën de werkloosheidsbestrijding deels te privatiseren stammen van ruim tien jaar geleden. De aandacht richtte zich op de reïntegratie van werklozen en arbeidsgehandicapten, op dat moment in handen van Arbeidsvoorziening en GAK Arbeidsintegratie. Opmerkelijk genoeg dacht men destijds niet aan privatisering van de bemiddelingstaak van de arbeidsbureaus, terwijl daar met de uitzendbureaus een goed alternatief voor bestond. Ook hadden de bemiddelaars van de arbeidsbureaus vaak een commerciële instelling. Bij de reïntegratiemedewerkers ontbrak die veelal en waren er nauwelijks alternatieve aanbieders. Alleen de reïntegratie van arbeidsgehandicapten werd op zeer beperkte schaal aanbesteed. Dat gebeurde aan instellingen die zich richtten op werklozen met specifieke handicaps, zoals blinden en doven.
Tekorten op de begroting van Arbeidsvoorziening als gevolg van bezuinigingen in 1994 bevorderden de invoering van het inkoopmodel. Het Kabinet wilde alleen via een proef met inkoop de gaten in die begroting dichten. De invoering verliep traag. Pas in 2001 is het inkoopmodel voor alle gemeenten en voor het hele UWV van kracht geworden. Zelfs daarna is nog sprake geweest van een zekere voorkeurs-positie van voormalige onderdelen van Arbeidsvoorziening.
De invoering van het inkoopmodel is tussen 1996 en 1998 gevolgd met onderzoek. Conclusie was dat het opdrachtgeverschap nog onvoldoende was ontwikkeld. Omdat er bovendien destijds sprake was van gedwongen winkelnering bij Arbeidsvoorziening, kon een echte evaluatie nog niet plaatsvinden. Intussen zijn we nog eens zes jaar verder. De vraag dringt zich op of het inkoopmodel nu wel te evalueren is.

Model voor beleidsevaluatie
Een eerste vraag is hoe je dat zou moeten doen. Toepassing van een traditioneel evaluatiemodel, gebaseerd op een quasi-experimenteel design, stuit op problemen:

  • Voorafgaand aan de invoering van het inkoopmodel is geen nulmeting uitgevoerd: welke resultaten werden eigenlijk vóór de introductie van het inkoopmodel gerealiseerd? Het is bovendien lastig de nulsituatie achteraf te 'reproduceren'. 
  • Het is niet goed mogelijk een controlegroep te hanteren om de effecten met uitsluiting van externe factoren vast te stellen. Wanneer er nog gemeenten zijn die werklozen buiten het inkoopmodel om reïntegreren, dan geldt dat alleen voor bepaalde groepen werklozen. Daarmee wordt niet voldaan aan de eis van vergelijkbaarheid van de experimentele en de controlegroep.
  • Zoals hieronder zal blijken is het inkoopmodel, het object van evaluatie, niet compleet en constant. Een deel van de gemeenten past het nog steeds niet in zijn volledigheid toe, terwijl ook UWV het jaarlijks anders vormgeeft.

Verder zijn er twee meer algemene problemen bij het meten van effecten van werkloosheidsmaatregelen:

  • Vooral de conjunctuur bepaalt hoeveel banen er beschikbaar zijn. De effecten van beleid op de ontwikkeling van de werkgelegenheid zijn veel geringer. De conjunctuur was vooral tussen 1995 en 2001 erg gunstig. Een traditionele (na)meting zou voornamelijk conjuncturele effecten vastleggen.
  • Er verloopt lange tijd tussen de start van een reïntegratietraject en het moment waarop is vast te stellen of de gevonden baan een bestendig karakter heeft. Daardoor zijn trajecten die gefinancierd zijn met middelen uit 1999 eigenlijk nu pas goed te beoordelen op hun effecten.

Een alternatief onderzoeksmodel is te baseren op de principes van realistische evaluatie. Realistische evaluatie beperkt zich niet tot een opsomming van observeerbare input (kenmerken van de uitgangssituatie en de ingezette middelen) en output (resultaten). Ze richt zich tevens op het proces waarlangs de output tot stand is gekomen en redenen waarom beoogde effecten in de betreffende situatie wel of juist niet zijn behaald. De toepassing van beleidsmaatregelen is niet een black box. Juist de analyse van de samenhang tussen input, output, effecten en outcome maakt een beoordeling van de beleidsmaatregel mogelijk.

Bij de evaluatie van beleid gaat de aandacht uit naar de veronderstelde relatie tussen de ingezette middelen (input) en de beoogde doelen (output en effecten). Dit wordt de beleidstheorie genoemd. Het in kaart brengen van de beleidstheorie is een vereiste bij de start van de beleidsevaluatie. Vervolgens wordt deze theorie getoetst in de praktijk en het proces beschreven. Pas daarna is de vraag te beantwoorden of en hoe de ingezette middelen hebben geleid tot de beoogde doelen. Bij het laatste spelen de begrippen effectiviteit en efficiëntie een belangrijke rol. Vervolgens wordt bij het beoordelen en duiden van effecten nadrukkelijk de context van het te evalueren beleid in de analyse betrokken. Zo is een inschatting te maken van de invloed van externe factoren op de uiteindelijke effecten (behaalde beleidsdoelstellingen) en de outcome (bredere maatschappelijke effecten) van het beleid.

Een dergelijk model heeft de volgende voordelen:

  • Ten eerste wordt een beleidsmaatregel bijna nooit volgens de bedoeling toegepast. Net als bij het inkoopmodel vertraagt de invoering, past men de maatregel op decentraal niveau aan de eigen werkprocessen aan, hanteert men net even andere doelgroepen, etc. Een realistische evaluatie kan zich veel nadrukkelijker richten op de wel doorgevoerde beleidselementen en daarvan de effecten vaststellen. Ook is goed te verklaren waarom bepaalde beoogde effecten niet optreden.
  • Ten tweede kan dat vaststellen van effecten stapsgewijs en daardoor op een veel kleinere, meer behapbare, schaal plaatsvinden. Door onderdelen van het proces te evalueren is vast te stellen wat goed verloopt (waardoor good practice aan het licht komt, die overdraagbaar is naar andere gemeenten of sectoren) en wat slecht gaat. Men kan het beleid direct aanpassen.

Uiteindelijk blijft natuurlijk wel de vraag welke overall effecten optreden en in hoeverre de nieuwe aanpak efficiënt is. Door wel de ontwikkeling van de conjuncturele werkloosheid, die van de langdurige werkloosheid, het scholingsniveau en de kosten van de werkloosheidsbestrijding te peilen (en daarbij externe factoren als economische ontwikkelingen in de analyse te betrekken), zijn de uitkomsten van de toepassing van de realistische beleidsevaluatie in een context te plaatsen. Dat levert meer inzichten op dan de 'black box' van een quasi-experimenteel design.

Stappen in het evaluatieproces
Een stappenplan voor evaluatie van het inkoopmodel kan er als volgt uit zien:

  1. Een eerste belangrijke vraag is altijd of er toetsbare beleidsdoelen zijn gesteld. Zijn die er niet, dan is het alternatief deze achteraf te reproduceren. Vervolgens is aan de orde of de werkzame elementen van de nieuwe aanpak al dan niet in strijd zijn met de beleidsdoelen.
  2. Een volgende stap is de analyse van de samenhang tussen de nieuwe elementen onderling en de samenhang van die innovatieve elementen met de vigerende werkprocessen. De vraag is of de elementen van het inkoopmodel wel in de werkpraktijk toepasbaar zijn.
  3. Daarna komt pas de effectiviteit van het beleid. De focus richt zich eerst op de werkzame beleidselementen. Het heeft bijvoorbeeld weinig zin de reïntegratiemethoden te evalueren, wanneer ze op zich niet veranderen. Wel is interessant of 'inkoop' leidt tot bijvoorbeeld een betere begeleiding, kortere trajecten en lagere kosten. Zo kan aansturing op basis van 'no cure, no pay' ertoe leiden dat in kansarme cliënten niet wordt geïnvesteerd, zodat men des te meer kan bereiken met de resterende cliënten.
  4. Dan is interessant of er mogelijkheden waren de beleidsdoelen op alternatieve wijze na te streven. Ook in dit geval gaat het weer om het weglaten of vervangen van één van de innovatieve elementen van beleid.
  5. In de laatste plaats volgt de analyse of en hoe het beleid goedkoper had gekund. Wanneer de werkzame beleidselementen op zich al zeer hoge kosten inhouden, kan dat druk op de noodzaak van betere resultaten zetten. Effectiviteit is een basisvoorwaarde voor efficiëntie: ineffectief beleid is per definitie ineffeciënt.

Als we deze stappen toepassen op het inkoopmodel, is op basis van beschikbare documenten het volgende te zeggen.

Stap één: inkoop en de beleidsdoelen
Op zich lijkt het beleidsdoel van werkloosheidsbestrijding helder: mensen met een afstand tot de arbeidsmarkt aan het werk helpen. Traditioneel heeft de overheid hiervoor twee redenen: doelmatigheid (minder uitkeringskosten) en rechtvaardigheid (iedereen een baan). De doelmatigheidsdoelstellingen hebben de rechtvaardigheidsdoelstellingen overvleugeld. Het lijkt vooral te draaien om terugdringing van het uitkeringsvolume, zie bijvoorbeeld de kortingen op gesubsidieerde arbeid.
Het netto effect van reïntegratiemaatregelen op het uitkeringsvolume is echter gering:

  • sommige werklozen hadden ook zonder het traject wel een baan gekregen,
  • gereïntegreerde werklozen vinden soms banen, die anders door andere werklozen waren ingevuld,
  • en weer in andere gevallen verdringen de werklozen na hun traject werknemers, die hun baan kwijt raken en in werkloosheid vervallen.

Het grootste netto effect van maatregelen van werkloosheidsbestrijding is te bereiken in een periode van hoogconjunctuur. De vele vacatures kan men vervullen door werklozen te motiveren c.q. door hen sociale en (basis)-kennisvaardigheden bij te brengen. In het geval van laagconjunctuur is meestal alleen directe winst mogelijk door moeilijk vervulbare vacatures te vervullen. Daar zijn specifieke kwalificaties voor nodig, waarvoor het lastig is werklozen op te leiden. Een alternatief is zittende werknemers intern om te scholen en werklozen de hierdoor vrijkomende banen aan te bieden.
Voor de langere termijn is substitutie in een periode van laagconjunctuur nog niet zo rampzalig. Als de conjunctuur weer aantrekt, is een breder arsenaal aan mensen met recente werkervaring voor werkgevers beschikbaar. Na hoogconjunctuur is het zaak de gereïntegreerde werklozen op de arbeidsmarkt vast te houden. Zowel in periodes van laag- als van hoogconjunctuur ontstaat een werkgelegenheidseffect (en een daling van het uitkeringsvolume) binnen de volgende randvoorwaarden:

  • het arbeidsaanbod moet door scholing op een dergelijk kwalificatieniveau komen dat het meteen (bij laagconjunctuur) dan wel op termijn (bij hoogconjunctuur) interessant is en blijft voor werkgevers
  • en het reïntegratietraject moet aansluiten op de (huidige én toekomstige) vraag naar arbeid.

Wanneer de werkgelegenheid moet toenemen en het uitkeringsvolume dalen (en Nederland zich nog meer moet profileren als kenniseconomie) is het van groot belang dat de werkloosheidsbestrijding zich richt op de vraagzijde van de arbeidsmarkt, o.a. door werklozen vraaggericht te scholen. Misschien zijn gerichtheid op de vraagzijde en scholing dus wel dé maatstaven (en niet zozeer hoeveel werklozen er precies voor meer dan een halfjaar aan het werk worden geholpen) om het inkoopmodel op af te rekenen.

De belangrijkste nieuwe elementen van het inkoopmodel zijn de volgende:

  1. Het Rijk (in de economische theorie de principal) heeft de verantwoordelijkheid voor reïntegratie van werklozen neergelegd bij agenten: de gemeenten, het UWV en steeds vaker ook individuele werkgevers. Zij hebben een directer belang bij reïntegratie.
  2. De uitvoering van de reïntegratie is in handen gekomen van private bedrijven. Meer concurrentie moet leiden tot een efficiëntere werkwijze dan een publiek 'monopolie' als Arbeidsvoorziening.

De 'werkzame' elementen van het inkoopmodel lijken goed aan te sluiten op de doelstelling zoveel mogelijk werklozen aan het werk te helpen. Voor het impliciete doel van het verhogen van het kwalificatieniveau van de beroepsbevolking en de aansluiting op de vraag naar arbeid lijkt dat minder het geval:

  • Scholing is niet het directe belang van het reïntegratiebedrijf. Het kost tijd en daardoor geld. Alleen wanneer er extra middelen beschikbaar zijn voor scholing (en voor de begeleidingstijd tijdens het scholingstraject) is dat interessant. Opdrachtgevers hebben op de korte termijn ook niet veel belang bij scholing. Het traject én de uitkering duren langer.
  • Uiteraard moeten reïntegratiebedrijven rekening houden met de vraag naar arbeid, maar niet met die op langere termijn. Bij veel opdrachtgevers lijkt de vraagkant van de arbeidsmarkt nog minder in beeld. Voor UWV en de eigen werkgever is dat logisch: korte termijndoelen overheersen. Voor de gemeenten zou dat anders moeten zijn. De oplossing van knelpunten aan de vraagzijde van de arbeidsmarkt is goed voor de lokale economie en de maatschappelijke dienstverlening. Er zijn echter nog te weinig gemeenten die dit verband leggen en een actief vraaggericht arbeidsmarktbeleid voeren.

Verder bestond er ook in het uitkeringsvolume tot voor kort nauwelijks een prikkel voor de agenten. Gemeenten waren zelf verantwoordelijk voor slechts een kwart van de kosten van bijstandsuitkeringen en het UWV is een publieke instelling gebleven. Gemeenten krijgen met de Wet Werk en Bijstand wel de volledige kosten van de bijstand op hun bordje en sinds 2003 zijn individuele werkgevers opdrachtgevers van reïntegratie.
Conclusie is dat - zeker tot voor kort - de relatie tussen beleidsdoelstellingen en het inkoopmodel onduidelijk was. De agenten krijgen geen prikkels. Ook lijkt de samenhang tussen de werkzame elementen van inkoop en de beleidsdoelstellingen niet te kloppen. Een doelmatig reïntegratiebeleid zou tot verhoging van de inzetbaarheid op de arbeidsmarkt van de beroepsbevolking moeten leiden. Dat lijkt niet goed te stroken met toepassing van het inkoopmodel.

Stap twee: inkoop en het proces
Gemeenten en UWV worstelen acht jaar na invoering van het model nog steeds met de invulling van de werkprocessen van inkoop:

  • Bij de jongste aanbesteding van UWV is voor de inkoop voor het grootste deel overgegaan op het 'no cure, no pay'-principe. Dit is vooral gebeurd op instigatie van de Minister. Er is geen evaluatie van eerdere ervaringen met dit principe aan voorafgegaan. Een Belgisch rapport over ervaringen in Australië en het werkplan 2003 van de Raad voor Werk en Inkomen wijzen op de nadelen van dit principe: afroming, geen prikkels voor scholing, de dreiging van faillissement van reïntegratiebedrijven, hogere prijzen (om risico's te beperken) etc.
  • Een ander kenmerk van de UWV-aanbestedingen is de onverwachte uitkomst ervan. Bedrijven die het ene jaar flinke marktaandelen scoren, doen het jaar daarop niet mee. Dat bedreigt niet alleen het voortbestaan van de bedrijven en daarmee de uitkomst van trajecten maar verhoogt ook de administratieve werklast van UWV.
  • Veel gemeenten hebben de aanbesteding van reïntegratie nog steeds niet geïmplementeerd. 
  • Volgens een recent artikel in Sociaal Bestek hebben gemeenten nauwelijks invloed op de inhoud en kwaliteit van trajecten. De agent kan daardoor nauwelijks sturen. Recent onderzoek naar de inzet van scholing in reïntegratie bevestigt dit.
  • De meeste gemeenten en UWV verplichten zich niet een minimum aantal kandidaten te leveren. Dat bemoeilijkt de bedrijfsvoering van de reïntegratiebedrijven.

Eén en ander bevestigt dat de reïntegratiemarkt een pseudo-markt is: de opdrachtgeverzijde heeft een sterk monopoliekarakter en de markt is volstrekt niet transparant. Het eerste verandert wanneer steeds meer individuele werkgevers opdrachtgevers van reïntegratie worden. De transparantie van de markt zal dan echter nog verder afnemen.
Er zijn sterke aanwijzingen dat de efficiëntie van de uitvoering van reïntegratie is afgenomen. De contractafdelingen van UWV zijn inmiddels groter dan het voormalige GAK Arbeidsintegratie, dat ook nog eens de reïntegratie zelf uitvoerde. Bij gemeenten die de aanbesteding volgens de regels uitvoeren, zijn ook meer mensen bezig met het inkoopbeleid, de contracten, de kwaliteitsbewaking en de administratieve afhandeling.

Stap drie: effectiviteit
Tot nu toe heeft alleen UWV over resultaten van reïntegratie gerapporteerd. Dat was over de resultaten van trajecten die in een bepaald jaar afliepen. Het maakt een koppeling met een bepaalde vormgeving van inkoop (afrekeningsystematiek, contractvormen, reïntegratiebedrijven, etc.) lastig. De overall resultaten lijken iets beter dan een aantal jaren geleden. Hetzelfde meldt ook het SCP in een recente studie. Tussen 1992 en 2002 is de effectiviteit van reïntegratie licht toegenomen, maar tevens is de conjunctuur veel gunstiger geworden.
De monitoring van de ingekochte trajecten komt zo langzamerhand van de grond. Bij UWV richt ze zich vooral op de procedures, terwijl de Monitor Scholing en Activering van het Ministerie van SZW, de resultaten van de grootste 85 gemeenten in kaart brengt. Individuele gemeenten monitoren inkoop nog nauwelijks. Driekwart van de gemeenten in de Rijnmond zegt geen zicht te hebben op de resultaten van inkoop.

Stap vier en vijf: alternatieven en lagere kosten
Omdat er geen zicht is op de resultaten en de kwaliteit van reïntegratie, is het lastig vast te stellen wat goed en minder goed werkt. Daarom valt er ook niets te zeggen over eventuele alternatieven of potentiële kostenverminderingen.
Uitspraken over de kosten van de trajecten zelf zijn op dit moment ook niet goed mogelijk. De afspraken over de inhoud van trajecten en de vergoedingen voor reïntegratiebedrijven verschillen sterk. Er is geen 'gemiddelde trajectprijs' te berekenen. Dat maakt het niet goed mogelijk vast te stellen of een andere vormgeving de kosten van het inkoopmodel zou verlagen.
Opmerkelijker nog is de afwezigheid van cijfers over de totale kosten van de reïntegratie van werklozen in het kader van het inkoopmodel. Het is daardoor niet mogelijk die te vergelijken met de situatie van voor de invoering van het model.

Conclusie
Er is nog geen antwoord te geven op de vraag of het inkoopmodel succesvol is. Dat komt vooral doordat het model zich nog steeds niet volledig heeft kunnen ontwikkelen. De markt is intransparant, er is sprake van een klein aantal inkopende partijen (zodat voor reïntegratiebedrijven de garanties ontbreken voor een bepaald aantal kandidaten) en de opdrachtgevers zijn nog steeds bezig aanbesteding vorm te geven. Daarnaast zijn op centraal niveau nauwelijks gegevens verzameld over de resultaten en de kosten van inkoop.
Wel is duidelijk dat scholing minder dan voor de invoering van het inkoopmodel onderdeel uitmaakt van de trajecten. Dit is het gevolg van 'no cure, no pay' of 'no cure, less pay'-betalingsconstructies. De trajecten richten zich bovendien minder dan voorheen op moeilijk vervulbare vacatures en op de vraag naar personeel op de langere termijn. Eerder is in dit artikel betoogd, dat dit juist dé voorwaarden zijn voor een positief effect op het uitkeringsvolume van de werkloosheidsbestrijding. Ironisch genoeg lijkt de verzakelijking van de markt er op deze manier toe te leiden dat reïntegratie van werklozen in de huidige vorm meer recht doet aan rechtvaardigheids- dan aan doelmatigheidsprincipes. De pijn van de werkloosheid wordt verdeeld, maar op de langere termijn dreigt, ook voor de verse werkvinders van nu, weer werkloosheid (en uitkering). Het is de vraag of daarmee sprake is van een meer doelmatige en efficiënte wijze van aansturing van de werkloosheidsbestrijding.

Dit artikel verscheen eerder in Basis, 2003, Werk & Inkomen-special

* Douwe Grijpstra is lid van het directieteam van Research voor Beleid

Bronnen
- Zevenbergen, R.G. van, C.J.A. de Bont en J.P. Visser, Evaluatie van het inkoopmodel. Inkoop 1998, Den Haag, juli 1999 (uitgevoerd door Reseach voor Beleid).
- Bochove, A. van en D. Grijpstra, De klop op de deur: drukte voor de regisseursstoel. Beslispuntennota over de inkoop van reîntegratiediensten voor de gemeenten in Limburg, Research voor Beleid en Bureau Blauwberg, Leiden, 2001.
- Struijven, L. e.a., Van aanbieden naar aanbesteden. Marktwerking bij arbeidsbemiddeling en - reîntegratie in Australië, Nederland, Verenigd Koninkrijk en Zweden, Leuven/Leusden, 2002.
- Boom, E. van der en I. Kuijpers, De regie in reîntegratie. Reîntegratiebedrijven over opdrachtgeverschap in Rijnmond, Amsterdam 2003.
- Batelaan, H. e.a., Opdrachtgeverschap reîntegratietrajecten gemeenten, Den Haag, 2003.
- Bertels, W. en G. van Tiggelen, "Regisseren van talenten; de reîntegratiepraktijk op de korrel", In Sociaal Bestek 5/2003.
- Hoffius, R., L. Duvekot, M. Grootscholte en M. Engelen, De inzet van scholing bij reîntegratietrajecten, Den Haag, 2003 (uitgevoerd door Research voor Beleid).
- Bos, J. e.a., Op weg naar volwassenheid? Tweede inventarisatie van de stand van zaken op de markt voor reîntegratiediensten, Den Haag, 2002.
- Groot, I. e.a., Lessen uit de privatisering van reîntegratiediensten, Amsterdam, 2002.
- Hoff, S. en G. Jehoel-Gijsbers, De uitkering van de baan. Reîntegratie van uitkeringsontvangers: ontwikkelingen in de periode 1999-2002, Den Haag (SCP), 2003.
- Doorn, E. van, e.a., Inkoop van reîntegratie in de regio Rijnmond, Rotterdam 2003.



   email this page Email    print this page print    terug naar vorige pagina terug naar vorige pagina    Top Top

 Volgende...  
   1. Lokaal jeugdbeleid in zeeburg
   2. Pawson's pleidooi voor realistische beleidsevaluaties
   3. Naar een evenwichtige methodologie van beleidsevaluatie
   4. Kans of valkuil?
   5. Een marktgang met onduidelijke effecten
   6. Faalfactoren in evaluatieonderzoek
   7. Zeven adviezen voor de strategie van evaluatieonderzoek
   8. Van beleidsbegroting tot beleidsverantwoording
   9. What's in a name?
   10. Vbtb-draagvlakmeting