Impact assessment van onderzoeksprogramma’s en -instituten: legitimeren en leren

In Nederland wordt jaarlijks naar schatting zo'n 9 miljard euro aan onderzoek uitgegeven, waarvan veruit het grootste deel publieke middelen betreft.

Het gaat om onderzoek in de publieke sector, aan universiteiten en binnen bedrijven. Het geld dat in (wetenschappelijk) onderzoek geïnvesteerd wordt, leidt onbetwistbaar tot vergroting van inzicht en kennis in de bestudeerde onderwerpen. Maar daarmee zijn deze investeringen niet zonder meer legitiem. De legitimiteit van het uitgevoerde onderzoek wordt vooral bepaald door de impact die de verworven kennis en inzichten uiteindelijk hebben. Maar wat is impact precies? En hoe kan impact zichtbaar gemaakt worden?

Impact definiëren
Impact is te definiëren als de invloed die de bevindingen uit onderzoek hebben. De vraag waarop onderzoek impact zou moeten hebben, is afhankelijk van het type onderzoek en het beoogde doel. Grofweg kunnen de volgende terreinen van impact onderscheiden worden:

• Impact op beleid en beleidsmakers (bijv. beleidsmaatregelen, politieke discussies)
• Impact op uitvoeringspraktijk (bijv. innovaties, verbeterde werkprocessen)
• Impact op wetenschap (bijv. kennisvermeerdering, aanleiding voor nieuw onderzoek)
• Impact op maatschappij (bijv. bewustwording van burgers en belangenorganisaties)

Impact zichtbaar maken
Research voor Beleid heeft een impact assessment methode ontwikkeld. Dit is een methode waarmee de impact van onderzoeksprogramma’s en –instituten op verschillende terreinen in kaart gebracht kan worden én die inzichtelijk maakt welke factoren de uiteindelijke impact beïnvloeden. Het conceptuele raamwerk en het analysekader van de methode zijn gebaseerd op state of the art kennis over de impact van onderzoek. Deze kennis is verzameld door het uitvoeren van een uitgebreide literatuurstudie naar theorieën en methoden voor het definiëren en in kaart brengen van impact.

Enkele belangrijke kenmerken van de ontwikkelde methode zijn:

• Een procesgerichte benadering – alle fases in het proces van onderzoeksprogrammering tot de uiteindelijke disseminatie van de bevindingen kunnen worden geanalyseerd, evenals de organisatorische context van het onderzoeksprogramma of -instituut. Het analyseren van het gehele proces biedt waardevolle inzichten in het proces dat leidt tot het wel of niet bereiken van impact en verschaft daarmee belangrijke bouwstenen voor verbetering.
• Flexibiliteit in de reikwijdte van de impact assessment – In overleg met de klant wordt de gewenste reikwijdte van de impact assessment vastgesteld, om zo optimaal te kunnen afstemmen op de specifieke situatie waarin de klant opereert. Zo kan ervoor gekozen worden om uitsluitend het proces binnen de eigen invloedsfeer te analyseren, of om ook te kijken naar de wijze waarop de bevindingen door derden doorvertaald en gebruikt worden.
• Het gebruik van verschillende bronnen en dataverzamelingsmethoden – bevindingen vanuit verschillende bronnen worden naast elkaar geplaatst en met elkaar geconfronteerd, bijvoorbeeld informatie vanuit interne en externe bronnen. De verschillende (soms subjectieve) invalshoeken worden zo gecombineerd tot een meer genuanceerd en volledig beeld. Per bron wordt bepaald wat de meest geschikte dataverzamelingsmethode is. Hiermee wordt recht gedaan aan de variatie in gewenste data per gekozen bron. Zo kan bij externe bronnen (stakeholders en mogelijke gebruikers) gekozen worden voor individuele, geanonimiseerde diepte-interviews waarbij elke respondent afzonderlijk zijn/haar visie kan geven terwijl bij de interne bronnen gekozen kan worden voor groepsgesprekken waarin respondenten elkaar kunnen aanvullen en nuanceren.
• Het gebruik van zowel kwantitatieve als kwalitatieve data - dit biedt de mogelijkheid om de behaalde impact uit te drukken in cijfers en tegelijkertijd onderliggende en verklarende factoren te identificeren die het resultaat mede hebben bepaald.

De resultaten van impact assessment gebruiken
De bevindingen dragen bij aan de legitimering van investeringen in onderzoek en bieden tevens handvatten om het gehele proces van investering tot uiteindelijke impact verder te optimaliseren. De methode kan worden ingezet voor onderzoeks- of kenninstituten die zichzelf of hun onderzoeksprogramma’s willen evalueren, maar ook voor overheidsinstanties die onderzoeksinstituten aansturen of subsidiëren.

Impact assessment in de praktijk
Research voor Beleid heeft deze methode gebruikt om de impact te meten van het Belgische federale kennisinstituut voor de gezondheidszorg (KCE). Het resulterende rapport is door drie externe validatoren getoetst op wetenschappelijke kwaliteit en unaniem goedgekeurd. Het kennisinstituut wil het rapport en de bijbehorende aanbevelingen benutten om haar interne processen aan te passen, teneinde haar impact op de Belgische federale overheid en de gezondheidszorg verder te vergroten.
Een soortgelijke, op maat gesneden impact assessment methode is door Research voor Beleid gebruikt in een studie naar de maatschappelijke impact van de door NWO gesubsidieerde wetenschappelijke onderzoeksprojecten binnen de geesteswetenschappen. Binnen dit onderzoek lag het accent op het in kaart brengen van de factoren die de waarschijnlijkheid van impact bevorderen, namelijk de activiteiten die onderzoekers zelf kunnen initiëren om impact te bereiken. De NWO heeft door het onderzoek meer inzicht gekregen in de hoeveelheid impact die zij genereert en het aantal disseminatieactiviteiten dat ondernomen is.